Исследование нацелено на разработку методологии кросс-модальной адаптации для экспериментального изучения мультимодального дискурса в трех форматах его реализации: семиотическом, коммуникативном и перцептивном. Изучению подвергаются особенности конструирования дискурсивной информации, получаемой из двух семиотических модальностей (текста и изображения), транслируемой двумя коммуникативными модальностями (речи и жеста), воспринимаемой двумя перцептивными модальностями (визуальной и слуховой). Общее методологическое решение для их анализа заключается в установлении моделей адаптации этих модальностей к дискурсивным задачам. Материалом являются результаты трех экспериментов, в ходе которых участники решали три дискурсивные задачи: 1) рецептивную – извлечение информации из текста и изображения; оценка адаптации осуществлялась через отклик на нее в глазодвигательном поведении; 2) продуктивную – передачу информации в монологической коммуникации; оценка адаптации осуществлялась с помощью речи и жеста; 3) одновременно рецептивную и продуктивную – передачу информации, извлекаемой визуально и на слух; оценка адаптации осуществлялась в глазодвигательном поведении, сопряженном с зонами интереса стимула, и в речи – через коммуникативную модальность, смежную со слуховой перцептивной модальностью. Анализ полученных данных позволяет установить и ранжировать степень кросс-модальной адаптации к дискурсивным задачам, что в свою очередь определяет роль каждой модальности в их решении. Полученные результаты вносят вклад в развитие мультимодальной дискурсологии. Методология кросс-модальной адаптации разработана М.И. Киосе; эмпирические результаты получены и обработаны М.И. Киосе (рецептивная задача), В.О. Потехиным (продуктивная задача), О.Д. Зубковым (рецептивно-продуктивная задача).
The study advances Crossmodal Alignment Framework to explore multimodal discourse in its three formats – semiotic, communicative and perceptive – via multimodal experiment. It considers the alignment patterns obtained from two semiotic modes (text and image), transferred in two communicative modes (speech and gesture), sensed by two perception modes (visual and audial). The common research framework determines the patterns as modulated by discourse tasks. The study features the results of multimodal experiments with the participants engaged in three discourse tasks: 1) receptive, which presumes obtaining information from text and image stimuli; semiotic alignment patterns are identified indirectly via participants’ gaze response; 2) productive, in which the participants communicate the information in monological format; communicative alignment patterns are identified directly via their speech and gesture; 3) receptive-productive, which presupposes the participants perceive information visually and audially; alignment patterns are identified directly via participants’ gaze behavior contingent on the stimuli areas of interest and indirectly via their speech response. Data analysis allows to determine and scale the degree of crossmodal alignment to discourse tasks, which helps identify the input of each mode to solving these tasks. The research framework and obtained results contribute to further development of multimodal discourse methods.
The samples taken from repositories served as the research data. The authors of the publication may not share the opinion of the authors of these open access internet samples.