Киосе М.И., Потехин В.О., Зубков О.Д. Экспериментальные методы исследования мультимодального дискурса: кросс-модальная адаптация [На англ. яз.]
DOI: https://doi.org/10.15688/jvolsu2.2024.5.12
Мария Ивановна Киосе
доктор филологических наук, главный научный сотрудник, Центр социокогнитивных исследований дискурса, Московский государственный лингвистический университет
ул. Остоженка, 38/1, 119034 г. Москва, Россия
ведущий научный сотрудник, Лаборатория мультиканальной коммуникации, Институт языкознания РАН
пер. Большой Кисловский, 1/1, 125009 г. Москва, Россия
Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.
https://orcid.org/0000-0001-7215-0604
Вадим Олегович Потехин
старший преподаватель, Дипломатическая академия МИД России
ул. Остоженка, 53/2, стр. 1, 119021 г. Москва, Россия
аспирант кафедры общего и сравнительного языкознания, Московский государственный лингвистический университет
ул. Остоженка, 38/1, 119034 г. Москва, Россия
Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.
https://orcid.org/0009-0003-2370-5097
Олег Дмитриевич Зубков
аспирант кафедры общего и сравнительного языкознания, Московский государственный лингвистический университет
ул. Остоженка, 38/1, 119034 г. Москва, Россия
Этот адрес электронной почты защищен от спам-ботов. У вас должен быть включен JavaScript для просмотра.
https://orcid.org/0009-0008-9670-6273
Аннотация. Исследование нацелено на разработку методологии кросс-модальной адаптации для экспериментального изучения мультимодального дискурса в трех форматах его реализации: семиотическом, коммуникативном и перцептивном. Изучению подвергаются особенности конструирования дискурсивной информации, получаемой из двух семиотических модальностей (текста и изображения), транслируемой двумя коммуникативными модальностями (речи и жеста), воспринимаемой двумя перцептивными модальностями (визуальной и слуховой). Общее методологическое решение для их анализа заключается в установлении моделей адаптации этих модальностей к дискурсивным задачам. Материалом являются результаты трех экспериментов, в ходе которых участники решали три дискурсивные задачи: 1) рецептивную – извлечение информации из текста и изображения; оценка адаптации осуществлялась через отклик на нее в глазодвигательном поведении; 2) продуктивную – передачу информации в монологической коммуникации; оценка адаптации осуществлялась с помощью речи и жеста; 3) одновременно рецептивную и продуктивную – передачу информации, извлекаемой визуально и на слух; оценка адаптации осуществлялась в глазодвигательном поведении, сопряженном с зонами интереса стимула, и в речи – через коммуникативную модальность, смежную со слуховой перцептивной модальностью. Анализ полученных данных позволяет установить и ранжировать степень кросс-модальной адаптации к дискурсивным задачам, что в свою очередь определяет роль каждой модальности в их решении. Полученные результаты вносят вклад в развитие мультимодальной дискурсологии. Методология кросс-модальной адаптации разработана М.И. Киосе; эмпирические результаты получены и обработаны М.И. Киосе (рецептивная задача), В.О. Потехиным (продуктивная задача), О.Д. Зубковым (рецептивно-продуктивная задача).
Ключевые слова: мультимодальный эксперимент, кросс-модальная адаптация, дискурсивная задача, конструирование информации, семиотическая модальность, коммуникативная модальность, перцептивная модальность, паттерны согласования.
Цитирование. Киосе М. И., Потехин В. О., Зубков О. Д. Экспериментальные методы исследования мультимодального дискурса: кросс-модальная адаптация // Вестник Волгоградского государственного университета. Серия 2, Языкознание. – 2024. – Т. 23, № 5. – С. 149–160. – (На англ. яз.). – DOI: https://doi.org/ 10.15688/jvolsu2.2024.5.12
Экспериментальные методы исследования мультимодального дискурса: кросс-модальная адаптация [На англ. яз.] by Киосе М.И., Потехин В.О., Зубков О.Д. is licensed under CC BY 4.0
 1_Kiose_et al.pmd.pdfURL: https://l.jvolsu.com/index.php/ru/component/attachments/download/3008 | 15 Скачивания |