Исследуется влияние визуальных элементов на эмоциональное восприятие текста. На основании результатов серии экспериментов авторы проанализировали воздействие иллюстраций на эмоциональные реакции при восприятии поликодовых / креолизованных текстов. С помощью метода семантического дифференциала были выявлены и изучены корреляции между эмоциями и параметрами изображений. Было описано влияние визуальных характеристик иллюстраций на эмоциональную реакцию респондентов на русскоязычные тексты, что предполагает возможность корректировки эмоционального восприятия через манипуляцию этими параметрами: стиль иллюстраций оказывает влияние на эмоции реципиентов; неоднозначность и оригинальность иллюстрации усиливают негативные эмоции, тогда как реалистичные изображения вызывают более разнообразные эмоциональные реакции. Показано, как изменения стиля и содержания иллюстраций меняют эмоциональные интерпретации текста, отражая сложное взаимодействие визуальных и вербальных элементов в коммуникации. Полученные данные могут быть использованы для разработки обучающих материалов, поскольку демонстрируют ресурс регулирования эмоционального восприятия текстов посредством визуальных элементов. В исследовании сделана попытка определить динамику эмоциональных реакций на мультимедийные стимулы, что будет полезно разработчикам медийного контента. Предложено решение задачи преодоления разрыва между визуальным восприятием, эмоциональной обработкой и языковой коммуникацией, которое имеет теоретическое и прикладное значение для обработки естественного языка (NLP) и в когнитивных науках.
The paper explores the influence of visual elements on the emotional perception of textual content. Based on the experimental results, the authors evaluated how illustrations affected emotional responses to polycode/creolized texts. By using the semantic differential scales method, correlations between emotions and specific visual parameters were identified and analyzed. The results revealed how visual parameters of illustrations influence emotional responses to text in Russian, suggesting potential adjustments to emotional perception by manipulating these parameters: illustration style impacts recipient emotions; ambiguity and originality increase negative emotions, while realistic illustrations have varied effects. Additionally, the study investigated how variations in illustration style and content altered emotional interpretations of text, providing insights into the complex interplay between visual and verbal elements in communication. The findings suggest practical implications for educational material development, emphasizing the potential to adjust the emotional perception of textual content by manipulating visual characteristics. This research sheds light on the dynamics of emotional response to multimedia stimuli and offers valuable considerations for content creators seeking to optimize audience engagement and comprehension. It attempts to bridge the gap between visual perception, emotion processing, and linguistic communication, offering insights for both practical applications in NLP (Natural Language Processing) and theoretical advancements in cognitive sciences.