Построение нейросетевого классификатора эмоций для мультимодальных данных

Аннотация

Данное исследование посвящено разработке модели для классификации эмоции человека по мультимодальным признакам. В статье проведен разбор существующих работ, решающих задачу классификации эмоции по голосу и речи; описана постановка задачи классификации эмоции, подготовка данных и методика решения; представлены результаты экспериментов с различными моделями для решения задачи. Для обучения был использован набор данных Dusha, состоящий из аудиозаписей на русском языке. В результате экспериментов была получена модель, объединяющая Wav2Vec2 и DistilBERT-small, которая достигла на тестовом наборе значение f1-macro 0,84 на crowd подвыборке и 0,62 на podcast. doi 10.54708/19926502_2025_29411039