Automated Recognition of Paralinguistic Signals in Spoken Dialogue Systems: Ways of Improvement
View/ Open:
URI (for links/citations):
https://elib.sfu-kras.ru/handle/2311/16808Author:
Sidorov, Maxim
Schmitt, Alexander
Semenkin, Eugene S.
Сидоров, Максим
Шмитт, Александр
Семенкин, Евгений C.
Date:
2015-05Abstract:
The ability of artificial systems to recognize paralinguistic signals, such as emotions, depression, or
openness, is useful in various applications. However, the performance of such recognizers is not yet
perfect. In this study we consider several directions which can significantly improve the performance of
such systems. Firstly, we propose building speaker- or gender-specific emotion models. Thus, an emotion
recognition (ER) procedure is followed by a gender- or speaker-identifier. Speaker- or gender-specific
information is used either for including into the feature vector directly, or for creating separate emotion
recognition models for each gender or speaker. Secondly, a feature selection procedure is an important
part of any classification problem; therefore, we proposed using a feature selection technique, based on
a genetic algorithm or an information gain approach. Both methods result in higher performance than
baseline methods without any feature selection algorithms. Finally, we suggest analysing not only audio
signals, but also combined audio-visual cues. The early fusion method (or feature-based fusion) has
been used in our investigations to combine different modalities into a multimodal approach. The results
obtained show that the multimodal approach outperforms single modalities on the considered corpora. The
suggested methods have been evaluated on a number of emotional databases of three languages (English,
German and Japanese), in both acted and non-acted settings. The results of numerical experiments are
also shown in the study Способность искусственных систем распознавать паралингвистические характеристики говоря-
щего, такие как эмоциональное состояние, наличие и степень депрессии, открытость человека,
является полезной для широкого круга приложений. Однако производительность таких систем
далека от идеальных значений. В этой статье мы предлагаем подходы, применение которых
позволяет существенно улучшить производительность систем распознавания. В работе описы-
вается метод построения адаптивных эмоциональных моделей, позволяющих использовать ха-
рактеристики конкретного человека для построения точных моделей. В статье представлены
алгоритмы выявления наиболее значимых характеристик речевых сигналов, позволяющие одно-
временно максимизировать точность решения поставленной задачи и минимизировать количе-
ство используемых характеристик сигнала. Наконец, предлагается использовать комбинирован-
ные аудио визуальные сигналы в качестве входов для алгоритма машинного обучения. Указанные
подходы были реализованы и проверены на 9 эмоциональных речевых корпусах. Результаты прове-
денных экспериментов позволяют утверждать, что предложенные в статье подходы улучшают
качество решения поставленных задач с точки зрения выбранных критериев
Collections:
Metadata:
Show full item recordRelated items
Showing items related by title, author, creator and subject.
-
Обобщённая методика исследования информационных свойств каналов и систем распознавания
Близнюк, А. А.; Жиронкин, С. Б.; Макарычев, А. В.; Шоромова, А. А.; Bliznyuk, Alexander A.; Zhironkin, Sergey B.; Makarichev, Alexander V.; Shoromova, Anna A. (Сибирский федеральный университет. Siberian Federal University, 2022-12)В работе предложена обобщённая методика исследования информационных свойств каналов и систем распознавания, применимая для анализа комплексных систем распознавания. Применение методики показало, что при объединении ... -
Speech-based Emotion Recognition and Speaker Identification: Static vs. Dynamic Mode of Speech Representation
Sidorov, Maxim; Minker, Wolfgang; Semenkin, Eugene S.; Сидоров, Максим; Минкер, Вольфганг; Семенкин, Евгений C. (Сибирский федеральный университет. Siberian Federal University, 2016-12)In this paper we present the performance of different machine learning algorithms for the problems of speech-based Emotion Recognition (ER) and Speaker Identification (SI) in static and dynamic modes of speech signal ... -
Основные направления совершенствования автоматизации дешифрирования лесных массивов по многоспектральным аэрокосмическим снимкам
Гук, А.П.; Евстратова, Л.Г.; Guk, Aleksander P.; Evstratova, Larisa G. (Сибирский федеральный университет. Siberian Federal University, 2018-12)Рассмотрены основные вопросы, возникающие при дешифрировании лесных массивов по космическим снимкам высокого разрешения. Выделены главные проблемы каждого этапа обработки. Приведен ряд примеров действующих практически ... -
Possibilities of Using Neural Networks in the Investigation of Crimes
Kostomarov, Kirill V.; Костомаров, К. В. (Сибирский федеральный университет. Siberian Federal University, 2019-11)The study tested possibilities of using neural networks on the example of different models like, online analytical processing, data mining and knowledge discovery, specific models in the sphere of biology, models which can ... -
Точностные и вероятностные характеристики алгоритма распознавания режима полета вертолета в радиолокационной системе воздушного базирования
Богданов, А.В.; Горбунов, С.А.; Кучин, А.А.; Шпортко, С.А.; Bogdanov, Alexander V.; Gorbunov, Sergei A.; Kuchin, Alexander A.; Shportko, Sergei A. (Сибирский федеральный университет. Siberian Federal University, 2018-05)В статье на основе теории многомерной линейной калмановской фильтрации разработан алгоритм распознавания в радиолокационной системе воздушного базирования режима полета вертолета для последующего выбора метода самонаведения ...