Разработка тематических 3D‑словарей русского жестового языка для лиц с ограниченными возможностями здоровья по слуху

Abstract

Одним из способов обеспечения доступности получения государственных услуг лицами с ограниченными возможностями здоровья по слуху является реализация социально значимого проекта по созданию тематического учебного портала русского жестового языка по основным сферам жизнедеятельности глухих людей – образование, здравоохранение, общественный транспорт, государственные сервисы, культура и др. Важнейшей задачей при создании учебного портала является разработка тематического словаря русского жестового языка. В статье представлен сопоставительный анализ тематических словарей русского жестового языка, перечислены предъявляемые к ним требования, а также предложена перспективная технология их создания и поддержки на основе машинного перевода и 3D-анимации. Подробно рассмотрены технология машинного перевода фраз русского языка на русский жестовый язык и калькирующую жестовую речь, способы выявления в тексте новой лексики и включения в тематический словарь новых жестов. В результате исследования сделан вывод о том, что данная технология удовлетворяет требованиям лиц с ограниченными возможностями здоровья по слуху и может быть рекомендована как базовая для разработки тематического словаря русского жестового языка

Setting and solving the problem of implementing a socially significant project to create a thematic educational portal of Russian sign language in the main spheres of life of deaf people (education, healthcare, public transport, government services, culture, etc.) is due to the need to ensure accessibility of government services for persons with disabilities by ear. The educational portal is based on a thematic dictionary of Russian sign language. The purpose of the work is to propose a promising technology for creating and maintaining a thematic dictionary based on a comparative analysis of thematic dictionaries of Russian sign language, the requirements for them, machine translation and 3D animation. The analysis of existing thematic dictionaries of Russian sign language was carried out according to the following criteria: the volume of the lexicographic source; relevance of vocabulary; universality in terms of coverage of language material; availability; the ability to quickly modify a resource; use of language material visualization technologies in the source. As a result of the analysis, it was revealed that all dictionaries do not fully solve the problem posed. This applies to both universal and specialized dictionaries. The technology for creating thematic dictionaries of Russian sign language, used in the project of the Novosibirsk State Technical University within the framework of a grant from the Priority 2030 program, is examined in detail. This technology, based on the use of machine translation and 3D animation, includes several stages: speech recognition; syntactic and semantic analysis of text; application of the function of displaying text in Russian sign language; formation of a set of control commands; generation of 3D animation and visualization; video synthesis. As a result of the study, it was concluded that this technology meets the requirements of people with hearing disabilities and can be recommended as the basis for the development of a thematic dictionary of Russian sign language