Новости
09.05.2023
с Днём Победы!
07.03.2023
Поздравляем с Международным женским днем!
23.02.2023
Поздравляем с Днем защитника Отечества!
Оплата онлайн
При оплате онлайн будет
удержана комиссия 3,5-5,5%








Способ оплаты:

С банковской карты (3,5%)
Сбербанк онлайн (3,5%)
Со счета в Яндекс.Деньгах (5,5%)
Наличными через терминал (3,5%)

ВИЗУАЛИЗАЦИЯ ДЕЙСТВИЙ В СИСТЕМЕ ОБУЧЕНИЯ РУССКОМУ ЖЕСТОВОМУ ЯЗЫКУ

Авторы:
Город:
Новосибирск
ВУЗ:
Дата:
17 ноября 2018г.

Согласно данным Всемирной федерации глухих (ВФГ), на сегодняшний день ВФГ объединяет более 70 млн. глухих людей из 123 стран мира. Всероссийское общество глухих объединяет более 90 тысяч граждан с нарушениями слуха. Многие люди, имеющие нарушения слуха, относят себя к представителям полноценного языкового и культурного сообщества и заявляют о своем праве общаться и получать образование на родном языке. Основным способом межчеловеческой коммуникации в обществе глухих и слабослышащих людей является жестовый язык (ЖЯ). Особенностью ЖЯ является использование другого канала передачи информации – носители этих языков осуществляют коммуникацию с помощью зрения, рук, движений лица и корпуса тела, тогда как звуковые языки пользуются звуковым каналом передачи информации. Согласно последней переписи населения 2010 г., в России насчитывается более 120 тысяч человек, владеющих русским ЖЯ. В 2012 г. Президент РФ подписал закон, определяющий официальный статус русского ЖЯ в России как языка общения при наличии у людей нарушений слуха или речи, в том числе в сферах устного использования государственного языка РФ. В стране действует Государственная программа «Доступная среда» [1], ориентированная на решение многих важнейших задач по социальной интеграции в общественную жизнь людей с нарушениями слуха. Одной из важных задач является обучение жестовому языку слабослышащих и людей, контактирующими с ними.

Одним из самых эффективных средств обучения и взаимодействия являются мультимедийные компьютерные системы, поэтому создание информационных приложений, способных работать с ЖЯ, является одной из приоритетных задач при работе с глухими и слабослышащими людьми. Особый интерес в этой области представляют системы компьютерного синтеза жестового языка и речи. Современные компьютерные технологии позволяют использовать для демонстрации жестов трехмерные анимированные модели человека – аватара (avatar). Для реализации 3D модели сурдопереводчика был выбран мощный графический движок Unity3D, основным преимуществом которого является кроссплатформенность и доступность [6]. Этот движок имеет возможность сборки приложения под несколько популярных операционных систем, как на мобильных устройствах, так и на персональных компьютерах. Для управления аватаром используются символы жестовой нотации, описывая требуемые конфигурации рук и различные типы движений. Для описания жеста по его визуальным признакам существуют несколько различных систем нотации (HamNoSys, Sign Writing, Sign Script, Si5s, ASL-phabet, Berkeley, Димскис), позволяющих зафиксировать описание жеста [2]. Немногочисленные работы в России, которые посвящены компьютерному сурдопереводу, в основном используют нотационную запись HamNoSys [4,5]. Предлагаемые нотации имеют свои достоинства и недостатки [3]. Идеальной общепринятой нотации ЖЯ нет. По этой причине ведутся работы по применению всех рассмотренных нотаций. Для русского жестового языка (РЖЯ) перспективной является нотация, разработанная Л. Димскис [3]. В ее нотации выделяется более 50 конфигураций рук, около 50 характеристик места исполнения жеста и более 100 характеристик локализации.

На основе Unity3D и нотации Димскис разработана программная система для обучения РЖЯ. Система имеет два типа пользователей: «Разработчик» и «Обучающийся». Разработчикам доступны все модули системы, а обучающимся только модуль визуализации. Общая структура системы представлена на рис.1


Инструментарий разработчика включает все необходимые модули для создания и демонстрации жестов, привязки разработанных клипов к нотации Димскис, создания полноценного мультимедийного справочника по РЖЯ и разработки уроков по обучению РЖЯ.

Основным модулем для разработки анимационных файлов (клипов) является «Редактор клипов». Использование Unity 3D позволяет, визуально управляя подвижными элементами аватара, создавать сценарии для описания конфигурации и движения рук. Дополнительные средства редактора предназначены для упрощения и ускорения создания новых и текущих клипов. Они включают масштабирование аватара, паузу, повтор проигрывания клипа, точное установление координат подвижных элементов, редактирование сценария, загрузку нескольких уже созданных клипов для разработки на их основе нового и так далее. Разработка первоначальных («элементарных») клипов является наиболее ответственным и трудоемким процессом. Использование визуального управления движением подвижных элементов аватара значительно упрощает эту задачу.

Редактор знаков нотации, доступный разработчикам, позволяет визуально подобрать анимационный клип, соответствующий символу нотации Димскис, описать его для лучшего понимания и поместить его в нужный раздел для быстрого поиска. Созданные таким образом анимационные символы нотации помещаются в библиотеку. Работа по наполнению библиотеки анимационных символов нотации производится на локальных компьютерах разработчиков. Эти модули могут загружаться из сети Интернет.

Создание нотационной записи дактилем и слов на основе библиотеки анимационных символов можно производить и через сеть Интернет. На основе рекомендаций Димскис выбираются необходимые нотационные символы, соответствующие дактилеме или слову, и автоматически создается сценарий для демонстрации полученной записи (рис. 2). Проверяется качество записи, и, если необходимо, она редактируется. Это связано с тем, что нотация Димскис исходно была ориентирована на сурдопереводчиков, а не на компьютерную реализацию, которая требует четкого описания движения подвижных элементов (суставов). Например, символ нотации «касание уха»  можно выполнить с отведенным или прижатым локтем. Для компьютерного анимированного персонажа надо четко указать, какие выполнять движения. Этот пример показывает, что, как и все используемые нотации, нотация Димскис также расширяется и дорабатывается.


На основе библиотеки дактилем и слов создаются обучающие курсы в «Редакторе уроков». Для разработки сценариев обучения РЖЯ может использоваться стандартный текстовый редактор или редактор, встроенный в систему, который позволяет оперативно проверить и настроить урок. В отличие от справочника, где после демонстрации аватар возвращается в исходное положение, в уроках можно составлять сложные словосочетания, а для возврата в начальное состояние необходимо применять служебный символ.

Словарь РЖЯ составляет около 3000 слов, поэтому предусмотрен доступ разработчиков из сети Интернет к редакторам справочника и уроков. Этой возможностью могут воспользоваться сторонние специалисты в области жестового языка. Такой подход позволяет привлечь заинтересованных лиц к наполнению словаря и уроков.

Для изучения РЖЯ в режиме «Обучающийся» возможна загрузка на персональные компьютеры и мобильные устройства модуля просмотра библиотеки дактилем и слов, а также созданных уроков, или использование через сеть Интернет.

Для более наглядного представления правильности повторения словаря и уроков обучающемуся предоставляется возможность визуализации своих движений. Для этого предусмотрен захват видеопотока с веб-камеры и демонстрация движений обучающегося на фоне аватара (рис. 3). Это позволяет сравнить идентичность выполнения жеста человеком и аватаром. Такая возможность предоставляется и разработчикам, но они могут вместо видеопотока с веб-камеры выводить фотографию или подключать видео-файл.


Широкие возможности визуализации с помощью компьютерной графики и встроенного оборудования дают наглядность представления жестов РЖЯ, демонстрируемых системой, и обеспечивают обратную связь обучающегося с системой для сравнения правильности выполнения действий.

 

Список литературы

 

1.        Государственная программа Российской Федерации «Доступная среда» на 2011–2020 годы. URL: http://www.rosmintrud.ru/docs/government/170 (дата обращения: 20.10.2018).

2.        Гриф М. Г., Лукоянычев А. В. Мультимедийный словарь русского жестового языка на основе нотации Димскис // Вестник АГТУ, Сер. Управление, вычислительная техника и информатика, 2017. № 1(январь),– С.105-114.

3.        Димскис Л.С. Изучаем жестовый язык: учебное пособие. – М.: Академия, 2002. 128 с.

4.        Карпов А.А., Кагиров И.А. Формализация лексикона системы компьютерного синтеза языка жестов //Труды СПИИРАН. 2011. Вып. 1(16). – С. 123–140.

5.        Мануева Ю.С., Гриф М.Г., Козлов А.Н. Построение системы компьютерного сурдоперевода русского языка //Труды СПИИРАН. 2014. Вып. 6(37). – С. 170-187.

6.        Smith M., Queiroz C. Unity5.x Cookbook / Matt Smith. – Packt Publishing, 2015. 570 p.