Новости
09.05.2023
с Днём Победы!
07.03.2023
Поздравляем с Международным женским днем!
23.02.2023
Поздравляем с Днем защитника Отечества!
Оплата онлайн
При оплате онлайн будет
удержана комиссия 3,5-5,5%








Способ оплаты:

С банковской карты (3,5%)
Сбербанк онлайн (3,5%)
Со счета в Яндекс.Деньгах (5,5%)
Наличными через терминал (3,5%)

СОЗДАНИЕ МУЛЬТИМЕДИЙНОГО СПРАВОЧНИКА РУССКОГО ЖЕСТОВОГО ЯЗЫКА

Авторы:
Город:
Новосибирск
ВУЗ:
Дата:
20 ноября 2016г.

Жестовый язык (ЖЯ) – один из основных способов общения слабослышащих людей. В общении и в дальнейшей адаптации слабослышащих основную роль традиционно играют специалисты–сурдопереводчики. Современный уровень информатизации и развития компьютерных технологий дает большие возможности для создания и применения автоматизированных систем сурдоперевода. Основой таких систем могут стать мультимедийные приложения с использованием 3D компьютерного персонажа (аватара), демонстрирующего элементы жестового языка.

Созданием подобных систем занимаются и в России, и за рубежом. Одна из главных задач, которую необходимо решать в данном случае – это разработка нотации ЖЯ, подходящей для системы автоматического перевода, представляет собой самостоятельную и очень непростую проблему [1].

Первая система транскрибирования жестов была разработана У. Стокоу [8]. Она состояла из 55 символов, образующих три группы в соответствии с тремя параметрами:

1) место выполнения жеста по отношению к телу говорящего;

 2) форма кисти руки, выполняющей жест;

 3) траектория движения руки.

 Впоследствии был введен четвертый параметр структуры жеста - ориентация рук в пространстве относительно друг друга и корпуса говорящего [4].

Существует несколько других систем нотации жестовых языков, они обладают разной степенью подробности и иконичности и ориентированы на описание различных явлений в жестовых языках.

Широко известной системой транскрипции жестовых языков является Гамбургская система нотации HamNoSys [6]. HamNoSys ориентирована на очень подробное описание жеста. В ней используется около двухсот символов, обозначаются не только место выполнения жеста, форма и траектория движения руки, но и ориентация руки, немануальные жесты (мимика говорящего).

По иному принципу строится транскрипционная система Беркли (BTS) [5]. Жест в транскрипции представляет собой последовательность элементов, снабженных индексами: сначала записывается форма пассивной руки, потом форма активной руки, движение руки, ориентация руки. BTS была разработана для транскрибирования жестового дискурса, поэтому нотация включает в себя символы для обозначения дискурсивного поведения говорящего – различных выражений лица, интенсивности выполнения жестов, пауз, ошибок в выполнении жестов и т.п.

В повседневном применении получила развитие транскрипция Sign writing [9]. Sign writing базируется на принципах, предложенных У. Стоуки. В Sign writing жест не записывается как линейная последовательность символов, а изображается пиктограммой, включающей иконические изображения рук, их движений, их расположения относительно друг друга и говорящего. Транскрипция позволяет точно и наглядно отображать жесты, при этом остается простой для восприятия.

Для русского жестового языка (РЖЯ) предложена нотация, разработанная Л. Димскис [2]. В ее нотации выделяется более 30 конфигураций рук, около 50 характеристик места исполнения жеста и более 70 характеристик локализации [3].

Все предлагаемые нотации имеют свои достоинства и недостатки. Идеальной общепринятой нотации ЖЯ нет. По этой причине ведутся работы по применению всех рассмотренных нотаций. Для РЖЯ наиболее приемлемой транскрипционной системой является нотация Димскис.

Использование нотации Димскис для реализации РЖЯ удовлетворяет многим ограничениям и условиям для автоматизированного компьютерного сурдоперевода:

·                    ограниченное количество нотаций;

 ·                    нотации Димскис являются основными транскрипциями РЖЯ;

 ·                    возможность использования анимированного персонажа для отображения РЖЯ;

·                    символьная запись значительно уменьшает объем словаря и повышает скорость воспроизведения на мобильных устройствах.


Для реализации 3D модели сурдопереводчика (аватара) был выбран мощный графический движок Unity3D, основным преимуществом которого является кроссплатформенность и доступность [7]. Unity3D имеет возможность сборки приложения под несколько популярных операционных систем, как на мобильных устройствах, так и на персональных компьютерах.

В Unity3D сложный анимационный персонаж (аватар) описывается и управляется по частям. Это предполагает древовидную структуру скелета аватара. Рука анимационного персонажа состоит из элементов: ключица, плечо, предплечье, кисть. Unity3D поддерживает связность суставов. В большинстве движений простым сценарием анимационных клипов не обойтись. Для описания иконографической формы руки требуется разработка достаточно сложного сценария, так как при этом описании требуется управление пятью пальцами, которые состоят из запястья, пястья и фаланг пальцев. Например, движение плеча (части руки до локтевого сустава) невозможно без движения ключицы (в плечевом суставе), таким образом, приходится создавать наборы простейших анимаций для создания движения элементов руки.

Разработанное приложение имеет два режима: разработчика и пользователя.


При запуске приложения загружается файл описания сцены с аватаром, находящимся в исходном положении (рис.1). В режиме «Разработчик» доступны для отображения все созданные анимационные файлы. Разработчик имеет возможность создавать сценарии, используя всю иерархию библиотеки от простейших анимаций до составных. При необходимости может перейти в оболочку Unity3D и исправить или создать новый элемент анимации (рис.1).

Созданный клип записывается в библиотеку символов нотаций Димскис, при этом ставится в соответствие подходящий элемент. Как отмечалось, у данного подхода есть недостатки. Одним из них является в некоторых случаях неоднозначное соответствие клипа нотации. Это предусмотрено в данном режиме работы, возможен подбор нескольких элементов нотации одному клипу. Это усложняет структуру библиотеки клипов, но позволяет реализовать любую комбинацию нотации Димскис.

На основе полученных клипов производится разработка справочника РЖЯ (библиотека знаков) за счет сборки составных клипов или применения уже готовых знаков. Этот уровень работы приложения доступен в режиме «Пользователь».

В режиме «Пользователь» набирается необходимая запись в нотации Димскис, которая в соответствии со структурой библиотеки отбирает необходимые клипы для реализации слова. Сформированные записи могут быть занесены в справочник РЖЯ (библиотека знаков) и в дальнейшем использоваться для составления новых слов и более сложных сценариев.

Использование в качестве исходной информации символов нотации Димскис позволяет реализовать поиск нужного символа по знакам нотации.

В дальнейшем использование «Справочника» предполагается для демонстрации дактилем и слов РЖЯ, а также составных словосочетаний. Предложенный подход на основе нотации Димскис предоставляет возможность создание «Уроков» по определенным темам для обучения РЖЯ.

 

Список литературы

 

 

1.                  Гриф М.Г., Тимофеева М.К. Проблема автоматизации сурдоперевода с позиции прикладной лингвистики // Сибирский филологический журнал. - 2012. - № 1. - С.211-219.

2.                  Димскис Л.С. Изучаем жестовый язык: учебное пособие. – М.: Академия, 2002. – 128 с.

3.                  Зайцева Г.Л. Жестовая речь. Дактилология: Учебник для студентов высших учебных заведений. – М.: Гуманит. изд. центр ВЛАДОС, 2000. – 192 с.

4.                  Battinson R. Lexical Borrowing in American Sign Language. Silver Spring: Linstok Press, 1978. 240 p.

5.                  Hoiting N., Slobin D.. Transcription as a tool for understanding: The Berkeley transcription system for sign language research (BTS) // G. Morgan, B. Woll (eds.). Directions in sign language acquisition. Amsterdam: Philadelphia. 2002. http://ihd.berkeley.edu/btsforsignlan-guagc.pdf

6.                  Prillwitz S., Leven R., Zienert H., Hanke T., Henning J. HamNoSys. Version 2.0; Hamburg Notation System for sign languages: An introductory guide // International Studies on Sign Language and Communication of the Deaf. Vol. 5. Hamburg: Signum Press, 1989.

7.                  Smith M. Unity4.X Cookbook / Matt Smith. – Packt Publishing, 2013. – 386 p.

 8.                  Stokoe W. Sign Language Structure: An Outline of the Visual Communication Systems of the American Deaf. New York: University of Buffalo, 1960. 78 p.

9.                  Sutton V. Lessons in SignWriting: textbook and workbook. La Jolla: Deaf action committee for sign writing, 1999.