Модели и методы инклюзивной интеллектуальной системы поддержки людей с ограниченными возможностями

AP09057872 Модели и методы инклюзивной интеллектуальной системы поддержки людей с ограниченными возможностями

Актуальность

• Значимость проекта в национальном и международном масштабе высока, поскольку тематика исследования актуальна и имеет особую социальную значимость. Жестовый язык (ЖЯ) выполняет функцию межличностной коммуникации лиц с нарушением слуха. Овладение ЖЯ, как и словесным, имеет важное значение для формирования личности неслышащего обучающегося, его психического развития и социализации. Актуальность разработки продиктована необходимостью создания условий для освоения малоизученного КРЖЯ (Казахско-Русский жестовый язык). Предварительное исследование вопросов автоматизации перевода жестовой казахской речи и текстов на казахском языке показало, что в РК практически отсутствуют ресурсы для обучения и реабилитации людей с нарушениями слуха, мало лингвистических исследований КРЖЯ в узкоспециализированных предметных областях. Полученные результаты по анализу синтаксической и семантической структуры КРЖЯ могут быть использованы для других агглютинативных языков (турецкого, узбекского и т.д.). Обеспечение глухих и слабослышащих специальными техническими средствами компьютерными жестовыми тезаурусами и системами сурдоперевода позволяет им получить адекватный перевод текстов в ИТ-отрасли, развивает их речевые возможности в узкоспециализированной предметной области. Использование в проекте мультимедийных средств отображения жестов позволит создать мультимедиа архив КРЖЯ, основными функциями которого будут: создание и поддержка попопняемого словаря жестов и фраз; обеспечение преемственности работы по фиксации новых жестов; работа по нормализации жестового языка и описание грамматики казахского жестового языка. 
• Социальный эффект от реализации проекта заключается в адаптации людей с ограниченными возможностями к жизни в социуме со слышашими людьми, получения доступа к информации в узкоспециализированной области ИТ, развитию их речевых навыков и словарного запаса. Область применения данного проекта широка, он может использоваться для личных целей, в профессиональной ИТ-отрасли.
• Разработанный программный комплекс может быть использован для дистанционного обучения лиц с ограниченными возможностями по ИТ-специальностям или для чтения дисциплины ИКТ обучающимся всех специальностей.

Цель работы

• Cоздание научно-технического задела в области информационно-коммуникационных технологий и применение новых знаний, позволяющих совершенствовать восприятие, понимание и репродуцирование текстового материала на казахском языке слабослышащими путем разработки компьютерного анимационного жестового словаря ключевых слов по ИТ с использованием алгоритмов нормализации слов казахского языка и системы компьютерного сурдоперевода на КРЖЯ.

Задачами проекта являются:

1. Разработка блока лексико-морфологического анализа (ЛМА), с целью выделения из текстового документа слова и предложений, состоящего из:

• Лексического анализатора для формирования лексических признаков слов казахского языка и входного текстового потока на абзацы, предложения и слова;
• Морфологического анализатора для выделения нормальной формы слов казахского языка (с использованием меры TF-IDF);
• Тезауруса ИТ терминов на казахском языке со словарными статьями, используемого в дальнейшем для распознания в тексте ключевых терминов (формирует семантические признаки), в том числе узкоспециализированных ИТ-термины на казахском языке.
• Синтаксического анализатора для анализа синтаксической конструкции предложений казахского языка с выделением связей между словами. Получение списка обобщенных грамматических конструкций для перевода на КРЖЯ.

2. Разработка программного комплекса для создания жестового словаря ИТ-терминов казахского языка с использованием мультимедийных возможностей современной компьютерной техники и дактилем КРЖЯ:

• Обоснование выбора типа жестового словаря: как словаря, содержащего видеоматериалы с демонстрацией исполнения жестов или как словаря, иллюстрирующего с помощью фотоматериалов;
• Определение структуры тезауруса по ИТ-терминологии (дескрипторов, аскрипторов, лексико-семантических отношений) с учетом морфологии казахского языка;
• Визуализация основных фаз исполнения жестов: анимация пальцев рук, направления ладоней, направления пальцев, места исполнения жестов, направления и характера исполняемого жеста,
• Визуализация дактилем КРЖЯ;
• Установление соответствия «слово-жест» для заимствованных слов из речевого жестового языка.

3. Разработка системы компьютерного перевода текста с казахского языка на жестовый язык с использованием мультимедийных возможностей современной компьютерной техники

• Определение начальных форм слов казахского языка, морфологических и синтаксических характеристик, а также семантических отношений с использованием синтаксического анализатора Link Grammar Parser с учетом грамматики казахского языка и алгоритмов близости слов в предложении.
• Проведение семантического анализа предложения с целью корректных семантических значений слов в предложении для устранения лексической многозначности, а также проблемы синонимии и омонимии.
• Реализация алгоритмов семантического анализа на КРЖЯ.
• Установление соответствия между лексическими единицами текста и последовательностью дактилем КРЖЯ.
• Визуализация основных фаз исполнения жестов.  
• Разработка методов выделения характеристических параметров дактилем для распознавания правильности показа дактилем.

4. Тестирование разработанного ПО

• Проведение экспериментов, пилотное внедрение прототипа ПО.
• Создание и тестирование информационных технологий для проверки надежности разработанного ПО.
• Написание отчета.

Полученные результаты  проекта за 2021 г.

В результате выполнения работ получены следующие результаты:

Изучены методы создания тезаурусов в узкоспециализированной области и разработаны алгоритмы морфологического, синтаксического и семантического анализа с учетом морфологии казахского языка.

Разработана блок лексико-морфологического анализа (ЛМА), с целью выделения из текстового документа слова и предложений, состоящего из:

˗   Лексического анализатора для формирования лексических признаков слов казахского языка и входного текстового потока на абзацы, предложения и слова;

˗   Морфологического анализатора для выделения нормальной формы слов казахского языка (с использованием меры TF-IDF);

˗   Тезауруса ИТ терминов на казахском языке со словарными статьями, используемого в дальнейшем для распознания в тексте ключевых терминов (формирует семантические признаки), в том числе узкоспециализированных ИТ-термины на казахском языке.

˗   Синтаксического анализатора для анализа синтаксической конструкции предложений казахского языка с выделением связей между словами. Получение списка обобщенных грамматических конструкций для перевода на Казахско-Русский жестовый язык (КРЖЯ).

˗   Решение проблем лексикографического описания КРЖЯ, обусловленных вариативностью жестов (например, разные по исполнению жесты, имеющие одно значение и проч.), проблем с синонимами и омонимами.

– Была произведена закупка необходимого оборудования и материалов для реализации проекта: веб-камера ZED 2 Stereo 3D Camera Sensor for Depth Perception, Motion Tracking and Spatial AI и перчатки CaptoGlove визуализации рук для набора данных.

– Фото и видео фиксация верифицированных экспертной группой единиц КРЖЯ.

– Адаптация технологии захвата движения для реализации задачи формализации жеста внутри информационной системы.

– Разработан модель морфологического анализатора для выделения нормальной формы слов казахского языка с применением конечного автомата.

Важной компонентой лингвистических процессов является блок лексико-морфологического анализа, который анализирует текст и строит семантическую сеть, названную пространственной структурой текста. Последняя обрабатывается блоком синтактико-семантического анализа, который анализирует пространственную структуру текста и формирует на семантическую сеть структуру, представляющую объекты и связи между ними. Такие структуры образуют базу знаний.

Работы по данному разделу полностью завершены.

Члены исследовательской группы:

• Еримбетова А.С.- руководитель проекта PhD, к.т.н., асс.,проф..

ORCID – https://orcid.org/0000-0002-2013-1513 , Scopus Author ID: 57188823075, Web of Science id: S-3892-2018; 

https://www.scopus.com/authid/detail.uri?authorId=57188823075

• Самбетбаева М.А. – PhD, СНС

ORCID – https://orcid.org/0000-0001-9358-1614 , Scopus Author ID: 57188805832, https://www.scopus.com/authid/detail.uri?authorId=57188805832  

• Ибраимкулов А.Е. – магистр тех.наук., PhD Докторант, НС

ORCID – https://orcid.org/0000-0002-9337-9595, Scopus Author ID: 57219306146, https://www.scopus.com/authid/detail.uri?authorId=57219306146

• Серикбаева С. – PhD Докторант, НС

ORCID – https://orcid.org/0000-0003-1729-6875, Scopus Author ID: 57340387200, https://www.scopus.com/authid/detail.uri?authorId=57340387200

• Сакенов Б.Е. – Инженер-программист

ORCID – https://orcid.org/0000-0002-9849-6176, Scopus Author ID: 57350780700, https://www.scopus.com/authid/detail.uri?authorId=57350780700

Список публикаций исполнителей проекта AP09057872 за 2021 г

Зарубежные публикации:

1. Serikbayeva S.K., Tussupov D.A., Sambetbayeva M.A., Yerimbetova A.S., Taszhurekova Zh.K., Borankulova G.S. EduDIS construction technology based on Z39.50 protocol. Journal of theoretical and Applied Information Technology. – 2021. – Vol.99. – No 10. – P. 2244-2255.

2. Serikbayeva Sandugash, Tussupov Jamalbek, Sambetbayeva Madina, Yerzhanova Akbot, Abduvalova Ainur. Building a Standard Model of an Information System for Working with Documents on Scientific and Educational Activities. International Journal of Advanced Computer Science and Applications. Vol. 12, No. 9, 2021.

3. Serikbayeva S., Tussupov J., Sambetbayeva M., Yerzhanova A., Muratova G., Makhanov M., Borankulova G., Yerimbetova A. Development of Queries Using the Z39.50 Protocol in Distributed Information Systems to Support Scientific and Educational Activities. Eastern-European Journal of Enterprise Technologies. 5/2(113). – P.66-79

4. Sadirmekova Zh.K., Tussupov J.A., Sambetbayeva M.A., Yerimbetova A.S., Zagorulko Y.A. Features of the development of intelligent scientific and educational internet resources. IEEE-UBMK-2021. VI. International Conference on Computer Science and Engineering. – 2021. Ankara. Turkey. – P. 392-397.

5. K.Serikbayeva, J.A. Tussupov, M.A. Sambetbayeva, J.K. Serikbayev. Requirements for distributed information systems to support scientific and educational activities. Вестник ЮУрГУ. Серия «Компьютерные технологии». – 2021. Т. 21, №3. С. 149-160. DOI: 10.14529/ctcr210315

Отечественные публикации:

6. Ibraimkulov, A., Yerimbetova, A., & Gromaszek, K. (2021). Development of digital literacy of students with disabilities. ADVANCED TECHNOLOGIES AND COMPUTER SCIENCE, (2), 4–9. Retrieved from https://atcs.iict.kz/index.php/atcs/article/view/44

7. Mukhitova, A., & Yerimbetova, A. (2021). Technology of building adaptive graphical web interfaces for data editing. ADVANCED TECHNOLOGIES AND COMPUTER SCIENCE, (2), 29–33. Retrieved from https://atcs.iict.kz/index.php/atcs/article/view/48

8. Серикбаева С.К., Тусупов Д.А., Самбетбаева М.А. Ғылыми-білім беру қызметін қолдайтын таратылған ақпараттық жүйелерге қойылатын талаптарды қалыптастыру. Вестник науки Казагротехнического университета им.С. Сейфуллина. – 2021. – №2(109). – с. 122-132

9. Ибраимкулов А.Е., Еримбетова А.С. Мүмкіндігі шектеулі мектеп оқушыларының информатиканы оқытуда когнитивті қабілеттерін арттыру // Вестник КарГУ Серия Педагогика 2021 103 – том, №3. – С. 21-28.

10. А.Е. Ибраимкулов А.С. Еримбетова. Развитие цифровой грамотности учащихся с нарушениями слуха в специальных коррекционных школах. Конференция VI международной научно-практической конференции Информатика и прикладная математика. 29 сентябрь-02 октябрь, 2021. Алматы, Казахстан.