Türkçe otomatik konuşma tanıma ve işaret diline çevirme

Abstract

Bu tezde, işitme engelli insanlar ile işitme engelli olmayan insanların aktif iletişimine yardımcı olabilecek bir sistem üzerinde çalışılmaktadır. Sistem genel olarak, iki adımda çalışmaktadır. İlk olarak konuşma metne çevrilir. Daha sonra metnin karşılık geldiği işaret dili videosu gösterilir. Metne çevrim aşamasında, Türk Dili incelenmiş olup fonem tabanlı bir dildir. Endüstri, güvenlik, iletişim ve robotik sistemlerin gelişmesiyle Otomatik Konuşma tanıma (ASR) tabanlı uygulamaların kullanımı gün geçtikçe artmaktadır. Teknolojik gelişmelerle beraber, birçok dilde ASR uygulamaları sıkça yaygınlaşırken, Türkçe, Fince ve Macarca gibi sondan eklemeli dil gruplarında bu uygulamalar çok fazla değildir. Türkçe hece yapısı olarak sondan eklemeli bir morfolojiye sahiptir. Bu yapısı sözcük dağarcığında büyük bir artışa neden olmaktadır. Sistem ileriye dönük olarak, veri tabanı haricindeki kelimeleri de yaklaşık olarak tespit edebilsin diye fonem ve alt kelime tabanlı bir tanıma sistemi tasarlanmıştır. Klasik yöntemlerin yanı sıra, akıllı ve öğrenebilen yöntemler de bu alanda sıkça kullanılmaktadır Bu çalışmada, Türk dilinde ASR problemi çözümüne yönelik güncel Derin Öğrenme kapsamlı uygulamalar geliştirilmiştir. Çalışmamızın, Konuşma Tanıma adımında klasik yöntemlerle beraber, Derin İnanç Ağları (DBN), Uzun-Kısa Vadeli Hafıza Ağları (LSTM) ve Geçitli Tekrarlayan Birimler (GRU) Derin Öğrenme teknikleri uygulanıp performansları karşılaştırılmıştır. En başarılı yöntemin dil modellemenin de Derin öğrenme ile yapıldığı GRU metodu ile olduğu görülmüştür. Yöntemlerin performansı, standart ölçütlere göre karşılaştırılmıştır. Yapılan çalışma, ASR uygulamaları ile ilgili bir taraftan konuyu detaylı araştırırken, yöntemin uygulama biçimi hakkında da detaylı bilgi vermiştir. Konuşma tanımda adımında Türkçe için yapılan iyileştirmeden sonra, konuşmanın yazıya dönüştürülmesi ile elde ettiğimiz kelimenin İşaret Dilinde hangi işarete karşılık geldiği bulunarak ve bu işaret videolarıyla Türk İşaret Diline çevrimi de gerçekleştirilmiştir. Türkçe için literatürde görünmeyen, Türkçe Konuşmayı Türk İşaret Diline çeviren bu çalışma, Türkçe konuşma tanıma sistemlerinde performans artırma ve işitme engelli insanların hayatını kolaylaştırmak için öncü bir çalışma olduğu düşünülmüştür. In this thesis, we are working on a system that can help people with hearing impairments to communicate actively with people who are not hearing impaired. The system generally works in two steps. First, the speech is translated into text. The sign language animation or video to which the text corresponds is then shown. During the translation into text phase, Turkish Language has been analyzed and it is a phoneme-based language. With the development of industry, security, communication and robotic systems, the use of Automatic Speech recognition (ASR) based applications is increasing day by day. Along with technological developments, while ASR applications are becoming common in many languages, these applications are not much in agglutinative language groups such as Turkish, Finnish and Hungarian. Turkish has an additive morphology as a syllable structure. This structure causes a great increase in vocabulary. A phoneme and subword based recognition system has been designed for the future so that the system can detect the words other than the database approximately. In addition to classical methods, intelligent and learning methods are frequently used in this field. In this study, current Deep Learning comprehensive applications have been developed for solving the ASR problem in Turkish language. In the Speech Recognition step of our study, Deep Belief Networks (DBN), Long-Short-Term Memory Networks (LSTM) and Gated Repetitive Units (GRU) Deep Learning techniques were applied and their performances were compared. It has been seen that the most successful method is with the GRU method, where language modeling is also done with deep learning. The performance of the methods was compared against standard criteria. The study, while investigating the subject in detail about the ASR applications, also gave detailed information about the application method of the method. After the improvement made for Turkish in the step of speech definition, the word we obtained by converting the speech into writing was found to correspond to the sign in Sign Language and translated into Turkish Sign Language with these sign videos. This study, which does not appear in the literature for Turkish, converts Turkish Speech to Turkish Sign Language, is thought to be a pioneering work to increase performance in Turkish speech recognition systems and facilitate the lives of hearing impaired people.