Eğitim çağında çocuklar için el hareketi tanıma tabanlı geometri öğrenme uygulaması

Abstract

El hareketi tanıma, insan-bilgisayar etkileşimi arayüzleri geliştirilmesinde ve bu etkileşimin klavye ya da fare gibi araçlar gerektirmeden yapılabilmesinde büyük rol oynayabilecek, çok popüler bir araştırma konusudur. El hareketi tanıma, günlük bilgi ve haber elde etme, medya oynatıcısı yönetimi, sunum kontrol sistemleri, işitme engelliler için iletişim sistemleri, işaret dilleri ile insan–bilgisayar etkileşimi sağlayan uygulamalar, eğitim - matematik öğrenimi, yabancı dil ve kültür eğitimi, geometri öğrenimi - gibi alanlar üzerinde kullanılmaktadır. Bu tez çalışmasında, eğitim çağındaki çocuklar için el hareketi tanıma ile kullanılabilen bir geometri öğrenme uygulaması önerilmiştir. Bu uygulamada, standart bir ağ kamerası yardımıyla görüntü alınmakta, daha önceden sisteme tanıtılmış belirli el hareketleri ile eşleştirilerek, bu harekete karşılık gelen bir grafik aksiyonu çıktı olarak sunulmaktadır. Önerilen sistem iki ana aşamadan meydana gelmektedir. İlk olarak görüntünün elde edilmesi ve anlamlandırılması sağlanmaktadır. Bunun için OxfordNet’in VGG16 mimarisi, Evrişimsel Sinir Ağı (CNN) olarak seçilmiş ve gerekli değişiklikler yapılarak bu tez çalışmasına uyarlanmıştır. Modeli eğitmek için kullanılan veri seti bu tez çalışması kapsamında 6 farklı kişinin her el hareketi için fotoğraflarının çekilmesi suretiyle oluşturulmuştur. Önerilen sistemin ikinci adımında ise, algılanan el hareketleri ile geometrik şekillerin grafiksel gösterimleri ve çeşitli etkileşimler ilişkilendirilmiştir. Bu grafik aksiyonları önceki ve sonraki şekli çizmek, mevcut şekli büyütmek / küçültmek / döndürmek ve mevcut şekil için çevre, alan ve hacim formüllerini göstermek gibi işlemlerden oluşmaktadır. Sistemin kullanımı ve testleri hem yetişkinler hem de eğitim çağındaki çocuklar tarafından gerçekleştirilmiş ve tatmin edici sonuçlar elde edilmiştir. Hand gesture recognition is a popular research topic which is a great way for implementing Human Computer Interaction interfaces for communicating with a computer without a need for having a mouse or a keyboard. Hand Gesture Recognition has been used on several areas such as daily information retrieval, media player controllers, presentation controllers, communication systems for the hearing impaired, mathematics education, language and culture education and geometry education. In this thesis a geometry learning application for school aged children using HGR is proposed. In this application a video stream is captured from a standart webcam and the received hand gestures are matched with previously defined hand gestures and the respective graphical action for the received hand gesture is given as an output. The system has two main stages. Firstly, the acquisition and interpretation of the image is employed. OxfordNet's VGG-16 architecture was selected as the CNN architecture and was modified in order to fit this study. The data set used to train the model was created by taking photos of 6 different people for each hand gesture. In the second step of the proposed system, the recognized hand gestures are mapped with graphical representations and various interactions. These graphical actions consist of drawing the next and previous shape, enlarging / shrinking / rotating the current shape and showing the perimeter, area and volume formulas for the current shape. The system was tested by adults and school aged children and satisfactory results were obtained.