İnsansı robot kontrolü için operatör hareketleri algılama sistemi

Abstract

Bu tez çalışmasında uzaktan kontrollü robotlarda, operatörün iş yükünü azaltmak için tele-operasyon faaliyetleri üzerine çalışılmıştır. Öncelikle insan görüşünü taklit eden bir görüntü aktarım sistemi tasarlanmıştır. Tek kameralı görüntü sistemlerinde operatör derinlik algısını yitirmektedir. Bundan dolayı sistemde derinlik algısını sağlayabilmek için iki adet kamera kullanılarak sanal gerçeklik uygulaması tasarlanmıştır. Sunulan sistem operatöre robotun bulunduğu ortamın üç boyutlu görüntüsünü aktarmaktadır. Aynı zamanda operatörün kafa hareketleri, kameraların bulunduğu pan-tilt mekanizmasında taklit edilmektedir. Kafa hareketlerine ek olarak insan kol ve el hareketlerini algılayıcı sistemler geliştirilmiştir. Omuz hareketi gibi çok eksenli hareketleri algılamak amacıyla küresel mafsalların oryantasyonunu algılayıcı bir test düzeneği tasarlanmıştır. Düzenekte kızılötesi alıcı verici çiftinden oluşan sensörler önerilmiştir. Mafsalın gerçek oryantasyonunu belirlemek için görüntü işleme yönteminden yararlanılmıştır. Önerilen sensörlerden toplanan değerler ile görüntü işleme algoritması sonucunda bulunan değerler eşleştirilerek veri seti oluşturulmuştur. Bu veri seti, tek katmanlı bir yapay sinir ağı modelini eğitmekte kullanılmış ve bu tip sensörlerin kullanılabilirliği gösterilmiştir. Kol hareketleri aynı zamanda çoklu ataletsel ölçüm birimleri kullanılarak algılanmış ve simule edilmiştir. Robot kısmı içinse 6 serbestlik dereceli bir sistem tasarlanmıştır. Tasarlanan robot kol için kinematik ve kuvvet analizleri yapılmış sürekli ve ayrık zamandaki kontrolcü sistemleri üzerine çalışılmıştır. Son olarak el hareketlerini algılayıcı eldiven tasarlanmıştır. Tasarlanan eldiven ile operatör parmak açıları algılamış ve simule edilmiştir. In this thesis study, tele-operation facilities has been studied in order to reduce the workload of the operator in remote controlled robot. Firstly, an image transfer system that imitates human vision is designed. In single-camera display systems, the operator loses depth perception. Therefore, virtual reality application is designed consisting two cameras in order to provide depth perception in the system. The presented system transfers the three-dimensional image of the environment in which the robot is located to the operator. At the same time, the head movements of the operator are imitated in the pan-tilt mechanism where the cameras are located. In addition to head movements, the system that detects human arm and hand movements have been developed. In order to detect multi-axis movements such as shoulder motion, an experimental setup is designed. In this setup, sensors consisting of an infrared transceiver pair are proposed. Image processing is used to determine the true orientation of the joint. The data set was generated by matching the values obtained from the proposed sensors with the values obtained as a result of the image processing algorithm. his data set has been used to train a single layer artificial neural network model and the availability of such sensors has been demonstrated. Arm movements were also measured and simulated using multiple inertial measurement units. For the robot part, a system with 6 degrees of freedom is designed. The designed robot arm’s mechanic analysis and its continuous and discrete time controllers have been studied. Finally, a data glove that detects hand gestures is designed. With the designed glove, the operator’ finger angles has measured and simulated.