Adli uygulamalar için ses içerik analizi

Abstract

Günümüzde artan şiddet olayları, adli incelemelerin de önemini artırmıştır. Şiddet olaylarının ardından gerçekleştirilecek olan adli incelemeler esnasında, erişilebilir durumda olan bütün işitsel ve görsel veriler oldukça kıymetlidir. Olayın gerçekleştiği konumun tespit edilmesi, şiddetin türünün belirlenmesi ve benzeri süreçler, adli ses analizi kapsamında yer almaktadır. Günümüzde çevrimiçi içeriğe erişimin akıllı cihazlar aracılığıyla konum bağımsız olarak gerçekleştirilebiliyor olması ve sunulan içeriğin miktarının hızlı bir şekilde artmasıyla; içeriğin otomatik olarak sınıflandırılmasının önemini artırmıştır. Özellikle çocuk ve gençleri olumsuz olarak etkileyebilecek içeriğin otomatik olarak tespit edilmesi, içerik miktarının hızlı artışıyla birlikte önem kazanmıştır. Buna karşılık, sinyal işleme alanında, özellikle de adli ses analizi kapsamında gerçekleştirilen çalışmaların başarımı, diğer alanlarda kullanılan makine öğrenmesi yöntemlerinin şiddet sahnesi sınıflandırması alanına uygulanabileceğini göstermiştir. Bu tez çalışması kapsamında, silah seslerinin ve video verilerinin şiddet içeren sahnelerinin ses tabanlı sınıflandırılması problemleri ele alınmıştır. Bu amaçla, makine öğrenmesi metotlarının ve topluluk öğrenmesi yaklaşımları probleme uygulanmıştır. Yöntemler, performans veri kümeleri üzerinde karşılaştırmalı olarak incelenmiş ve silah sesleri sınıflandırılması alanında %66, şiddet sahnesi sınıflandırması alanında %62'ye varan sınıflandırma başarımları elde edilmiştir. Nowadays, the increase in violent events has enhanced the importance of forensic investigations. All accessible auditory and visual data are highly valuable during the examination to be performed after violent events. Audio forensics analysis contains determination of location in which violent incident occur and determination of type of violence. Recently, the location-free and easier access to online content via smart devices and the increase of content have enhanced the importance of automatical classification of content. With the rapid growth in the amount of content, it has become crucial to automatically determine the content that can adversely affect children and youth. On the other hand, the success of the studies carried out in the field of signal processing, especially in the context of audio forensic analysis, shows that the methods of machine learning used in other areas can be applied to the field of violent scene classification. In this study, we study the problem of gunshot sounds and violent scene classification. For this purpose, machine learning and ensemble learning approaches applied to this problem. We examine classification rates of various machine learning and ensemble learning approaches comperatively and we achieve classification accuracies of 66% and 62% in audio gunshot classification and violent scene classification, respectively.