Artırılmış Gerçeklik Uygulamalarında Nesnelerin Sesle Kontrol Edilmesi

Abstract

Artırılmış gerçeklik (AG), bilgisayar ortamında oluşturulan 3 Boyutlu (3B) sanal nesneleri gerçek dünya görüntüleri ile birleştiren bir teknolojidir. Bu şekilde oluşturulan sahnede sanal nesnelerle gerçek zamanlı olarak etkileşim kurmak mümkündür. AG teknolojisi uygulamaları eğitim, savunma, tıp, e-ticaret, imalat, turizm ve daha birçok alanda kullanılmaktadır. AG ortamında ses ile etkileşim, uygulamalarda kullanım kolaylığı sağlar. Bu çalışmada Unity yazılımında Vuforia paketi kullanılarak oluşturulan AG ortamındaki sanal nesnelerin sesle kontrolü sağlanmıştır. Bu amaçla farklı cinsiyetten iki kişiden alınan beş farklı komutun ses kayıtları ile bir veri seti oluşturulmuştur. Ses verilerinden elde edilen Mel-frekans Kepstral Katsayıları (MFKK), Doğrusal Tahmini Kodlama (DTK) ve Mel-spektrogram özellikleri Karar Ağacı (KA), Rastgele Orman (RO) ve Destek Vektör Makineleri (DVM) algoritmalarına uygulanmış ve sonuçlar karşılaştırılmıştır. En iyi doğruluk oranları erkek sesi veri setinde RO için %87, kadın sesi veri setinde DVM için %89 olarak bulunmuştur. İki veri setinin birleşiminden oluşan veri seti için doğruluk oranı hem RO hem de DVM için %85 olarak bulunmuştur. Öte yandan, MFKK öznitelikleri ile Dinamik Zaman Bükme (DZB) yöntemini kullanan k-En Yakın Komşu (kEYK) algoritmasının doğruluk oranı erkek sesi veri setleri için %89 ve kadın sesi veri setleri için %88 olarak bulunmuştur. İki veri setinin birleşiminden oluşan veri seti için kEYK doğruluk oranı %83 olarak bulunmuştur. Tüm makine öğrenimi algoritmaları için sonuçlar çapraz doğrulama ile elde edilmiştir.