Az akusztikus és vizuális jel aszinkronitása a beszédben

Absztrakt

Ismert megfigyelés, hogy az akusztikus és a vizuális jel időbeli elcsúszása befolyásolja a beszéd érthetőségét. Számos publikáció tárgyalja, hogy az érthetőséget eltérően befolyásolja, hogy a hang késik vagy siet a képhez viszonyítva. Ezek az eredmények rendszerint szubjektív teszteken alapulnak, és nem adnak magyarázatot a különbségre. Nem világos, hogy a jelenség percepciós vagy produkciós eredetű. Ebben a cikkben egy kétmódusú, gépi beszéd felismerési kísérletben tanulmányozzuk az audiovizuális aszimmetriát, kiküszöbölve a kísérleti alanyok percepciós tapasztalatát. Az eredményeket az audiovizuális beszédszintézis természetességének fokozására használjuk.