Ez egy előző félévben kiírt, archivált téma.
Az UTI (Ultrasound Tongue Imaging), EMA (Electromagnetic Articulography), MRI (Magnetic Resonance Imaging) mindhárom olyan technológia, mely a beszéd közbeni artikuláció vizsgálatára használható, pl. https://sail.usc.edu/span/rtmri_ipa/index.html Az eszközökkel nagyfelbontású képsorozat, és/vagy többcsatornás jel rögzíthető, mely kép- és jelfeldolgozási szempontból számos kihívást jelent. A hallgató feladata deep learning alapú (pl. mély neurális hálózat, AutoEncoder, GAN) megoldások vizsgálata, az artikulációs technológiák összehasonlítása, és új megoldások kidolgozása az SSI (Silent Speech Interface) témakörben. Javasolt programozási nyelvek: Python / Octave. A kutatás az MTA-ELTE Lingvális Artikuláció Kutatócsoporttal (Lendület pályázat, http://lingart.elte.hu) és egy NKFIH FK-17 kutatási pályázattal együttműködésben történik.
UTI (Ultrasound Tongue Imaging), EMA (Electromagnetic Articulography), MRI (Magnetic Resonance Imaging) are technologies which can be used to acquire articulatory data during speech production, e.g. https://sail.usc.edu/span/rtmri_ipa/index.html With these devices we can record high resolution images, and/or multichannel signals which can pose numerous challenges in terms of signal processing. The task of the student is to investigate deep learning (e.g. deep neural network, AutoEncoder, GAN) solutions, compare the various articulatory techniques, and apply this for the SSI (Silent Speech Interface) topic. Suggested programming languages: Python / Octave. The research will be conducted in collaboration with the MTA-ELTE Lingual Articulation Research Group (Momemtum grant, http://lingart.elte.hu/en).