Budapesti Műszaki és Gazdaságtudományi Egyetem - BME -- Távközlési és Médiainformatikai Tanszék - TMIT BME - Távközlési és Médiainformatikai Tanszék - TMIT
 
 
| Témakiírások | | | | | IW  
 
 
Önálló labor
Kiírt témák

Ez egy előző félévben kiírt, archivált téma.

UTI-EMA-MRI összehasonlítása és alkalmazása deep learning alapú SSI-ben (Comparison of UTI-EMA-MRI and its application for deep learning based SSI)

Ipari partner: MTA-ELTE Lendület Lingvális Artikuláció Kutatócsoport

Az UTI (Ultrasound Tongue Imaging), EMA (Electromagnetic Articulography), MRI (Magnetic Resonance Imaging) mindhárom olyan technológia, mely a beszéd közbeni artikuláció vizsgálatára használható, pl. https://sail.usc.edu/span/rtmri_ipa/index.html Az eszközökkel nagyfelbontású képsorozat, és/vagy többcsatornás jel rögzíthető, mely kép- és jelfeldolgozási szempontból számos kihívást jelent. A hallgató feladata deep learning alapú (pl. mély neurális hálózat, AutoEncoder, GAN) megoldások vizsgálata, az artikulációs technológiák összehasonlítása, és új megoldások kidolgozása az SSI (Silent Speech Interface) témakörben. Javasolt programozási nyelvek: Python / Octave. A kutatás az MTA-ELTE Lingvális Artikuláció Kutatócsoporttal (Lendület pályázat, http://lingart.elte.hu) és egy NKFIH FK-17 kutatási pályázattal együttműködésben történik.

UTI (Ultrasound Tongue Imaging), EMA (Electromagnetic Articulography), MRI (Magnetic Resonance Imaging) are technologies which can be used to acquire articulatory data during speech production, e.g. https://sail.usc.edu/span/rtmri_ipa/index.html With these devices we can record high resolution images, and/or multichannel signals which can pose numerous challenges in terms of signal processing. The task of the student is to investigate deep learning (e.g. deep neural network, AutoEncoder, GAN) solutions, compare the various articulatory techniques, and apply this for the SSI (Silent Speech Interface) topic. Suggested programming languages: Python / Octave. The research will be conducted in collaboration with the MTA-ELTE Lingual Articulation Research Group (Momemtum grant, http://lingart.elte.hu/en).

Kulcsszavak: ultrasound, image, python, articulation, deep learning
Témavezető: Csapó Tamás Gábor
Oktatók: Csapó Tamás Gábor.
A következő tantárgyakhoz javasolt:
 vitma367 (Info, BSc, Önálló laboratórium, Infokommunikációs hálózatok és alkalmazások ágazat)
 vitma380 (Info, BSc, Önálló laboratórium, Médiainformatika ágazat)
 vitma387 (Önlab, IVIR szakirány)
 vitma415 (Szakdolgozat)
 vitma416 (Szakdolgozat)
 vitma417 (Szakdolgozat, IVIR szakirány)
 vitmal01 (Info, BSc, Önálló laboratórium)
 vitmm805 (Info, MSc, Önálló laboratórium 1, Hálózatok és szolgáltatások)
 vitmm811 (Info, MSc, Önálló laboratórium 1, Médiainformatika)
 vitmm855 (Info, MSc, Önálló laboratórium 2, Hálózatok és szolgáltatások)
 vitmm861 (Info, MSc, Önálló laboratórium 2, Médiainformatika)
 vitmm905 (Diplomatervezés 1. (Info, Hálózatok és szolgáltatások szakirány))
 vitmm911 (Diplomatervezés 1. (Info, Médiainformatika szakirány))
 vitmml00 (Info,MSc,Önlab.1, Internet arch. és szolg.,Adat- és médiainformatika,Mobil hálózatok és szolg. integrációja (VITMML00))
 vitmml01 (Info,MSc,Önlab.2, Internet arch. és szolg.,Adat- és médiainformatika,Mobil hálózatok és szolg. integrációja (VITMML01))
 vitma345 (Vill., BSc. Önálló laboratórium)
 vitma414 (Szakdolgozat)
 vitmm807 (Vill., MSc, Önálló laboratórium 1, Infokommunikációs rendszerek)
 vitmm857 (Vill., MSc, Önálló laboratórium 2, Infokommunikációs rendszerek)
 vitmm907 (Diplomatervezés 1. (Vill. Infokommunikációs rendszerek szakirány))
 vitmml02 (Vill,MSc,Önlab.1, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML02))
 vitmml03 (Vill,MSc,Önlab.2, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML03))
 vieum821 (Önálló munka 1)
 vieum871 (Önálló munka 2)
 vieum921 (Diplomatervezés 1 (Egészségügyi mérnök))
QR:    (mi is az?)
 
 katt. a nagyításhoz