Budapesti Műszaki és Gazdaságtudományi Egyetem - BME -- Távközlési és Médiainformatikai Tanszék - TMIT BME - Távközlési és Médiainformatikai Tanszék - TMIT
 
 
| Témakiírások | | | | | IW  
 
 
Önálló labor
Kiírt témák

Ez egy előző félévben kiírt, archivált téma.

Silent Speech Interface (Mély neurális hálózat alapú artikuláció-beszéd becslés) (Silent Speech Interface (Deep neural networks for articulatory-to-acoustic mapping))

Ipari partner: ELTE Fonetikai Tanszék

A beszédhangok az artikulációs szervek (hangszalagok, nyelv, ajkak stb.) koordinált mozgásának eredményéből állnak elő. Az artikuláció és a keletkező beszédjel (akusztikum) kapcsolata régóta foglalkoztatja a beszédkutatókat. Az artikuláció és az akusztikai kimenet kapcsolatát gépi tanulás alapú eszközökkel is vizsgálták már. Az artikuláció-akusztikum konverzió eredményei a szakirodalomban elsősorban az ún. 'Silent Speech Interface' (SSI, magyarul 'némabeszéd-interfész', https://t.co/M3yY4WnMmF) rendszerek fejlesztéséhez járulnak hozzá. Az SSI lényege, hogy az artikulációs szervek hangtalan mozgását felvéve a gépi rendszer ebből beszédet szintetizál, miközben az eszköz használója valójában nem ad ki hangot. A hallgató feladata deep learning alapú (pl. mély neurális hálózat, AutoEncoder) megoldás kidolgozása a Silent Speech Interface témakörben. Javasolt programozási nyelvek: Python / Octave. A kutatás az MTA-ELTE Lingvális Artikuláció Kutatócsoporttal (Lendület pályázat, http://lingart.elte.hu) együttműködésben történik.

Speech sounds are produced as the coordinated movement of the articulatory organs (vocal folds, tongue, lips, etc.). In the international research, the machine learning based articulatory-to-acoustic mapping is also referred as 'Silent Speech Interface' (SSI, https://t.co/M3yY4WnMmF). The main idea of SSI is that by recording the speechless movement of the speaking organs, the algorithms can synthesize speech while the original speaker is not producing any speech sound. The task of the student is to develop deep learning (e.g. deep neural network, AutoEncoder) solutions for the Silent Speech Interface topic. Suggested programming languages: Python / Octave. The research will be conducted in collaboration with the MTA-ELTE Lingual Articulation Research Group (Momemtum grant, http://lingart.elte.hu/en).

Kulcsszavak: python, speech, deep learning
Témavezető: Csapó Tamás Gábor
Oktatók: Csapó Tamás Gábor.
A következő tantárgyakhoz javasolt:
 vitma367 (Info, BSc, Önálló laboratórium, Infokommunikációs hálózatok és alkalmazások ágazat)
 vitma380 (Info, BSc, Önálló laboratórium, Médiainformatika ágazat)
 vitma387 (Önlab, IVIR szakirány)
 vitma415 (Szakdolgozat)
 vitma416 (Szakdolgozat)
 vitma417 (Szakdolgozat, IVIR szakirány)
 vitmal01 (Info, BSc, Önálló laboratórium)
 vitmm805 (Info, MSc, Önálló laboratórium 1, Hálózatok és szolgáltatások)
 vitmm811 (Info, MSc, Önálló laboratórium 1, Médiainformatika)
 vitmm855 (Info, MSc, Önálló laboratórium 2, Hálózatok és szolgáltatások)
 vitmm861 (Info, MSc, Önálló laboratórium 2, Médiainformatika)
 vitmm905 (Diplomatervezés 1. (Info, Hálózatok és szolgáltatások szakirány))
 vitmm911 (Diplomatervezés 1. (Info, Médiainformatika szakirány))
 vitmml00 (Info,MSc,Önlab.1, Internet arch. és szolg.,Adat- és médiainformatika,Mobil hálózatok és szolg. integrációja (VITMML00))
 vitmml01 (Info,MSc,Önlab.2, Internet arch. és szolg.,Adat- és médiainformatika,Mobil hálózatok és szolg. integrációja (VITMML01))
 vitma345 (Vill., BSc. Önálló laboratórium)
 vitma414 (Szakdolgozat)
 vitmm807 (Vill., MSc, Önálló laboratórium 1, Infokommunikációs rendszerek)
 vitmm857 (Vill., MSc, Önálló laboratórium 2, Infokommunikációs rendszerek)
 vitmm907 (Diplomatervezés 1. (Vill. Infokommunikációs rendszerek szakirány))
 vitmml02 (Vill,MSc,Önlab.1, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML02))
 vitmml03 (Vill,MSc,Önlab.2, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML03))
 vieum821 (Önálló munka 1)
 vieum871 (Önálló munka 2)
 vieum921 (Diplomatervezés 1 (Egészségügyi mérnök))
 vitmm376 (Projekt labor 1)
 vitmm377 (Diplomatervezés 1 [analytics])
 vitmm388 (Projekt labor 2)
QR:    (mi is az?)
 
 katt. a nagyításhoz