A beszéd az emberi kommunikáció elsődleges és legfontosabb eszköze. Sokan azonban elvesztették ezt a képességüket betegség vagy egészségkárosodás okán. A kommunikációs agy-gép interfész (BCI) célja, hogy természetes vagy ahhoz közeli kommunikációs csatornát biztosítsanak olyan személyek számára, akik fizikai vagy neurológiai károsodás miatt nem tudnak beszélni. A beszéd valós idejű szintézise közvetlenül a mért idegi aktivitásból (EEG) lehetővé tenné a természetes beszédet, és jelentősen javítaná az életminőségét, különösen a kommunikációban súlyosan korlátozott személyek számára. A hallgató feladata megismerkedni a BRAIN2SPEECH területtel, majd új típusú neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok) kidolgozása és tanítása több beszélő adataival. Az önálló munka / diplomaterv a BME Beszédtechnológia és Intelligens Interakciók Laboratóriumában készül. A hallgató feladatának a következőkre kell kiterjednie: - Tekintse át beszédtechnológiában az electroencephalogram-akusztikum becslés szakirodalmát. - Vizsgálja meg, milyen típusú neurális hálózatokat alkalmaztak eddig a kommunikációs agy-gép interfész területen! - Vizsgálja meg különböző neurális hálózat architektúrák (pl. konvolúciós és rekurrens hálózatok, ResNet, SkipNet) alkalmazhatóságát. - Az elkészült modelleket tesztelje objektív mérőszámokkal és szubjektív teszt keretében! - Munkáját részletesen dokumentálja!

Speech is the primary and most essential means of human communication. However, many people have lost this ability through illness or ill health. The purpose of the brain-machine interface (BCI) is to provide a natural or near-natural channel of communication for people who cannot speak due to physical or neurological impairment. The real-time synthesis of speech directly from measured neural activity (EEG) would enable natural speech and significantly improve quality of life, especially for severely communication-impaired individuals. The student will be tasked to study the BRAIN2SPEECH domain and then develop and train new types of neural network architectures (e.g. convolutional and recurrent networks) using data from multiple speakers. The project laboratory/thesis project will be carried out in the BME Speech Technology and Intelligent Interactions Laboratory. The student's assignment should include: - Review the literature on electroencephalogram acoustic estimation in speech technology. - Investigate the types of neural networks that have been used in the field of brain-machine interface for communication. - Examine the applicability of different neural network architectures (e.g. convolutional and recurrent networks, ResNet, SkipNet). - Test their models using objective metrics and subjective tests. - Document their work in detail!