Budapesti Műszaki és Gazdaságtudományi Egyetem - BME -- Távközlési és Médiainformatikai Tanszék - TMIT Dept. of Telecommunications and Media Informatics - TMIT
 
 
| IW  
 
 
Student topics

Ez egy előző félévben kiírt, archivált téma.

BRAIN2SPEECH: EEG alapú kommunikációs agy-gép interfész deep learning módszerekkel (BRAIN2SPEECH: EEG-based brain-computer interface for communication using deep learning)

Speech is the primary and most essential means of human communication. However, many people have lost this ability through illness or ill health. The purpose of the brain-machine interface (BCI) is to provide a natural or near-natural channel of communication for people who cannot speak due to physical or neurological impairment. The real-time synthesis of speech directly from measured neural activity (EEG) would enable natural speech and significantly improve quality of life, especially for severely communication-impaired individuals. The student will be tasked to study the BRAIN2SPEECH domain and then develop and train new types of neural network architectures (e.g. convolutional and recurrent networks) using data from multiple speakers. The project laboratory/thesis project will be carried out in the BME Speech Technology and Intelligent Interactions Laboratory. The student's assignment should include: - Review the literature on electroencephalogram acoustic estimation in speech technology. - Investigate the types of neural networks that have been used in the field of brain-machine interface for communication. - Examine the applicability of different neural network architectures (e.g. convolutional and recurrent networks, ResNet, SkipNet). - Test their models using objective metrics and subjective tests. - Document their work in detail!

Speech is the primary and most essential means of human communication. However, many people have lost this ability through illness or ill health. The purpose of the brain-machine interface (BCI) is to provide a natural or near-natural channel of communication for people who cannot speak due to physical or neurological impairment. The real-time synthesis of speech directly from measured neural activity (EEG) would enable natural speech and significantly improve quality of life, especially for severely communication-impaired individuals. The student will be tasked to study the BRAIN2SPEECH domain and then develop and train new types of neural network architectures (e.g. convolutional and recurrent networks) using data from multiple speakers. The project laboratory/thesis project will be carried out in the BME Speech Technology and Intelligent Interactions Laboratory. The student's assignment should include: - Review the literature on electroencephalogram acoustic estimation in speech technology. - Investigate the types of neural networks that have been used in the field of brain-machine interface for communication. - Examine the applicability of different neural network architectures (e.g. convolutional and recurrent networks, ResNet, SkipNet). - Test their models using objective metrics and subjective tests. - Document their work in detail!

Kulcsszavak: DNN, Python, EEG, brain
Témavezető: Csapó Tamás Gábor
Oktatók: Arthur Viktor, Csapó Tamás Gábor.
A következő tantárgyakhoz javasolt:
 vitma367 (Info, BSc, Önálló laboratórium, Infokommunikációs hálózatok és alkalmazások ágazat)
 vitma380 (Info, BSc, Önálló laboratórium, Médiainformatika ágazat)
 vitma387 (Önlab, IVIR szakirány)
 vitma415 (Szakdolgozat)
 vitma416 (Szakdolgozat)
 vitma417 (Szakdolgozat, IVIR szakirány)
 vitmal01 (Info, BSc, Önálló laboratórium)
  ()
 vitmm805 (Info, MSc, Önálló laboratórium 1, Hálózatok és szolgáltatások)
 vitmm811 (Info, MSc, Önálló laboratórium 1, Médiainformatika)
 vitmm855 (Info, MSc, Önálló laboratórium 2, Hálózatok és szolgáltatások)
 vitmm861 (Info, MSc, Önálló laboratórium 2, Médiainformatika)
 vitmm905 (Diplomatervezés 1. (Info, Hálózatok és szolgáltatások szakirány))
 vitmm911 (Diplomatervezés 1. (Info, Médiainformatika szakirány))
 vitmml00 (Info,MSc,Önlab.1, Internet arch. és szolg.,Adat- és médiainformatika,Mobil hálózatok és szolg. integrációja (VITMML00))
 vitmml01 (Info,MSc,Önlab.2, Internet arch. és szolg.,Adat- és médiainformatika,Mobil hálózatok és szolg. integrációja (VITMML01))
 vitma345 (Vill., BSc. Önálló laboratórium)
 vitma414 (Szakdolgozat)
 vitmal03 (Vill.mérn. BSc Önálló laboratórium)
 vitmm807 (Vill., MSc, Önálló laboratórium 1, Infokommunikációs rendszerek)
 vitmm857 (Vill., MSc, Önálló laboratórium 2, Infokommunikációs rendszerek)
 vitmm907 (Diplomatervezés 1. (Vill. Infokommunikációs rendszerek szakirány))
 vitmml02 (Vill,MSc,Önlab.1, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML02))
 vitmml03 (Vill,MSc,Önlab.2, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML03))
 vieum821 (Önálló munka 1)
 vieum871 (Önálló munka 2)
 vieum921 (Diplomatervezés 1 (Egészségügyi mérnök))
 vitmm376 (Projekt labor 1)
 vitmm377 (Diplomatervezés 1 [analytics])
 vitmm388 (Projekt labor 2)
QR:    (mi is az?)
 
 katt. a nagyításhoz