Szcenáriófelismerés látás-nyelvi transzformátorok segítségével vizuális adathalmazokon (Scenario recognition using vision-language transformers on visual datasets) | Ipari partner: Robert Bosch Kft. |  |
Az ADAS fejlesztése során alapvető fontosságú, hogy a rendelkezésre álló adatkészletekben azonosítsunk bizonyos forgatókönyveket. Erre a célra a CLIP-hez hasonló látásnyelvi transzformációs modelleket lehet felhasználni nyílt forráskódú vizuális ADAS-adatkészletek felhasználásával. A feladat magában foglalja egy korszerű vektoradatbázis (pl. Milvus) létrehozását a kinyert jellemzők tárolására és lekérdezésére, amelyek alapján a forgatókönyveket meg kell határozni.
Szükséges készségek:
- Python
- Docker
- LLM finomhangolással kapcsolatos tapasztalat (opcionális) |
During the development of ADAS it is essential to identify certain scenarios in the available datasets. For this purpose vision-language transformer models, like CLIP, could be utilized using open source visual ADAS datasets. The task includes the set up of a state-of-the-art vector database (e.g. Milvus) to store and query the extracted features based on which the scenarios should be defined.
Required skills:
- Python
- Docker
- (optional) Experience with LLM fine-tuning |
Kulcsszavak: vision-language transformer, CLIP, AI, Milvus, vector database, scenario recognition, ADAS |
Témavezető: Lévai Tamás |
Oktatók: Toka László. |
A következő tantárgyakhoz javasolt: |
| vitma387 | (Önlab, IVIR szakirány) |
| vitma415 | (Szakdolgozat) |
| vitma416 | (Szakdolgozat) |
| vitma417 | (Szakdolgozat, IVIR szakirány) |
| vitmal01 | (Info, BSc, Önálló laboratórium) |
| vitmm855 | (Info, MSc, Önálló laboratórium 2, Hálózatok és szolgáltatások) |
| vitmm861 | (Info, MSc, Önálló laboratórium 2, Médiainformatika) |
| vitmm905 | (Diplomatervezés 1. (Info, Hálózatok és szolgáltatások szakirány)) |
| vitmm911 | (Diplomatervezés 1. (Info, Médiainformatika szakirány)) |
| vitmml10 | (Info, MSc, Önálló laboratórium 1) |
| vitmml11 | (Info, MSc, Önálló laboratórium 2) |
| vitmm807 | (Vill., MSc, Önálló laboratórium 1, Infokommunikációs rendszerek) |
| vitmm857 | (Vill., MSc, Önálló laboratórium 2, Infokommunikációs rendszerek) |
| vitmm907 | (Diplomatervezés 1. (Vill. Infokommunikációs rendszerek szakirány)) |
| vitmml02 | (Vill,MSc,Önlab.1, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML02)) |
| vitmml03 | (Vill,MSc,Önlab.2, Okos város,Vez.nélküli rendsz. és alk.ok,Multimédia rendsz. és szolg.,Optikai távközlés (VITMML03)) |
| vieum821 | (Önálló munka 1) |
| vieum871 | (Önálló munka 2) |
| vieum921 | (Diplomatervezés 1 (Egészségügyi mérnök)) |
| vitmm376 | (Projekt labor 1) |
| vitmm377 | (Diplomatervezés 1 [analytics]) |
| vitmm379 | (Önálló laboratórium 1) |
| vitmm380 | (Önálló laboratórium 2) |
| vitmm381 | (Diplomatervezés 1) |
| vitmm382 | (Diplomatervezés 2) |
| vitmm388 | (Projekt labor 2) |
|
QR: (mi is az?)
|
|  katt. a nagyításhoz |
|
Kedvencekbe felvesz
Jelentkezés
|