Predchádzajúce správy z oddelenia AVT
- Záujem o štúdium
- Študenti
- Zamestnanec
- Novinári
- ekonomiky
- Inštitút pre mediálne technológie
- Domáce AVT
- ľudí
- Vyučovanie
- výskum
- Publikácie
- Softvér/Súbory na stiahnutie
- Tézy
- archív
- Predchádzajúce správy z oddelenia AVT
- Ukončené projekty (do roku 2013)
- Dizertačné práce a habilitácie
- Diania
Predchádzajúce správy z oddelenia AVT
21. medzinárodné sympózium IEEE pre multimédiá (2019 IEEE ISM), 9. - 11. decembra 2019, San Diego, USA
Rakesh Rao Ramachandra Rao, Steve Göring, Werner Robitza, Bernhard Feiten, Alexander Raake
AVT-VQDB-UHD-1: rozsiahla databáza kvality videa pre UHD-1
Na trhu sú v súčasnosti k dispozícii televízne obrazovky s rozlíšením 4K alebo dokonca s vyšším rozlíšením. Poskytovatelia streamovania videa sú navyše schopní streamovať videá v rozlíšení 4K a vyššom. Preto je čoraz dôležitejšie správne porozumieť kvalite videa, najmä v prípade videí s rozlíšením 4K. . Za týmto účelom v tomto článku predstavujeme štúdiu subjektívneho a objektívneho hodnotenia kvality 4K videí vo vysokom rozlíšení s krátkym trvaním, podobných dĺžkam segmentov DASH.
Ako prvý krok sme uskutočnili štyri subjektívne testy hodnotenia kvality komprimovaných verzií videí v rozlíšení 4K. Videá boli kódované pomocou troch rôznych video kodekov, konkrétne H.264, HEVC a VP9. Rozlíšenie komprimovaných videí sa pohybovalo od 360p do 2160p s frekvenciou snímok od 15fps do 60fps. Celý zdrojový obsah 4K bol použitý s rýchlosťou 60 snímok za sekundu. Zahrnuli sme podmienky nízkej kvality, pokiaľ ide o dátový tok, rozlíšenie a rýchlosť snímkovania, aby sme zaistili, že testy pokrývajú širokú škálu podmienok, a že napr. možné modely trénované na týchto dátach sú všeobecnejšie a použiteľné pre širšiu škálu aplikácií v reálnom svete. Výsledky subjektívneho hodnotenia kvality sa analyzujú s cieľom posúdiť vplyv rôznych faktorov, ako sú bitová rýchlosť, rozlíšenie, snímková frekvencia a obsah.
V druhom kroku boli na všetky videozáznamy použité rôzne najmodernejšie modely objektívnej kvality a ich výkon bol analyzovaný v porovnaní so subjektívnym hodnotením, napr. pomocou VMAF od Netflixu. Videá, subjektívne skóre, MOS aj intervaly spoľahlivosti na sekvenciu a objektívne skóre sú zverejnené na použitie komunitou pre ďalší výskum.
Odkaz na videá:
21. medzinárodný seminár IEEE o spracovaní multimediálnych signálov (MMSP), september 2019, Kuala Lumpur, Malajzia
A. Singla, W. Robitza a A. Raake
Porovnanie subjektívnych metód testovania kvality na hodnotenie kvality všesmerového videa
Cena za najlepší príspevok
Dominik Keller (oddelenie AVT), Tamara Seybold (ARRI Mníchov), Janto Skowronek (predtým oddelenie AVT) a Alexander Raake (oddelenie AVT) získali cenu za najlepší príspevok na 11. medzinárodnej konferencii o kvalite multimediálnych zážitkov (QoMEX 2019) v Berlíne.
Sponzorské ceny pre absolventov v odbore
Förderverein Elektrotechnik und Informationstechnik e. V. Ilmenau v súvislosti s Fakultou elektrotechniky a informačných technológií TU Ilmenau jeho sponzorské ocenenie za vynikajúce práce. Obdarovaná cena ocenila úspechy študentov počas ceremoniálu zrušenia registrácie na konci júna. Našťastie boli dve tézy z výskumnej skupiny pre audiovizuálne technológie, ktoré sa uskutočnili s priemyselnými partnermi, uznané ako vynikajúce z dôvodu vysokej miery interdisciplinarity a vedeckého prístupu, ako aj ich vykonania.
Gratulujeme držiteľom ocenenia Antonovi Schubertovi, ktorý sa zaoberal implementáciou komprimovaného širokopásmového zvukového kodeku pre komunikáciu vodičov v motoršporte, a Dominikovi Kellerovi, ktorý pracoval na identifikácii a analýze rozmerov textúr vo filmoch pomocou metód hodnotenia senzorov.
IMT na letnom festivale zastupiteľstva Durínskeho štátu v Berlíne
V roku 2019 bol Inštitút pre mediálne technológie (IMT) zastúpený na letnom festivale durínskeho štátneho zastúpenia v Berlíne. Stánok zdieľali dve špecializované oblasti. Oddelenie audiovizuálnej technológie demonštrovalo rôzne účinky videoobsahu vo Full HD a UHD rozlíšení so špeciálne vyrobeným obsahom. Ďalej boli predstavené 360 ° videá (virtuálna realita), ktoré boli vytvorené v teréne a slúžia na testy vnímania. Ponorné vnímanie virtuálnej reality zahŕňa aj primeranú priestorovú zvukovú scénu. Preto oddelenie technológie elektronických médií pomocou mikrofónového poľa ukázalo, ako sa tieto 360 ° zvukové záznamy vytvárajú, a aby bol výsledok počuteľný priamo pri stánku.
V letnom počasí bolo veľa záujemcov o návštevu. Durínsky predseda vlády Bodo Ramelow okrem iného nechal vysvetliť túto technológiu profesorovi Brandenburgovi a profesorovi Raakeovi. Počas podujatia ich podporil Stephan Fremerey, Dr. Stephan Werner a Matthias Döring.
Dominik Keller, Tamara Seybold, Janto Skowronek a Alexander Raake
Posudzovanie rozmerov textúry a kvality videa vo filmoch pomocou metód senzorického hodnotenia
Príspevok, ktorý vzišiel zo spolupráce medzi členmi oddelenia audiovizuálnych technológií a držiteľom Oscara ARRI (Arnold & Richter Cine Technik), získal na tohtoročnom 11. ročníku ceny Best Paper Award. Konferencia o kvalite multimediálneho zážitku (QoMEX 2019).
V štúdii predstavenej na konferencii QoMEX 2019 porovnávame vplyv rôznych algoritmov pohybovej interpolácie (MI) na 360 ° video Quality of Experience (QoE). Za týmto účelom sme vykonali subjektívny test s 12 divákmi odborníkov na video, pričom sa použila testovacia metóda porovnávania párov. Interpolovali sme štyri rôzne 20 s dlhé 30 fps 360 ° zdrojové obsahy na natívnu 90 Hz obnovovaciu frekvenciu populárnych displejov namontovaných na hlavu pomocou troch rôznych algoritmov MI. Následne sme porovnali týchto 90 fps videí navzájom, aby sme zistili vplyv na QoE. Pokiaľ ide o algoritmy, zistili sme, že zmes ffmpeg nevedie k významnému zlepšeniu QoE, zatiaľ čo MCI a butterflow to robia. Ďalej sme dospeli k záveru, že pre 360 ° videá obsahujúce rýchle a náhle pohyby by sa malo uprednostniť MCI pred maslovým tokom, zatiaľ čo maslový tok je vhodnejší pre spomalené a stredné videá. Pri porovnaní času potrebného na vykreslenie interpolovaných videí s rýchlosťou 90 fps je kombinácia ffmpeg najrýchlejšia, zatiaľ čo MCI a butterflow potrebujú oveľa viac času.
Publikované na 26. konferencii IEEE o virtuálnej realite a 3D používateľských rozhraniach, marec 2019, Osaka, Japonsko
A. Singla, R. R. R. Rao, S. Göring a A. Raake: Posudzovanie QoE médií, choroba a prítomnosť simulátora pre všesmerové videá s rôznymi testovacími protokolmi
QoE pre všesmerové videá obsahuje ďalšie komponenty, ako sú choroba a prítomnosť simulátora. V tomto dokumente je predstavená séria testov porovnávajúcich rôzne testovacie protokoly na vyhodnotenie integrálnej kvality, choroby simulátora a prítomnosti pre všesmerové videá v jednom testovacom behu s použitím zariadenia HTC Vive Pro ako displeja pripevneného na hlavu. Na hodnotenie kvality sa použila päťbodová stupnica ACR. Okrem toho sa na analýzu toho, ako dobre je možné zachytiť prítomnosť a chorobu simulátora pomocou jedinej škály, použili osvedčené metódy Simulator Sickness Questionnaire a PresenceQuestionnaire, raz v plnej verzii a raz iba s jednou integrálnou škálou.
Ashutosh Singla počas prezentácie svojho príspevku na konferencii IEEE VR v Japonsku
Jedenásta medzinárodná konferencia o kvalite multimediálnych zážitkov (QoMEX) (QoMEX 2019). Berlín, Nemecko. Júna 2019
Steve Göring, Rakesh Rao Ramachandra Rao, Alexander Raake
nofu - Ľahký nereferenčný model kvality videa založený na pixeloch pre herný obsah
Popularita streamovacích služieb pre herné videá sa za posledné roky ohromne zvýšila, napr. Twitch a Youtube Gaming. V porovnaní s klasickými aplikáciami na streamovanie videa majú herné videá ďalšie požiadavky. Napríklad je dôležité, aby sa videá vysielali naživo iba s malým oneskorením. Používatelia navyše očakávajú nízke zastavenie, čakaciu dobu a všeobecne vysokú kvalitu videa počas streamovania, napr. pomocou adaptívneho streamovania založeného na protokole http. Tieto požiadavky vedú k rôznym výzvam pri predpovedaní kvality v prípade streamovaných herných videí. Popisujeme novo vyvinuté funkcie a model strojového učenia bez referenčnej kvality videa, ktorý na predpovedanie skóre kvality videa používa iba zaznamenané video. V rôznych hodnotiacich experimentoch porovnávame nami navrhovaný model nofu s najmodernejšími redukovanými alebo úplnými referenčnými modelmi a metrikami.
Okrem toho sme pomocou funkcií brisque + niqe trénovali základný model bez referencie. Ukazujeme, že náš model má podobný alebo lepší výkon ako iné modely. Nofu navyše prekonáva VMAF pre subjektívnu predpoveď QoE hier, aj keď nofu nevyžaduje žiadne referenčné video.
scatter_plot_mos_nofu: výsledky pre dátový súbor hier a predikciu subjektívneho skóre
7. európsky seminár o spracovaní vizuálnych informácií (EUVIP), Tampere (Fínsko), 26. - 28. novembra 2018 (http://www.tut.fi/euvip2018/)
Steve Goering, Alexander Raake
deimeq - Hybridný model kvality obrazu založený na hlbokej neurálnej sieti
Aktuálne žiadne referenčné modely hodnotenia kvality obrazu nie sú väčšinou založené na ručne vytvorených vlastnostiach (signál, počítačové videnie, ...) alebo na hlbokých neurónových sieťach. Používanie DNN na predikciu kvality obrazu vedie k niekoľkým problémom, napr. veľkosť vstupu je obmedzená; vyššie rozlíšenie zvýši čas spracovania a spotrebu pamäte. Veľké vstupy sú spracované opravou obrazu a agregáciou skóre kvality. Čistým prístupom so záplatami sa spojenia medzi čiastkovými obrazmi strácajú.
Pre výcvik DNN od nuly je tiež potrebný obrovský súbor údajov, aj keď k dispozícii sú iba malé súbory údajov s anotáciami. Poskytujeme hybridné riešenie (deimeq) na predpovedanie kvality obrazu pomocou
Extrakcia funkcií DNN v kombinácii s náhodnými lesnými modelmi. Po prvé, deimeq používa vopred vycvičené DNN na extrakciu funkcií v hierarchickom prístupe k podobrazom, čím sa zabráni obrovskému množstvu tréningových údajov. Náš navrhovaný prístup k podobrazom ďalej obchádza čistú opravu kvôli hierarchickým spojeniam medzi podobrazmi. Po druhé, deimeq je možné rozšíriť pomocou funkcií založených na signáloch z najmodernejších modelov. Na vyhodnotenie nášho prístupu sme zvolili prísne krížové vyhodnotenie množiny údajov s množinami údajov Live-2 a TID2013 s niekoľkými vopred vyškolenými DNN. Na záver ukážeme, že deimeq a jeho varianty majú lepší alebo podobný výkon ako iné metódy.
Human Vision and Electronic Imaging 2019, Burlingame (Kalifornia USA), 13. - 17. januára 2019 (http://www.imaging.org/site/IST/IST/Conferences/EI/Symposium_Overview.aspx)
Steve Göring, Julian Zebelein, Simon Wedel, Dominik Keller, Alexander Raake
Analyzujte a predvídajte vnímateľnosť obsahu videa UHD
720p, Full-HD, 4K, 8K,. rozlíšenie displeja sa za posledný čas výrazne zvyšuje. Mnoho poskytovateľov streamovania videa však v súčasnosti streamuje videá s maximálnym rozlíšením 4K/UHD-1. Ak vezmeme do úvahy, že bežní diváci videa si svoje videá vychutnávajú v typických obývacích izbách, kde sú sledovacie vzdialenosti dosť veľké, vyvstáva otázka, či je ešte väčšie rozlíšenie rozpoznateľné. V nasledujúcom príspevku budeme analyzovať problém vnímateľnosti UHD v porovnaní s nižšími rozlíšeniami. Ako prvý krok sme uskutočnili subjektívny videotest, ktorý sa zameriava na krátke nekomprimované videosekvencie a porovnáva dve rôzne testovacie metódy na párovú diskrimináciu dvoch reprezentácií toho istého zdrojového videa v rôznych rozlíšeniach.
Vybrali sme metódu rozšíreného pruhu a metódu časového prepínania. Zistili sme, že časové prepínanie je vhodnejšie na rozpoznanie video obsahu UHD. Ďalej sme vyvinuli funkcie, ktoré je možné použiť v systéme strojového učenia na predpovedanie toho, či je výhodné zobraziť dané video v UHD alebo nie.
Vyhodnotenie rôznych modelov založených na týchto vlastnostiach na predvídanie vnímateľných rozdielov ukazuje dobrý výkon z dostupných údajov o teste. Náš implementovaný systém je možné použiť na overenie videomateriálu zdroja UHD alebo na optimalizáciu streamovacích aplikácií.