Претходни извештаи од одделот АВТ
- Заинтересирани за студии
- Студенти
- Вработен
- Новинари
- економија
- Институт за технологија на медиуми
- Дома АВТ
- луѓе
- Настава
- истражување
- Публикации
- Софтвер/Преземања
- Тези
- архива
- Претходни извештаи од одделот АВТ
- Завршени проекти (пред 2013 година)
- Дисертации и хабилитации
- Настани
Претходни извештаи од одделот АВТ
21-от Меѓународен симпозиум на IEEE за мултимедија (2019 IEEE ISM), 9-11 декември 2019 година, Сан Диего, САД
Ракеш Рао Рамачандра Рао, Стив Геринг, Вернер Робица, Бернхард Фајтен, Александар Рааке
AVT-VQDB-UHD-1: База на податоци за квалитет на видео од големи размери за UHD-1
4K телевизиски екрани или дури и со поголема резолуција се моментално достапни на пазарот. Покрај тоа, давателите на видео стриминг се во можност да проследуваат видеа во 4K резолуција и пошироко. Затоа, станува сè поважно да имате соодветно разбирање за квалитетот на видеото, особено во случај на 4K видеа . За таа цел, во овој труд, презентираме студија за субјективно и објективно оценување на квалитетот на 4K видеа со ултра-висока дефиниција со кратко траење, слични на должините на сегментот DASH.
Како прв чекор, спроведовме четири субјективни тестови за проценка на квалитетот за компресирани верзии на видеата со 4К. Видеата беа кодирани со користење на три различни видео кодеци, имено H.264, HEVC и VP9. Резолуциите на компресираните видеа се движеа од 360p до 2160p со рамки што се разликуваа од 15fps до 60fps. Целата изворна содржина од 4К беше искористена со 60fps. Вклучивме услови со низок квалитет во однос на бит-стапката, резолуцијата и рамката за да се осигураме дека тестовите опфаќаат широк спектар на услови и на пр. можните модели обучени за овие податоци се поопшти и применливи за поширок спектар на реални апликации. Резултатите од субјективната проценка на квалитетот се анализираат за да се процени влијанието на различните фактори како што се бит-стапка, резолуција, рамка и содржина.
Во вториот чекор, беа применети различни најсовремени објективни квалитетни модели на сите видеа и нивната изведба беше анализирана во споредба со субјективните оценки, на пр. користејќи го VMAF на Нетфликс. Видеата, субјективните резултати, и МОС и интервалите на доверба по секвенца и објективните резултати се јавно објавени за употреба од заедницата за понатамошно истражување.
Врска до видеата:
21-та Меѓународна работилница на IEEE за обработка на мултимедијален сигнал (ММСП), септември 2019 година, Куала Лумпур, Малезија
А. Сингла, В. Робица и А.Рааке
Споредба на методите за субјективно тестирање на квалитет за оминдирекциона проценка на квалитетот на видеото
Награда за најдобра хартија
Доминик Келер (Одделение АВТ), Тамара Сејболд (АРРИ Минхен), Јанто Скоронек (поранешен Оддел АВТ) и Александар Рааке (Одделение АВТ) ја добија наградата за најдобра хартија на 11-та меѓународна конференција за квалитет на мултимедијалното искуство (QoMEX 2019) во Берлин.
Спонзорски награди за дипломирани студенти од оваа област
По втор пат, Förderverein Elektrotechnik und Informationstechnik e. В. Илменау во врска со Факултетот за електротехника и информатичка технологија на ТУ Илменау неговата спонзорска награда за извонредни тези. Наградената награда ги почести достигнувањата на студентите за време на церемонијата за дерегистрација на крајот на јуни. За среќа, две тези од Групата за истражување на аудиовизуелната технологија, кои беа спроведени со индустриски партнери, беа препознаени како извонредни поради нивниот висок степен на интердисциплинарност и научен пристап, како и нивното извршување.
Им честитаме на добитниците на наградата Антон Шуберт, кој се занимаваше со имплементација на компресиран широкопојасен аудио кодек за комуникација на возачот во мотоспортот и Доминик Келер, кој работеше на идентификување и анализа на димензиите на текстурата во кино филмовите со помош на методи за проценка на сензори.
ИМТ на летниот фестивал на државната репрезентација на Турингија во Берлин
Во 2019 година, Институтот за медиумска технологија (ИМТ) беше претставен на летниот фестивал на претставништвото на државата Турингија во Берлин. Две специјализирани области го споделија штандот. Одделот за аудиовизуелна технологија ги демонстрираше различните ефекти на видео содржините во Full HD и UHD резолуција со специјално произведена содржина. Покрај тоа, беа презентирани видеа од 360 ° (виртуелна реалност), кои беа создадени на терен и се користат за тестови за перцепција. Адекватната просторна аудио сцена е исто така дел од потопната перцепција на виртуелната реалност. Затоа одделот за електронска технологија за медиуми користеше низа микрофон за да покаже како се прават овие аудио записи од 360 ° и го прават резултатот звучен директно на штандот.
Во летно време имаше многу заинтересирани посетители. Меѓу другото, премиерот на Турингија, Бодо Рамелоу, ги натера проф. Бранденбург и проф. Рааке да му ја објаснат технологијата. За време на настанот беа поддржани од Стефан Фремери, д-р. Стефан Вернер и Матијас Доринг.
Доминик Келер, Тамара Сејболд, Јанто Скоронек и Александар Рааке
Проценка на димензиите на текстурата и квалитетот на видеото во движење со помош на техники за сензорно оценување
Трудот што произлезе од соработката помеѓу членовите на Одделот за аудиовизуелна технологија и оскаровецот АРРИ (Арнолд и Рихтер Сине Техник) ја доби наградата за најдобра хартија на овогодинешниот 11-ти Интер. Конференција за квалитет на мултимедијалното искуство (QoMEX 2019).
Во студија презентирана на конференцијата QoMEX 2019, го споредуваме влијанието на различните алгоритми на интерполација на движење (MI) врз квалитетот на искуството на видеото од 360 ° (QoE). За да го сториме тоа, спроведовме субјективен тест со 12 гледачи на видео експерти, додека беше користен метод за тест за споредба на парови. Интерполиравме четири различни извори со должина од 20 секунди, 30 fps 360 °, со природната брзина на освежување од 90 Hz, на популарните дисплеи монтирани на главата, користејќи три различни алгоритми на MI. Последователно, ги споредивме овие видеа со 90 fps едни против други за да го испитаме влијанието врз QoE. Во врска со алгоритмите, откривме дека мешавината на ffmpeg не доведува до значително подобрување на QoE, додека тоа го прават MCI и путер. Дополнително, заклучивме дека за видеа од 360 ° кои содржат брзи и ненадејни движења, MCI треба да се претпочита пред путер, додека путерот е посоодветен за видеа со бавно и средно движење. Иако се споредува времето потребно за рендерирање на интерполираните видеа од 90 fps, мешавината ffmpeg е најбрза, додека на MCI и на путерот им треба многу повеќе време.
Објавено на 26-та конференција на IEEE за виртуелна реалност и 3Д кориснички интерфејси, март 2019 година, Осака, Јапонија
A. Singla, R. R. R. Rao, S. Göring и A. Raake: Проценка на медиуми QoE, болест на симулаторот и присуство за видеа со повеќе насоки со различни протоколи за тестирање
QoE за секаденасочни видеа содржи дополнителни компоненти како што се болест и присуство на симулаторот. Во овој труд, презентирана е низа тестови со кои се споредуваат различни протоколи за тестирање за да се процени интегралниот квалитет, симулаторната болест и присуството на видеа од секаде и во еден правец, користејќи го HTC Vive Pro како приказ поставен на главата. За квалитетни рејтинзи, беше искористена скалата со пет точки ACR. Покрај тоа, беа користени добро воспоставените прашалници за симулатор за болест и PresenceQuesnaetnaire, еднаш во целосна верзија, и еднаш со само една единствена интегрална скала, за да се анализира колку добро присуството и болеста на симулаторот можат да бидат зафатени со користење само на една скала.
Ашутош Сингла додека го презентираше својот постер на конференцијата IEEE VR во Јапонија
Единаесетта меѓународна конференција за квалитет на мултимедијалното искуство (QoMEX) (QoMEX 2019). Берлин, Германија. Јуни 2019 година
Стив Геринг, Ракеш Рао Рамачандра Рао, Александар Рааке
nofu - Лесен модел без референца за пиксели за квалитет на видео за содржина на игри
Популарноста на услугите за стриминг за видео-игри е неверојатно зголемена во последните години, на пр. Twitch и Youtube Gaming. Во споредба со класичните апликации за видео-стриминг, видеата за игри имаат дополнителни барања. На пример, важно е видеата да се пренесуваат во живо со само мало задоцнување. Покрај тоа, корисниците очекуваат ниско застој, време на чекање и воопшто висок квалитет на видео за време на стримингот, на пр. користејќи прилагодлив стриминг базиран на http. Овие барања доведуваат до различни предизвици за предвидување на квалитетот во случај на емитувани видео игри. Ние ги опишуваме новоразвиените карактеристики и моделот за машинско учење без референца за квалитет на видео, што го користи само снименото видео за да предвиди резултати за квалитет на видео Во различни експерименти за проценка, ние го споредуваме нашиот предложен модел nofu со најсовремени намалени или целосни референтни модели и метрика.
Покрај тоа, обучивме основен модел без референца со употреба на одлични карактеристики + niqe. Покажуваме дека нашиот модел има слична или подобра изведба од другите модели. Понатаму, nofu го надминува VMAF за субјективно играње QoE предвидувања, иако nofu не бара референтно видео.
scatter_plot_mos_nofu: резултати за игри со податоци и предвидување на субјективни резултати
7-та Европска работилница за обработка на визуелни информации (EUVIP), Тампере (Финска), 26-28 ноември 2018 година (http://www.tut.fi/euvip2018/)
Стив Геринг, Александар Рааке
deimeq - Модел за квалитет на слика без референца заснован на длабока нервна мрежа
Тековните модели за проценка на квалитетот на референтната слика во најголем дел се засноваат на рачно изработени карактеристики (сигнал, компјутерска визија, ...) Или длабоки нервни мрежи. Користењето на DNN за предвидување на квалитетот на сликата доведува до неколку проблеми, на пр. влезната големина е ограничена; поголема резолуција ќе го зголеми времето на обработка и потрошувачката на меморија. Со големите влезови се ракува со крпење на слики и агрегација на квалитетен резултат. Во чист пристап на крпење, врските помеѓу под-сликите се губат.
Исто така, потребна е огромна база на податоци за обука на DNN од нула, иако се достапни само мали групи на податоци со прибелешки. Ние обезбедуваме хибридно решение (deimeq) за да го предвидиме квалитетот на сликата користејќи
Екстракција на одликите на DNN во комбинација со модели на случајни шуми. Прво, deimeq користи претходно обучен DNN за извлекување на одлики во хиерархиски пристап на под-слика, со што се избегнува огромна база на податоци за обуки. Понатаму, нашиот предлог пристап на под-слика заобиколува чисто крпење, поради хиерархиските врски помеѓу под-сликите. Второ, deimeq може да се прошири со користење на карактеристики засновани на сигнал од најсовремени модели. За да го оцениме нашиот пристап, избираме строга проценка на вкрстена база на податоци со збирките на податоци Live-2 и TID2013 со неколку претходно обучени DNN. Конечно, ние покажуваме дека deimeq и неговите варијанти имаат подобри или слични резултати од другите методи.
Human Vision and Electronic Imaging 2019, Бурлингем (Калифорнија САД), 13 - 17 јануари 2019 година (http://www.imaging.org/site/IST/IST/Conferences/EI/Symposium_Overview.aspx)
Стив Геринг, Julулијан Зебелејн, Симон Ведел, Доминик Келер, Александар Рааке
Анализирајте ја и предвидете ја осетливоста на видео содржините на UHD
720p, Full-HD, 4K, 8K,. резолуциите на екранот се зголемуваат силно во текот на минатото време. Сепак, многу даватели на видео-стриминг во моментов емитуваат видеа со максимална резолуција од 4K/UHD-1. Имајќи предвид дека нормалните гледачи на видеа уживаат во своите видеа во типични дневни простории, каде што растојанието на гледање е доста големо, се поставува прашањето дали дури и може да се препознае поголема резолуција. Во следниот труд ќе го анализираме проблемот на преосетливост на UHD во споредба со пониските резолуции. Како прв чекор, спроведовме субјективен видео-тест, кој се фокусира на кратки некомпресирани видео секвенци и споредува два различни методи за тестирање за дискриминација по пар на две репрезентации на истиот изворен видео во различни резолуции.
Избравме метод на продолжена лента и метод на временско префрлување. Откривме дека временското префрлување е посоодветно за препознавање на видео содржини со UHD. Понатаму, развивме карактеристики што можат да се користат во системот за машинско учење за да се предвиди дали има корист од прикажувањето на даденото видео во UHD или не.
Оценувањето на различните модели засновани врз овие карактеристики за предвидување на видливите разлики покажува добра изведба на достапните податоци од тестот. Нашиот имплементиран систем може да се користи за да се потврди видео-материјалот со извор UHD или да се оптимизираат апликациите за стриминг.