Vědci z FAV vyvinuli novou technologii pro vyhledávání v audiovizuálních archivech

Vyhledávání pomocí položených otázek, tak se jmenuje nová technologie strojového učení vědců z katedry kybernetiky FAV, která umožňuje procházet dlouhé sekvence videozáznamů, a to na základě předem vygenerovaných otázek s časovým určením. Ty uživatele provedou obsahem videa a umožní přímou interakci s ním. Uživatelé tak mohou v archivech ústní historie pracovat intuitivním a interaktivním způsobem.

Software vyvinuli Jan Švec, Martin Bulín a Pavel Ircing z oddělení umělé inteligence katedry kybernetiky FAV a doktorandi Adam Frémund a Filip Polák. „Lidé ve videích mají tendenci dlouze vyprávět o svých zážitcích. Výsledkem jsou rozsáhlé a nestrukturované výpovědi, ve kterých je velmi obtížné vyhledávat. Je potřeba poslouchat od začátku, což zabere spoustu času. Pokud však otázky vytvoříme pomocí umělé inteligence a přiřadíme je k záznamu, lze požadovanou informaci najít právě podle nich. Po vyslechnutí dané sekvence pak záznam pokračuje dále,“ vysvětluje Jan Švec.

Systémy pro rozpoznávání řeči a vyhledávání informací přitom vědci z katedry kybernetiky vyvíjejí už řadu let. „Vše začalo spoluprací se Stevenem Spielbergem, který po uvedení filmu Schindlerův seznam založil Nadaci šoa. Ta v letech 1994–2000 pořídila tisíce hodin výpovědí svědků holokaustu. Když záznamy nahrané na kazetách VHS zdigitalizovali, zjistili, že v nich není možné nic najít. A to odstartovalo výzkum, který pokračuje už více než dvacet let,“ ohlíží se Pavel Ircing zpět do doby, kdy tým katedry kybernetiky vyvinul software pro vyhledávání v rozsáhlém archivu USC Shoah Foundation.

Nová technologie, založená na neuronových sítích, zahrnuje přizpůsobený převod řeči na text, metody vyhledávání, porozumění řeči a automatické titulky, umožňuje hlasové dotazy v angličtině i češtině a funkci sémantického vyhledávání. Ta dokáže hledat nikoli konkrétní slova nebo fráze, ale pasáže s významem souvisejícím s hledanou frází. To výrazně zvyšuje šanci na nalezení relevantních informací, protože dotazy nejsou omezeny na jedno klíčové slovo.

Demo verze aplikace je volně přístupná na stránkách ZČU.