Cílem studie AI & Streaming: Chatbots for Content Discovery bylo zjistit, jak dobře dokáže dnešní generativní AI uživatelům pomoci s hledáním streamovaného obsahu. Autoři studie zkoumali, jestli chatboti dokážou správně identifikovat streamovací platformu, zda jsou schopni nabídnout konzistentní odpovědi a poskytnout přímý odkaz na konkrétní hledaný titul. Z výzkumu vyplývá, že navzdory skutečnosti, že jsou chatboti stále častěji integrováni přímo do operačních systémů a chytrých televizí, jejich schopnost skutečně podpořit vyhledatelnost obsahu je prozatím omezená. To platí zejména pro lokální evropské streamovací služby.
Jak si vedli zkoumaní chatboti?
Z agregovaných výsledků výzkumu je zřejmé, že chatboti prozatím základní orientaci nijak zvlášť dobře nezvládají. Pouze 68 % odpovědí obsahovalo správnou streamovací platformu, na které je vyhledávaný titul dostupný. Ještě hůř dopadla konzistence odpovědí – jen 57 % odpovědí bylo shodných napříč třemi opakováními téhož dotazu. Tím největším problémem ale byly přímé odkazy na konkrétní tituly: správný přímý odkaz neboli deep link obsahovalo pouze 31 % odpovědí.
Studie AI & Streaming;, Weed AnalyticsRozdíly mezi chatboty a regiony
Studie také poukázala na poměrně výrazné rozdíly mezi jednotlivými chatboty i geografickými oblastmi. Výzkumní pracovníci porovnávali schopnost čtyř chatbotů (Claude, Gemini, ChatGPT a Perplexity) správně identifikovat streamovací platformu a zároveň poskytnout přímý odkaz na konkrétní videotitul. Data se týkají sledovaných zemí. Jak jednotliví chatboti dopadli?
Nejvyrovnanějších výsledků v této části dosahuje chatbot Claude. Napříč všemi regiony vykazuje poměrně vysokou úspěšnost v identifikaci správné streamovací služby, rozdíly mezi zeměmi jsou spíše okrajové. Navíc je to jeden z mála chatbotů, u kterého se ve významné míře vyskytují i správné přímé odkazy. To platí zejména pro země USA, Velkou Británii a Německo, kde podíl správných přímých odkazů přesahuje hranici 50 %.
Gemini se naopak vyznačuje velmi silnou schopností rozpoznat správnou streamovací službu a ve Francii, Itálii a Španělsku dosahuje v této metrice dokonce lepších výsledků než v USA, Velké Británii a Německu. Tyto pěkné výsledky mu ale kazí nízká kvalita práce s přímými odkazy. Správné přímé odkazy se objevují jen omezeně a často je nutné další upřesňující dotazování v rámci samotného chatbota.
ChatGPT se pohybuje spíše u spodní hranice hodnocení. Schopnost identifikovat správnou streamovací službu je omezená a celkově nedosahuje ani poloviny úspěšnosti. Mírně lepší výsledky se vyskytly v regionech USA, Velké Británie a Německa. V oblasti přímých odkazů je výkon ChatGPT ještě slabší – správné přímé odkazy se v odpovědích vyskytují jen sporadicky. ChatGPT je podle studie vhodný spíše jako nástroj pro získání základní orientace. K tomu, aby byl efektivním prostředkem pro skutečné zjednodušení cesty k obsahu, má ještě hodně daleko.
Nejhůř je na tom ovšem chatbot Perplexity. Dokáže správně identifikovat méně než polovinu streamovacích služeb, a pokud jde o přímé odkazy, netrefí se prakticky nikdy. Tady sice rovněž existují regionální rozdíly ve prospěch USA, Velké Británie a Německa, ty ale nedokážou změnit celkový obraz velmi nízké kvality výsledků. Perplexity se tak v rámci tohoto srovnání ukazuje jako chatbot, který v současné podobě není schopen plnit roli spolehlivého nástroje pro vyhledávání obsahu.
Studie AI & Streaming;, Weed AnalyticsVýsledky studie potvrzují, že AI chatboti před sebou mají, pokud jde o vyhledávání streamovaného obsahu, ještě dlouhou cestu. Zatímco identifikace správné streamovací služby již u některých chatbotů funguje relativně dobře, poskytování konzistentních a přesných přímých odkazů je i nadále zásadní slabinou u všech AI řešení.
Lokální streamovací služby – nejslabší místo ekosystému
Klíčovým zjištěním studie je výrazně horší výkonnost chatbotů při práci s lokálními streamovacími službami, zejména v Evropě.
Právě v této oblasti narážejí současní AI chatboti na své největší limity. Zatímco u globálních platforem se alespoň částečně daří správně identifikovat dostupnost obsahu, u lokálních streamovacích služeb jsou výsledky výrazně slabší a také výrazně méně konzistentní.
Chatboti Claude a Gemini se jeví jako AI řešení s relativně slušnou schopností rozpoznat lokální streamovací služby, tedy alespoň pokud jde o identifikaci platformy jako takové. Chatbot Claude správně identifikoval 22 z 27 testovaných streamovacích služeb, Gemini 21 z 27. Všechny případy, kdy identifikace selhala, se týkaly výhradně evropských lokálních služeb. To znamená, že i u nejlépe hodnocených chatbotů je znalost lokálního evropského trhu fragmentovaná a neúplná.
U přímých odkazů je situace o dost horší. Ani Claude, ani Gemini nedokázali poskytnout u lokálních streamovacích služeb žádný správný přímý odkaz na konkrétní titul. U chatbota Claude se absence nebo chybovost přímého odkazu týkala 14 z 27 streamovacích služeb, u Gemini 12 z 27. To znamená, že i v případech, kdy chatbot „ví“, kde se dá obsah najít, nedokáže uživatele přímo nasměrovat k jeho sledování.
Ještě problematičtější obraz nabízí Perplexity. Tento chatbot nedokázal najít žádný správný výsledek u více než poloviny testovaných streamovacích služeb (16 z 27) – a opět se všechny neúspěšné případy týkaly lokálních služeb. Navíc se Perplexity v tabulce vůbec nevyskytuje v pravém horním kvadrantu, tedy v oblasti, kde by byly současně splněny obě podmínky – správná identifikace streamovací služby i správný přímý odkaz.
Zajímavě se ale jeví ChatGPT. Na jedné straně neposkytl pro 11 lokálních streamovacích služeb žádné relevantní výsledky, tj. selhal jak v identifikaci platformy, tak v poskytování přímých odkazů. Na druhé straně ale jako jediný chatbot dosáhl u dvou lokálních streamovacích služeb umístění v pravém horním kvadrantu grafu, tedy v kategorii, kde jsou splněny obě sledované metriky. To naznačuje, že výkon ChatGPT ve vztahu k lokálním streamovacím službám je nerovnoměrný a silně závislý na konkrétní službě či trhu.
Studie AI & Streaming;, Weed AnalyticsCelkově vzato je zřejmé, že lokální streamovací služby představují pro AI chatboty systémový problém. Nejde o jednotlivá selhání, ale o strukturální slabinu napříč všemi testovanými řešeními. Zatímco identifikace globálních platforem se postupně zlepšuje, lokální streamovací služby zůstávají často nerozpoznané a je zjevný propastný rozdíl mezi globální a lokální distribucí obsahu. To naznačuje, že bez hlubší technické a datové integrace budou lokální hráči, pokud jde o vyhledávání obsahu prostřednictvím umělé technologie, zřejmě ještě dlouho znevýhodněni ve srovnání s globálními streamovacími službami.
Sečteno a podtrženo
Chatboti postupně začínají nahrazovat tradiční vyhledávače a jsou integrováni přímo do platforem, jako je Android TV (Gemini) nebo Samsung Tizen (Perplexity). Studie ale ukazuje, že současný stav představuje spíše ranou fázi vývoje. Výsledky jsou nekonzistentní a nedostatečné – a to platí obzvlášť pro lokální streamovací služby. Podle autorů studie bude do budoucna nutno vyvinout lepší technické, produktové i obchodní modely, které umožní hlubší integraci streamovacích služeb, vyšší konzistenci odpovědí a kvalitnější prezentaci výsledků.
Zdroj: weed-analytics.com
