Slavná zpěvačka nahrála fotku v červených šatech, druhý den ji viděl internet v plavkách, které nikdy na sobě neměla. Stovky žen prožívají stejnou noční můru a dvě země už zakročily. Technologie, která měla být revoluční, se stala nástrojem obtěžování.
Brazilská zpěvačka Julia Yukari nahrála na X fotku v červených šatech s kočkou. Druhý den se rozšířily verze, kde má na sobě bikiny, nebo je skoro nahá, jenže ona nic takového nikdy nevyfotila. Vytvořil to chatbot Grok od Elona Muska a stačí k tomu nahrát cizí fotku a napsat příkaz: "Udělej z ní modelku v bikinách". Za pár vteřin máte výsledek, který někomu může zničit život.
Yukari tvrdí, že ztratila důvěru v sociální sítě, protože sledovala, jak tisíce cizích lidí sdílejí její explicitní kopie. Mazání trvá dlouho, ale reposty a archivy se vracejí stále dokola. Je to začarovaný kruh, který ukazuje odvrácenou stranu sociálních sítí a internetu.
Ashley St. Clair to měla ještě horší. Je to americká komentátorka, mimochodem matka jednoho z Muskových dětí, která zkusila funkci zablokovat, ale Grok jí i tak udělal sexualizované verze.
Lidé na X hledají veřejné profily s běžnými selfies, stáhnou si fotku, nahrají ji do Groku a napíšou třeba: "Otoč ji v bikinách, aby ukázala zadek," nebo: "Roztažené nohy v plavkách," a chatbot během vteřin vytvoří nový snímek, kde obličej vypadá úplně stejně jako na originále a jen tělo a oblečení se změní.
Tohle vychází z pokročilých modelů manipulace s obrázky zabudovaných do Groku z loňského léta, chybí tam ale bezpečnostní filtry proti sexualizovaným příkazům a nejsou tam ani ochrana dětských tváří nebo veřejných osobností. Fenomén se během svátků rozšířil do tisíců virálních příspěvků a systém vytvořil v nejhorších hodinách jeden explicitní obrázek každou minutu. Novináři pak našli případy se sexualizovanými snímky mladistvých dětí, což spustilo alarm u organizací na ochranu dětí.
Indonésie a Malajsie zablokovaly Grok už 12. ledna, jejich úřady viděly stovky deepfake příspěvků s místními ženami a nezletilými dívkami a řekly, že to porušuje zákony o ochraně dětí. Teď spolupracují s operátory na blokování všeho spojeného s xAI a vlády zvažují stíhání nejen uživatelů, ale i platformy samotné.
Britský regulátor Ofcom spustil vyšetřování platformy X a zjišťuje, jestli společnost porušila zákony o online bezpečnosti z roku 2025. Evropská komise poslala xAI žádost o informace, chce vědět, jak trénovali model a jaké mají bezpečnostní mechanismy. Kauza spadá pod připravovaný AI Act, který řadí generátory falešného obsahu mezi vysoce rizikové technologie, a hrozí miliardové pokuty.
xAI odmítla kritiku médií a obvinila je ze lží. Musk na kauzu reagoval vysmátými smajlíky, což oběti i experti berou jako zlehčování vážného problému. Společnost nakonec vypnula generování pro neplatící uživatele a přidala nějaké filtry, bylo ale pozdě.
Yukari i St. Clair popisují strašný stres, jejich veřejné fotky slouží jako surovina pro explicitní verze, což ohrožuje jejich kariéru i bezpečnost, a dostávají výhrůžky od lidí, co ty obrázky sdílejí dál. X zpracovává tisíce žádostí o smazání, algoritmy ale pořád doporučují problematický obsah dalším lidem a čištění trvá dlouho.
Odborníci říkají, že Grok ukazuje problémy modelů bez restrikcí, protože xAI neinvestovala do detekce sexualizovaných příkazů, chybí rozpoznávání veřejných tváří a nejsou tam vodoznaky, co by označovaly AI původ.
Mezinárodní organizace teď tlačí na jednotné standardy, chtějí povinné vodoznaky na všech generovaných obrázcích a pravidelné audity bezpečnosti. Regulátoři dělají na rámcích s filtry a trestními postihy a celý svět sleduje, jak rychle xAI upraví Grok. A ten reagoval zatím tak, že generovat obrázky v plném rozsahu smí jen ti, kteří mají placenou verzi.
Zdroje: BBC, Novinky, Cosmopolitan
