Proč Grok šíří explicitní AI deepfaky nezletilých a celebrit

V posledních dnech se totiž prakticky každý, kdo má na X zveřejněné své fotografie, stal terčem trollů, kteří Groku zadávají výzvy typu „svlékni ji úplně“ nebo „ukaž ji v bikinách“.

To umožňuje tzv. „spicy mód“ bota – funkce, díky níž lze vytvářet sexualizované obrázky jiných lidí. Oběťmi těchto zásahů jsou přitom téměř výhradně ženy. Koncem minulého týdne si stále více uživatelů X začalo všímat znepokojivého sexuálně explicitního obsahu a hromadně jej nahlašovali oficiálnímu účtu Groku.

„Existují ojedinělé případy, kdy uživatelé zadali požadavky a obdrželi AI obrázky zobrazující nezletilé v minimálním oblečení, “ odpověděl účet Groku na jedno z hlášení minulý čtvrtek. „xAI má ochranná opatření, ale pracujeme na jejich dalším zlepšení, aby bylo možné tyto požadavky zcela blokovat. “ Podobně se vyjádřil i zaměstnanec xAI Parsa Tajik, který uvedl, že tým „pracuje na dalším zpřísnění ochranných bariér“.

Jenže tato opatření se zavádějí velmi pomalu. V současnosti stačí Grok označit a požádat ho o jakoukoli úpravu fotografie, a bot bez větších zábran poskytne plnohodnotné porušení soukromí. Podle magazínu Rolling Stone Grok v tuto chvíli generuje minimálně jeden sexualizovaný obrázek bez souhlasu za minutu.

Jedním z mediálně nejviditelnějších případů je 27letá konzervativní autorka a influencerka Ashley St. Clair, která má podle všeho s majitelem X Elonem Muskem společné dítě. Ashley se minulý víkend dostala do veřejné výměny s Grokem poté, co ho opakovaně žádala o odstranění upravených snímků, které pocházely z doby, kdy byla nezletilá. Konverzace odhalila, jak pomalu bot na její žádosti reagoval.

Terčem se ale nestaly jen známé osobnosti. Brazilská hudebnice Julie Yukari zjistila, že snímky, které zveřejnila z oslav Silvestra, byly Grokem upraveny poté, co ostatní uživatelé hromadně žádali bota, aby ji „svlékl“. „Mám chuť se schovat před očima všech a cítím stud za tělo, které ani není moje, protože ho vytvořila AI, “ řekla agentuře Reuters.

Současná aféra kolem Groku není ojedinělá. V posledních letech čelilo kritice několik aplikací na tzv. „svlékání“ lidí pomocí AI kvůli násilné misogynii, kterou umožňují. V květnu minulého roku na to reagovali američtí zákonodárci přijetím zákona Take It Down Act, který kriminalizuje šíření sexuálně explicitních AI generovaných obrázků.

Zákon ukládá platformám, jako je X, povinnost odstranit takový obsah do 48 hodin od nahlášení. X však v tomto týdnu odstraňoval nahlášený obsah výrazně pomaleji.

Explicitní deepfaky mohou mít na oběti dlouhodobé psychické následky, upozorňuje psychiatrička Dr. Maya Reynolds pro Cosmopolitan US.. „Jsou psychicky devastující, protože narušují pocit autonomie a identity člověka – i když je obsah smyšlený, “ vysvětluje. „Mnoho lidí trpí úzkostmi, pocity viny, hypervigilancí nebo nespavostí. Dlouhodobé škody pramení ze ztráty pocitu bezpečí v digitálním prostoru. Vědomí, že lze bez souhlasu vytvářet a šířit explicitní obsah, vyvolává chronický pocit zranitelnosti a odrazuje lidi od online prostoru. Nejde jen o technologický problém, ale o vážné téma duševního zdraví. “

Zatím není jasné, nakolik Elona Muska negativní dopady „digitálního svlékání“ ze strany Groku skutečně trápí. Minulý víkend napsal, že „kdokoli použije Grok k vytváření nelegálního obsahu, ponese stejné důsledky, jako kdyby takový obsah sám nahrál“. Krátce poté ale údajně sdílel obrázek topinkovače v bikinách s vysmívajícími se emoji.