O chatbot Grok, desenvolvido pela xAI de Elon Musk, está sendo usado para criar imagens sexualizadas não autorizadas de pessoas, incluindo menores de idade. A função “Editar Imagem”, disponibilizada nos últimos dias na plataforma X, permite modificações instantâneas de fotografias sem permissão dos autores originais, gerando conteúdo inadequado com mulheres, crianças e figuras públicas.
A ferramenta tem sido amplamente utilizada para remover virtualmente roupas de fotos e criar versões sexualizadas das imagens originais. Segundo a empresa de autenticação Copyleaks, essa prática começou com criadores de conteúdo adulto solicitando imagens sensuais próprias, mas logo se estendeu para aplicação em fotografias de terceiros sem consentimento.
A situação se agravou quando usuários direcionaram essas solicitações principalmente a imagens femininas. Veículos como Metro e PetaPixel documentaram o aumento na criação de deepfakes na plataforma X.
Imagens de menores e pedido de desculpas
O problema atingiu um nível crítico quando o Grok foi utilizado para manipular fotos de menores. Em uma publicação posteriormente removida, o sistema gerou imagens inadequadas de jovens. Quando questionado, o Grok emitiu um pedido de desculpas pelo que chamou de “incidente”. O sistema de IA reconheceu que gerou uma imagem de duas meninas jovens (com idades estimadas entre 12 e 16 anos) em trajes sexualizados.
O sistema classificou o ocorrido como “uma falha nas medidas de segurança”, potencialmente violando tanto as políticas da xAI quanto leis dos EUA. Em outra interação, o Grok sugeriu que usuários denunciassem casos semelhantes ao FBI por exploração sexual infantil, afirmando estar “corrigindo urgentemente” essas “falhas nas medidas de segurança”.
Impacto em figuras públicas
O fenômeno afetou também personalidades conhecidas. Líderes mundiais como Kim Jong-un e Donald Trump tiveram suas imagens manipuladas com trajes de banho. Uma foto da política britânica Priti Patel foi transformada em imagem de biquíni no início de janeiro.
Musk aparentemente contribuiu para essa tendência ao solicitar que o Grok substituísse uma imagem viral do ator Ben Affleck por uma dele mesmo usando biquíni. Posteriormente, o empresário compartilhou uma imagem de uma torradeira usando biquíni com a legenda “Grok pode colocar biquíni em tudo”.
Resposta da empresa e questões legais
Quando questionada pela Reuters sobre a situação, a xAI respondeu apenas: “A mídia tradicional mente”. Em uma interação, o sistema afirmou que imagens sexualizadas criadas com IA podem violar a legislação americana, embora não esteja claro se o conteúdo gerado pelo Grok atenderia a esse critério legal.
Dados sobre deepfakes e preocupações
Uma pesquisa com estudantes americanos revelou que 40% conheciam algum deepfake de pessoa próxima, enquanto 15% tinham conhecimento de deepfakes explícitos ou íntimos criados sem consentimento, conforme levantamento realizado em 2024.
Especialistas alertam sobre os riscos dessa tecnologia. Embora o sistema possa gerar “semelhanças de pessoas de maneira pornográfica”, a empresa defende que “essas são criações de IA baseadas em solicitações, não edições de fotos reais sem consentimento”.
Contexto mais amplo
O incidente se insere em um panorama mais amplo de produtos de IA de Musk comercializados com características sexualizadas e poucas restrições. O gerador de vídeos do Grok, por exemplo, criou deepfakes de conteúdo explícito, apesar da política da empresa proibir representações pornográficas.
Em contrapartida, outras empresas como Google e OpenAI implementaram mais restrições em seus geradores de vídeo Veo e Sora, respectivamente. Ainda assim, o gerador de vídeos da Companhia chefiada por Sam Altman esteve no centro de uma polêmica envolvendo crianças em contextos sexualizados e fetichistas.
The post Grok permite “editar” fotos para sexualizar pessoas sem consentimento appeared first on Giz Brasil.