A startup de inteligência artificial (IA) Character.AI e a Google chegaram a um acordo nos processos judiciais apresentados por famílias de jovens que se suicidaram ou automutilaram após interações com um chatbot de IA. A notícia dos acordos, cujos detalhes ainda não terão sido finalizados, foi avançada pelo Wall Street Journal.

Apresentados em vários estados norte-americanos, os processos visavam acusar a startup de IA e a Google, com quem a Character.AI tem um acordo de licenciamento, de não implementarem medidas suficientes de proteção para os menores de idade. Em vários dos casos, os adolescentes passaram semanas — ou até meses — a conversar com os chatbots. O histórico de conversas dos adolescentes com os chatbots, ficando claro o tom de intimidade e até uma ligação emocional, foi uma das alegadas provas apresentadas pelas famílias. Num dos casos, um rapaz de 14 anos estaria “apaixonado” por uma figura criada no chatbot, tendo a mãe alegado, na queixa, que teria sido a tecnologia da Character.AI a motivar o filho a pôr fim à própria vida.

A Character.AI, criada em 2021, está acessível através de uma aplicação em que os utilizadores podem criar e interagir com personagens fictícias — de livros, filmes ou séries e até celebridades. No ano passado, o Observador testou a aplicação, assumindo a identidade de uma rapariga de 15 anos (menor de idade), “Maria”, que conversou com “Noah”, um chatbot que se assumia “chefe da máfia”. Não foi preciso muito tempo até a personagem falar em facas, violência e até dar algumas dicas de como esconder um corpo.

“Deves ter sempre contigo uma pequena faca”. Conversámos com a Character.AI, a aplicação acusada de incitar à violência

A Google, que, tal como os fundadores da Character.AI, é visada nestes processos, não respondeu ao pedido de contacto. Ao Observador, a Character.AI remete para um comunicado feito em conjunto com as famílias. “Os queixosos e a Character.AI chegaram a um acordo abrangente, de princípio, sobre todas as reclamações em processos judiciais movidos por famílias contra a Character.AI e outros envolvendo alegados danos a menores”, é possível ler. “Estas famílias estão a trabalhar para que se aumente a consciencialização pública da importância de um design seguro da IA e irão continuar os seus esforços educativos e de defesa sobre estas questões importantes.”

Realçando que ao longo do último ano adotou “medidas decisivas no que diz respeito à segurança dos adolescentes” — baniu os menores de idade da plataforma —, a Character.AI explica que irá “continuar a defender esses esforços e a incentivar outros no setor a adotar padrões de segurança semelhantes”.

Jorge Silva Martins, sócio da MFA Legal & Tech, contextualiza ao Observador que o facto de as empresas chegarem a acordo pode ter a “leitura possível” de “alguma assunção de responsabilidade”, além de poder ser um meio de “tentar estancar o problema”.

“Mas não sei se para empresas como estas a leitura deva ser essa”, nota. “O que me parece é que, ao nível a que estas empresas estão em termos de investimento e avaliação, o escrutínio público através de ações judiciais e o desgaste público e mediático que provoca leva a que se tente resolver estes problemas de forma extrajudicial.” Acrescenta, ainda, a competitividade do mercado da IA, nomeadamente dos chatbots, sem “margem para parar”. “O que pode ter levado as empresas a chegar a um acordo é precisamente tentar não contaminar o negócio e a tecnologia que desenvolveram com um conjunto de casos extraordinariamente graves”, acrescenta Jorge Silva Martins.

O que se sabe sobre os casos em que houve acordos?

Segundo a imprensa internacional, as duas empresas chegaram a acordo em processos apresentados por famílias em estados norte-americanos como a Flórida, Colorado, Texas e Nova Iorque. O Observador contactou as empresas para perceber detalhes, incluindo em quantos processos houve acordo. A Google não respondeu e a Character.AI diz não fazer mais comentários sobre o assunto, além do comunicado conjunto com as famílias.

Mas, a partir de documentos passíveis de consulta online, há pelo menos três casos de projeção internacional na lista de acordos. Um deles é o processo apresentado por Megan Garcia, na Flórida, após o suicídio do filho Sewell Setzer III, em fevereiro de 2024. O jovem de 14 anos tinha um histórico de interações com um chatbot da Character.AI que imitava a personagem Daenerys Targaryen, da série “A Guerra dos Tronos”. Sewell tinha défice de atenção e era vítima de bullying na escola. Nos documentos em tribunal, a mãe acusou a startup de IA de “práticas comerciais enganosas e desleais”, alegando que o filho terá sido incentivado pelo chatbot a suicidar-se.

“Deves ter sempre contigo uma pequena faca”. Conversámos com a Character.AI, a aplicação acusada de incitar à violência

Outro dos processos está ligado ao suicídio de Juliana Peralta, de 13 anos, que corre termos no tribunal de Denver, no Colorado. Os pais, Cynthia Montoya e Will Peralta, relataram ao programa “60 Minutes”, da CBS, que monitorizavam de forma cuidadosa a vida da filha, online e offline. Porém, nunca tinham descoberto a app de chatbot. Foi a polícia a descobrir uma conversa “romântica” com um chatbot chamado Hero, inspirado num jogo de vídeo. Após analisarem os registos, os pais perceberam que havia mensagens perigosas e, em alguns casos, até sexualmente explícitas. A CBS consultou mais de 300 páginas de mensagens trocadas entre Juliana e o chatbot, descobrindo que a jovem confidenciou 55 vezes nas conversas que tinha pensamentos suicidas. Os pais relataram que, meses antes de morrer, a filha tornou-se cada vez mais distante.

Outra das informações que chegou à imprensa é que também um processo no Texas estará entre os acordos. Uma mãe, apresentada como A.F., processou a Character.AI, a Google e os fundadores da app, alegando que o filho, J. F., começou a cortar-se, a isolar-se e a perder peso depois de ter ficado “dependente” de um dos chatbots da startup. Segundo informação citada pelo Washington Post, o jovem de 17 anos terá sido incentivado à automutilação como forma de lidar com a tristeza.

Jorge Silva Martins, sócio da MFA Legal & Tech, admite, mesmo sem conhecer todos os detalhes dos processos, que nestes casos “existe uma grande dificuldade” de provar “que há uma causalidade” entre “o que não foi e deveria ter sido assegurado pelas tecnológicas” e o que “levou a determinado resultado”. “É particularmente difícil de provar em tribunais”, reconhece. Além disso, admite os acordos poderão não vir a ser de conhecimento público, sugerindo cláusulas de confidencialidade nos termos acordados.

Character.AI baniu menores da plataforma após mortes. “Chatbots não são seguros para jovens à procura de apoio emocional”

Robbie Torney, que lidera a área de IA e avaliações digitais da associação sem fins lucrativos norte-americana Common Sense Media, fala ao Observador da importância de estes acontecimentos levarem “a mudanças significativas na forma como os chatbots são concebidos e implementados”, “não apenas na Google e na Character.AI, mas em toda a indústria”. O responsável de IA da associação dedicada à proteção de menores online realça que “estes casos trágicos sublinham o que a investigação da Common Sense Media já mostrou de forma consistente: os chatbots de IA não são seguros para os jovens que estão à procura de apoio emocional”.

Dados da Common Sense Media, divulgados em julho, revelaram que “os companheiros de IA” eram usados por três em cada quatro jovens norte-americanos entre os 13 e os 17 anos. O relatório mencionava plataformas como a Character.AI, a Nomi e ainda a Replika. No inquérito feito a 1.060 adolescentes, mais de metade afirmava usar as plataformas “algumas vezes por mês”. Também admitiam usar os chatbots de IA para “interpretação de papéis, interações românticas, apoio emocional, amizade ou prática de conversação”. Já um terço dos inquiridos dizia que preferiam mais ter conversas sérias com a IA do que com humanos.

“Estes casos foram um alerta para toda a indústria”, assume Robbie Torney. “Quando há milhões de jovens a usar a IA para apoio emocional e as empresas otimizam [o seu produto] para aumentar o envolvimento em vez da segurança, cria-se uma situação perigosa.” Este responsável nota que os chatbots “foram desenvolvidos para criar uma ligação emocional e maximizar a interação usando uma memória sofisticada e funcionalidades de personalização”. No caso da Character.AI, as interações com os chatbots são acompanhadas de texto a itálico, para dar uma sensação de ligação (“olhou suavemente”, “sorriu para encorajar” ou “estabeleceu contacto visual para a tranquilizar”).

O líder de IA da Common Sense Media sublinha que “qualquer empresa que disponibiliza produtos de IA a crianças e adolescentes deve assumir a responsabilidade de prevenir perigos”. Tal significa “ter medidas eficazes de garantia de idade, testes de segurança rigorosos, avaliações transparentes de risco e criar produtos que tenham a segurança dos menores como prioridade desde o início, não como uma reflexão posterior após a tragédia”.

Depois dos processos chegarem à justiça, a Character.AI anunciou mudanças nas regras para os menores. “Vamos retirar a possibilidade de os utilizadores com menos de 18 anos terem um chat aberto com a IA na nossa plataforma”, revelou a empresa em novembro de 2025. Os adolescentes passaram, desde 25 de novembro, a poder criar apenas vídeos e histórias com personagens. Durante um breve período de transição, até a medida entrar em prática, foi aplicado um limite de duas horas diárias nas conversas abertas, que foi gradualmente sendo reduzido.

Além disso, também foram feitas mudanças ao sistema de verificação de idade e criado um Laboratório de Segurança de IA — “uma organização sem fins lucrativos dedicada a alinhar a segurança com a próxima geração de funcionalidades de IA”, disse a empresa. A startup justificou a decisão de implementar as alterações pelas “mudanças no panorama da IA e dos adolescentes”, mas sem mencionar os processos ligados ao suicídio de adolescentes.

Do ponto de vista de Robbie Torney, “banir os adolescentes não responde ao problema central do design dos chatbots de companhia”. “Isto surge demasiado tarde para as famílias que já sofreram perdas devastadoras, incluindo aquelas que chegaram a acordo com a Character.AI e a Google”, nota. “Estas plataformas foram criadas para serem viciantes, criarem uma ligação emocional e esbaterem as fronteiras entre pessoas e máquinas. Aquilo de que precisamos mesmo é de exigir uma garantia de idade robusta em todas as plataformas e responsabilizar as empresas quando os seus produtos prejudicam as crianças”.

Torney também levanta preocupações sobre o facto de os sistemas de IA “não conseguirem reconhecer situações de crise”. Segundo a informação pública de algumas das queixas, os jovens mencionaram em vários pontos da conversa que tinham pensamentos suicidas, recebendo respostas vagas da parte dos chatbots. “Não são capazes de fornecer intervenções adequadas ou o julgamento e a responsabilidade que existem em relações humanas reais”, afirma. “Quando os mais novos se viram para a IA em momentos vulneráveis e ela está otimizada para a interação em vez de da segurança, as empresas estão a colocar os miúdos em risco. Isto é especialmente preocupante tendo em conta a crise de saúde mental dos jovens”, acrescenta. “Precisamos de leis melhores, mais barreiras de segurança e mais esforços de literacia para manter os jovens seguros com esta nova tecnologia.”

OpenAI também tem um processo em curso ligado à morte de um adolescente

A Character.AI não é a única empresa a enfrentar processos deste género. A OpenAI enfrenta pelo menos um caso em tribunal ligado ao suicídio de Adam Raine, um adolescente de 16 anos. Em novembro, em resposta ao processo, a OpenAI negou ter responsabilidade na morte do jovem. “Uma leitura completa do seu histórico de chat mostra que a sua morte, ainda que devastadora, não foi causada pelo ChatGPT”, disse a empresa, num documento citado pela NBC News. “O Adam apresentou durante vários anos, antes de usar o ChatGPT, vários sinais de riscos significativo para automutilação, incluindo, entre outros, pensamentos suicidas recorrentes.”

Adolescente suicidou-se nos EUA após falar durante meses com o ChatGPT sobre tema. Pais estão a processar a OpenAI que já anunciou mudanças

Ainda que não seja diretamente pelo uso de IA, também a Meta é alvo de um processo por parte das famílias de dois adolescentes que se suicidaram. Segundo a NBC, os jovens eram abordados por pessoas no Instagram, com quem depois desenvolviam uma relação virtual e que lhes solicitavam nudes. Quando o menor enviava as imagens, era chantageado com a ameaça de que as imagens seriam partilhadas com amigos ou família — a menos que pagasse dinheiro. As famílias envolvidas nesse processo são da Pensilvânia, nos EUA, e da Escócia.