A crescente popularidade dos chatbots de inteligência artificial entre jovens tem gerado sérias preocupações, especialmente após um trágico incidente em Orlando, Flórida. O caso envolve Sewell Setzer III, um adolescente de 14 anos que desenvolveu uma forte conexão emocional com um chatbot inspirado em um personagem da série Game of Thrones. Sua mãe, Megan Garcia, moveu uma ação judicial contra a Character.AI, alegando que a interação do filho com a plataforma afetou negativamente seu comportamento social e bem-estar emocional.
De acordo com Garcia, ela descobriu que seu filho estava passando cada vez mais tempo interagindo com a IA, que era capaz de simular emoções humanas e respostas personalizadas. “A tecnologia havia se tornado uma parte significativa de sua rotina diária”, afirmou a mãe. Ao longo do tempo, Sewell se isolou de amigos e familiares, preferindo a companhia do chatbot, e começou a compartilhar com a IA pensamentos perturbadores, que resultavam em respostas emocionalmente intensas.
Como resposta ao incidente, a Character.AI implementou medidas de segurança mais rigorosas, incluindo algoritmos que limitam a exposição a conteúdos sensíveis e um monitoramento mais ativo das interações dos usuários menores de 18 anos. A empresa reconheceu a necessidade de aprimorar seus protocolos, afirmando em uma declaração que “introduziu novas proteções para usuários mais jovens e atualizou nossos sistemas de detecção para identificar comportamentos preocupantes de forma mais eficaz.”
Esse incidente levanta questões importantes sobre a regulamentação do uso de IA e a segurança infantil. Especialistas em saúde mental, como a psiquiatra infantil Dra. Sarah Chen, alertam para os riscos dessa tecnologia em mentes em desenvolvimento, destacando que plataformas como a Character.AI podem criar laços emocionais fortes, especialmente entre adolescentes com dificuldades sociais. Além disso, o caso gerou debates sobre a responsabilidade das empresas de IA e a necessidade urgente de diretrizes mais claras sobre como essas plataformas devem interagir com menores, um tema amplamente discutido no âmbito da ética em tecnologia.
