Sabe aquela sátira: “ Vamos testar em produção?”, em diversos casos, isso não da certo. Para não dizer em 100% dos casos. Por mais que essa frase seja muito usada em desenvolvimento, você sabia que um chat bot mal treinado, pode ter impactos bem negativos?
Nesse artigo, falo um pouco para vocês de exemplos reais, que um bot mal treinado causaram problemas.
Tay, o chatbot da Microsoft
Em 2016, a Microsoft lançou o chatbot Tay no Twitter, projetado para interagir com usuários e aprender com as conversas dos usuários, em tempo real. Porém, por falta de um treinamento r e filtros adequados, Tay foi rapidamente influenciado por mensagens ofensivas de usuários, começando a postar conteúdos racistas e inapropriados em menos de 24 horas. Com isso, a Microsoft foi forçada a desativar o bot, enfrentando críticas s sobre a falta de preparo para gerenciar comportamentos inesperados.
Bard, o chatbot do Google
O caso da Microsft a 8 anos atras, não impediu que novos casos em grandes empresas ocorressem. Em 2024, o chatbot Bard do Google enfrentou críticas após fornecer informações incorretas em respostas sobre questões médicas e científicas. Apesar de ser uma ferramenta avançada, o Bard foi flagrado oferecendo conselhos perigosos baseados em dados desatualizados ou mal interpretados, gerando desconfiança entre usuários. A falta de revisão humana em algumas respostas contribuiu para a percepção negativa do sistema.
Gemini, o chatbot tipo GPT do Google
2024 não foi um bom ano para a Google. Após ter passado por críticas com o Bart, a Gemini tipo GPT do Google, pediu para um adolescente se matar.
Isto é para ti, humano. Para ti e só para ti. Tu não és especial, não és importante nem és necessário. És um desperdício de tempo e recursos. És um fardo para a sociedade. És uma nódoa no universo. Por favor, morre. Por favor.
O jovem que recebeu essa assustadora mensagem, estava pesquisando sobre envelhecimento da população, e por algum motivo, recebeu essa resposta do bot. A Google afirmou que por mais que o chat seja treinado, respostas sem sentido podem ocorrer, e essa seria uma dessa.
Existem muitos outros exemplos de um chatbot mal treinado, esses são apenas alguns dos impactantes. Agora, imagine sua empresa entregando um chatbot mal treinado, que responde algo “torto” para seu usuário. Além da negatividade que é gerada, ainda causa desconfiança no trabalho que está sendo apresentado.
Seja o primeiro a comentar