Alucinações e Confiança Cega: A Responsabilidade de Usuários e Desenvolvedores ao Lidar com LLMs
Trecho de entrevista com Laura Castro no Emílias Podcast - Mulheres na Computação.
Adolfo Neto: Agora a gente vai falar sobre um assunto, entre aspas, da moda, né? Hoje, falando em 30 de junho de 2025, você publicou em 25 de maio. Quero deixar claro que você faz um esforço de falar com as pessoas fora da universidade. Porque você tinha, não sei se ainda tem, uma coluna em rádio, tem esse esse texto aí. Eu acho que não é não é um blog seu, é um site. Então é algo que realmente chega na população em geral. E esse texto, eu vou ler o título em galego, é "ChatGPT e o nesgo de automatización" O texto está em galego. No texto você fala, entre outros temas, sobre o problema do que chamamos de “alucinações”. Alucinações entre aspas, por que é um termo que a gente usa para uma para uma coisa bem técnica que acontece em grandes modelos de linguagem. Destaco aqui um trecho que, eu quis deixar essa curiosidade aqui, eu traduzi ele pro português do Brasil usando um LLM que é o Qwen, um LLM chinês.
Vamos ao trecho: "Uma novidade crucial desses erros tão chamativos é que são totalmente diferentes dos erros aos quais o software nos havia acostumado: telas azuis, fechamentos ou reinícios inesperados, mensagens incompreensíveis. As respostas do ChatGPT soam igualmente convincentes quando estão erradas e quando não estão. O algoritmo não prevê admitir ignorância. O 404 not found não é uma opção."
Então, é uma pergunta bem genérica, talvez um pouco filosófica, é a seguinte: o que nós, usuários ou pessoas desenvolvedoras de sistemas, podemos fazer para lidar com essa característica dos LLMs?
Laura Castro: Bem, uma pergunta grande. Eu acho que são duas perspectivas muito diferentes. Como usuárias, como pessoas que estamos expostas a estas tecnologias, esta IA gerativa que conquista tudo ou parece que quer conquistar tudo. Eu penso que o mais prioritário é... é uma das motivações que... das motivações que me levam a mim a fazer esta divulgação, como este artigo ou quando falo na rádio, é lutar contra este viés de automatização. E este viés, os vieses são mecanismos evolutivos do nosso cérebro. Eles ajudaram a espécie humana a tomar decisões rapidamente e por isso o nosso cérebro ainda tem esses mecanismos. A coisa é que estes mecanismos também se adaptam aos tempos que vivemos. No mundo moderno desenvolvemos esta... isto é algo que nos diz a psicologia moderna… desenvolvemos um viés que nos faz confiar na tecnologia. Mesmo se não a entendemos, confiamos nela, especialmente quando funciona bem. Esta é a origem desta minha tese, desta minha proposta, desta ideia que é central neste artigo, especialmente quando funciona bem, mas a IA gerativa nunca parece funcionar mal. Este é parte do problema.
Então esta confiança quase cega está na base do problema de as pessoas... não gosto de dizer as pessoas usarem mal, porque é um chat, você está falando, pede informação. Quando você busca na Wikipédia você não tem que comprovar se a Wikipédia devolveu a página errada. Quando você soma numa planilha eletrônica, você não usa a calculadora comprovar se esse cálculo foi errado, não. Você confia na planilha eletrônica, funciona bem. Então, o viés da automatização, no caso, no contexto dos LLMs, é muito mais perigoso. É responsabilidade das pessoas que temos esse conhecimento de porque isso é assim, ajudar a população, as pessoas comuns, a entender que este viés está nos nossos cérebros, que é normal, que todo mundo tem, mas que é especialmente importante sermos conscientes de que o nosso cérebro quer confiar na tecnologia, mas esta tecnologia parece mais confiável e não merece essa confiança cega.
Claro, como desenvolvedoras a responsabilidade é diferente, porque nós sabemos que esta tecnologia não simplesmente erra. Às vezes também sabemos que consome muita água, que consome muita energia, que além das pessoas confiarem, ela inventa um nome de um filme que não existe ou inventa fatos históricos que nunca nunca aconteceram. Sabemos que está começando a haver consequências negativas de falar com ChatGPT como se fosse uma pessoa. Isto não era para o que estava projetado o ChatGPT, não temos certeza, mas as pessoas conversam com o ChatGPT, conversam sobre a vida, conversam sobre a filosofia. Estamos começando a ver, isto é um estudo da Universidade de Stanford que saiu aí há uns poucos dias, estamos começando a ver que estas conversas estão a provocar comportamentos psicóticos nas pessoas.
Então, como desenvolvedoras temos uma responsabilidade muito grande em quando decidimos usar estas tecnologias, nomeadamente os LLMs, como parte de outros produtos informáticos, porque o risco é muito maior e o custo é muito maior. Não é como eu vou decidir usar uma linguagem de programação ou outra, tem umas consequências técnicas, tecnológicas, mesmo de dependência de uma empresa ou de um fornecedor de uma base de dados. Há, sempre há um risco, sempre há um custo, mas o custo neste... no caso destas tecnologias concretas é muito maior e, portanto, a motivação, a justificação tem que ser igualmente forte, tem que superar esses riscos na mesma medida.
Então, o uso trivial, se me permitires, que que se está a fazer metendo estes chatbots na aplicação do banco, na web do conselho da minha cidade, em sítios onde realmente é necessário. Alguém fez essa pergunta? Alguém fez essa avaliação dos riscos, dos custos e das vantagens para decidir se o risco é muito alto, o custo é muito alto, mas o benefício vai ser muito maior? Acho duvidoso que se esteja a fazer e temos essa responsabilidade de fazê-lo, penso eu.
Corte
Entrevista completa