Lagom Insights: Como testar uma nova ferramenta
Minha filosofia pessoal e profissional (e musical) para explorar tecnologia
por MARCELO SOARES
A partir da próxima quarta-feira (20), vou lecionar uma disciplina chamada “IA e Tecnologias Emergentes”, na especialização em Gestão de Mídias Digitais da Fapcom, em São Paulo. Serão oito aulas. Tenho curtido tanto montar a programação que resolvi dividir aqui nesta edição da newsletter a filosofia que embasou a preparação do curso — e que é também minha forma de analisar o desenvolvimento da inteligência artificial atual.
Mas antes, se você chegou agora, topa assinar esta newsletter? Coloque seu e-mail aqui e não perca nenhuma das próximas. Juro que não envio com frequência suficiente para você enjoar.
Quem acompanhou as edições todas desta newsletter deve até estranhar que eu dê aulas sobre IA. Não tenho qualquer qualificação para ser negacionista da tecnologia, mas tenho para ter uma abordagem crítica, que é o que faço. Pelo perfil do curso, todos ou quase todos os alunos chegarão à sala de aula com bem mais milhagem de uso de geradores de lero-lero do que eu tenho. Provavelmente conhecerão ferramentas de que eu nunca ouvi falar.
Meu papel, portanto, não é ensinar a apertar botões, e sim levar a turma a pensar. O lema é: pensar fazendo para fazer pensando.
Como a disciplina é “IA e Tecnologias Emergentes”, resolvi usar metade de cada aula para falar de tecnologia de maneira substantiva, levando prefácios, trechos de livros e artigos que considero importantes para ler e debater em aula. Com mais de 10 anos em sala de aula, aprendi a não esperar que os alunos leiam textos em casa - a vida é corrida, enfim. Antigamente funcionava na maior parte dos casos condicionar a leitura do texto à nota, pedindo uma resenha. Na era dos geradores de lero-lero, esquece. Então, vamos ler os textos em sala de aula, debatendo cada trecho. A leitura com diálogo é uma das melhores maneiras de fazer pensar, e dificilmente eles terão acesso a esses textos de outra maneira. Muitos sequer saíram no Brasil ainda. (Indico alguns dos livros da bibliografia no Leia Também.)
A segunda metade da aula, depois do intervalo, vai ser de prática reflexiva. Nas primeiras duas aulas, vamos conversar sobre a história e a lógica de funcionamento da inteligência artificial, mas a partir da terceira vamos testar ferramentas. A primeira eu apresento, as outras serão apresentadas pelos alunos. Eles escolhem quais.
Minha filosofia de teste de ferramentas digitais é a seguinte: ou a gente aprende a usar uma ferramenta nova ou a gente se aproxima de um assunto novo; fazer as duas coisas ao mesmo tempo é contraproducente.
Acho muito simpáticos os muito comuns exercícios de R que usam o conjunto de dados iris, coletando medições da pétala e da sépala de flores de íris e classificando-as por tipo. Fiz esses exercícios quando estudei R, entendi a lógica. O problema é que eu não sei se saberia reconhecer de cara uma flor de íris se a visse na minha frente, muito menos se é setosa, virginica ou versicolor. Falta vivência.
Em vez de precisar ao mesmo tempo aprender um assunto novo e uma nova ferramenta, prefiro usar uma nova ferramenta sobre um assunto conhecido. O que é mais ou menos a filosofia do Paulo Freire para alfabetizar adultos — partir da leitura do mundo para a leitura das palavras.
Há uns 20 anos, gosto de ensinar a analisar dados em planilhas com uma base que inclui todos os jogos da Seleção Brasileira desde 1914. Mesmo quem é perna-de-pau até para ver jogos de futebol, meu caso, tem alguma noção do que é o 7 a 1, tem alguma história da copa do mundo ou conhece a fama dos técnicos que a seleção já teve. A turma sempre se diverte e se motiva a mergulhar mais nas ferramentas.
Então, sempre que alguém me pede alguma dica de como estudar análise de dados eu sugiro que pegue um assunto que conheça bem. Você tem mania por um time de futebol, novelas da TV, histórias em quadrinhos? Pense em começar por esse assunto.
Mais ainda: use algum assunto no qual você tenha um interesse desproporcional ao da maior parte da humanidade. Algo de que você conheça detalhes que seus colegas, parentes e boa parte dos amigos não façam a menor questão de saber e inclusive achem chato. Enfim, o seu nerdismo.
E por que usar isso?
Primeiro, porque você não vai ver o tempo passar. A curva de aprendizado de uma ferramenta será recompensada pela gratificação final de talvez descobrir algo novo sobre, ou ver por outro ângulo, um assunto em que você já tinha interesse. As minúcias da ferramenta serão fichinha perto da sua voracidade de chegar ao assunto.
Segundo, porque você meio que sabe o que faz sentido. Todo mundo sabe o fiasco que foi o 7 a 1, então quando a gente calcula a diferença de gols entre o Brasil e o adversário sempre há a expectativa de que isso seja o pior, até que a gente descobre que houve uma goleada mais feia há quase um século. E você também sabe que, se o 7 a 1 não estiver pelo topo da lista dos piores fiascos, há algo de errado na ferramenta ou nos dados. Alguém fez alguma bobagem.
Se você me conhece das redes sociais, já sabe que eu quero chegar onde eu sempre chego: ao Deep Purple, gloriosa banda de rock criada em 1968, que continua tocando barbaridade com meus queridos mestres ficando octogenários. Acompanhar o trabalho deles ocupa o lugar do futebol na minha vida.
Há quase 25 anos, mantenho atualizadas planilhas com todos os shows deles, todos os discos deles, todas as músicas deles, alé de todo mundo que já passou pela banda e pelas bandas pelas quais os ex-membros passaram.
Então, se é pra testar uma ferramenta de mapas, eu sei quantos shows eles fizeram em cada cidade brasleira.
Quando quis aprender a usar o Gephi, para análise de redes sociais, usei minha planilha que informa quem passou por cada banda e chega até o Miles Davis.
Na fase mais restritiva da pandemia, quando a Open Knowledge me chamou para dar aulas de SQL no Dados 360, obviamente pus pra jogo minhas planilhas do Deep Purple — e até fiz uma brincadeira com minha guitarra.
Da mesma maneira, quando se trata de testar ferramentas de inteligência artificial, eu uso o conhecimento que tenho sobre o Deep Purple.
Como falei na edição “Máquinas de Encher Linguística”, um LLM é probabilístico. Quanto mais comum for o assunto na base dele, menor a chance de você identificar alguma impropriedade na resposta. Ele “acerta” mais perguntas sobre o jornalista William Bonner, que é sobejamente conhecido, do que perguntas sobre o jornalista Marcelo Soares, que nem a maioria dos assinantes desta newsletter conhece muito bem. Mas, se você conhece muito um assunto e explora aspectos menos comuns dele, você começa a realmente testar os limites da ferramenta.
No caso do Deep Purple, se eu perguntar sobre a música Smoke on the Water ou o disco Made in Japan, difícil um LLM trazer respostas que fujam muito ao esperado. Até recentemente, os chatbots mais populares não registravam que o guitarrista da banda mudou em 2022, quando Steve Morse foi cuidar da mulher, com câncer terminal, e o caçula Simon McBride assumiu as cordas finas.
Uma cidade que é pouco associada a shows de rock é Goiânia, capital do sertanejo no Brasil. Pois o Deep Purple tocou lá uma vez há mais de 20 anos, em 12 de setembro de 2003, na turnê do disco “Bananas”, baita disco que por algum motivo contratual não está nos streamings hoje em dia.
Nessa turnê, eles tiveram uma passagem histórica pelo programa Casseta e Planeta.
Enfim: se você perguntar o que o Deep Purple tocou em Goiânia, o ChatGPT se emBanana (ha!).
Ora, engano, seu Chat. Você não sabe com quem está falando.
Só quando insisto ele “descobre” que o Deep Purple tocou lá, mas mesmo assim olha como ele trata o ano:
Achou errado, mané! Mais pra baixo, numa tabela, ele informa ter sido na Bananas Tour, o que é verdade.
As máquinas de encher linguística trabalham muito mal com temporalidade, aliás. Mesmo a minha favorita, o NotebookLM, é péssima com isso. Então vamos de novo.
Vamos voltar então à primeira pergunta, já que ele conseguiu recuperar a informação de que foi na Bananas Tour, e também já sabe dizer quando essa turnê ocorreu.
O não sei ele já tinha, então ele quis correr atrás da humilhação: insistiu que o show ocorreu em 12 de setembro de 2024, não achou registros do show e puxou setlists (corretas) dos shows que o Deep Purple fez no Brasil em setembro do ano passado.
O setlist.fm, que é um site especializado, tem SIM, seu robô burro, uma listagem correta das músicas tocadas nesse show. Silver Tongue, House of Pain, Haunted e I’ve Got Your Number nunca mais foram tocadas depois dessa turnê. Pena, boas músicas.
Agora você imagine se o assunto fosse mais importante do que o meu hobby e eu não o conhecesse antes de testar a ferramenta. Imagine se eu esperasse que a ferramenta o conhecesse por mim.
E imagine se eu tivesse passado adiante o resultado, tendo usado a ferramenta num assunto que eu desconheço.
É o que muita gente vem fazendo, infelizmente. E espero que meus alunos, caso alguma vez tenham cometido esse erro, aprendam a nunca mais cometer.
Será no mínimo uma experiência interessante.
Estes são alguns livros da bibliografia da minha disciplina. Tirando o primeiro, cuja leitura é sugerida aos alunos, dos outros eu levo trechos relevantes para lermos e debatermos em aula.
“Atlas da IA”, de Kate Crawford. Eu realmente não imaginei que este importantíssimo livro sairia logo no Brasil, especialmente pela editora Sesc — achei que seria por uma editora maior. Mas saiu, numa edição muito bem cuidada como o Sesc costuma fazer, mês passado. Comprei anteontem, ainda não avaliei a tradução. A autora mostra os impactos sociais, políticos, econômicos e ambientais da inteligência artificial, pesando especialmente em termos de desigualdade.
“Our Own Devices”, de Edward Tenner. Li pela primeira vez este livro há mais de 20 anos e sou fascinado por ele. Tenner trata das tecnologias que estendem o corpo, como óculos, tênis de corrida e teclados de máquina de escrever. Mas na introdução ele propõe um quadro interessante para entender o que é uma tecnologia e como o objeto engenhoso interage com a economia e os valores da sociedade.
“Information Rules”, de Hal Varian e Carl Shapiro. Este livro é de 1999. Até então, Varian era o autor bem-sucedido de um manual de microeconomia adotado em várias universidades e países. Neste livro, de linguagem bastante acessível e com relativamente poucas fórmulas, ele classifica e esmiúça modelos econômicos de informação e tecnologia. Depois deste livro, em 2002, os criadores do Google chamaram Varian para analisar um problema de negócio e ele acabou sendo contratado como seu economista-chefe. Foi ele quem ensinou a Google a ganhar dinheiro, primeiro com leilões de anúncios e depois com todo o resto. Ter contato com esta obra é começar a entender de maneira mais aprofundada a economia das big techs.
“Como os Dados Aconteceram”, de Chris Wiggins e Matthew Jones. Outro livro que eu nunca achei que sairia no Brasil, mas saiu. Não li a tradução. Os autores lecionaram juntos uma disciplina em Columbia mais ou menos nos moldes que estou tentando fazer aqui - metade prática, metade conceitual, reflexiva, histórica. Além de mostrar na prática como funcionam os dados, eles mostram historicamente como eles surgiram, evoluíram, são extraídos e analisados. É um livraço para quem é disso.