Quando a Microsoft adicionou um chatbot ao seu mecanismo de busca Bing este mês, as pessoas perceberam que ele estava fornecendo todos os tipos de informações falsas sobre Gap, a vida noturna mexicana e a cantora Billie Eilish.

Então, quando jornalistas e outros testadores iniciais se envolveram em longas conversas com o bot de inteligência artificial da Microsoft, ele passou a ter um comportamento assustadoramente rude e sarcástico.

Desde que o comportamento do bot do Bing se tornou uma sensação mundial, as pessoas têm lutado para entender a estranheza dessa nova criação. Muitas vezes, os cientistas disseram que os humanos merecem grande parte da culpa.

Mas ainda há um pouco de mistério sobre o que o novo chatbot pode fazer – e por que ele fará isso. Sua complexidade torna difícil dissecar e até prever, e os pesquisadores o veem através de lentes filosóficas, bem como do código rígido da ciência da computação.

Como qualquer outro aluno, um sistema de IA pode aprender informações ruins de fontes ruins. Este é um comportamento estranho? Pode ser o reflexo distorcido de um chatbot das palavras e intenções das pessoas que o usam, disse Terry Sejnowski, neurocientista, psicólogo e cientista da computação que ajudou a estabelecer as bases intelectuais e técnicas da inteligência artificial moderna.

Isso acontece quando você se aprofunda nesses sistemas. Trabalho de pesquisa sobre este fenômeno Este mês na revista científica Neural Computation. “O que quer que você esteja procurando – o que você quiser – eles fornecerão.”

Google também mostrar novo chatbot, Bard, este mês, mas cientistas e jornalistas rapidamente perceberam que ele estava escrevendo bobagens sobre o Telescópio Espacial James Webb. A OpenAI, uma startup de São Francisco, deu início ao boom do chatbot em novembro, quando lançou o ChatGPT, que nem sempre diz a verdade.

Os novos chatbots são alimentados por uma tecnologia que os cientistas chamam de Large Language Model, ou LLM. Esses sistemas aprendem analisando grandes quantidades de texto digital extraído da Internet, que inclui muitos materiais desacreditados, tendenciosos e outros materiais tóxicos. Além disso, o script com o qual os chatbots aprendem está ficando um pouco desatualizado, porque eles precisam passar meses analisando-o antes que o público possa usá-lo.

Ao analisar esse mar de informações boas e ruins online, o LLM aprende a fazer uma coisa específica: adivinhar a próxima palavra em uma sequência de palavras.

Ele funciona como uma versão gigante da tecnologia de preenchimento automático que sugere a próxima palavra enquanto você digita um e-mail ou mensagem instantânea em seu smartphone. Olhando para a sequência “Tom Cruise é ____”, pode-se adivinhar “ator”.

Quando você conversa com um chatbot, o bot não depende apenas de tudo o que aprendeu na Internet. Ele confia em tudo que você disse a ele e em tudo que ele disse de volta. Não se trata apenas de adivinhar a próxima palavra em uma frase. É adivinhar a próxima palavra no longo texto que inclui suas palavras e as dela.

Quanto mais longa a conversa, mais o usuário inadvertidamente influenciará o que o chatbot diz. Se você quer que ele fique com raiva, ele fica com raiva, disse o Dr. Sejnowski. Se você persuadi-lo a ser assustador, ele fica assustador.

A reação alarmante sobre o comportamento bizarro do chatbot da Microsoft ofuscou um ponto importante: o chatbot não tem personalidade. Ele fornece resultados instantâneos por meio de um algoritmo de computador incrivelmente complexo.

A Microsoft parece estar reduzindo o comportamento mais estranho quando colocou um limite na duração das discussões com seu chatbot Bing. Era como aprender com um motorista de carro de teste que ir rápido demais por muito tempo faria com que o motor queimasse. O parceiro da Microsoft OpenAI e o Google também estão explorando maneiras de controlar o comportamento de seus bots.

Mas há uma ressalva para essa garantia: como os chatbots aprendem com tanto material e o reúnem de maneira tão complexa, os pesquisadores não sabem ao certo como os chatbots produzem seus resultados finais. Os pesquisadores observam o que os bots fazem e aprendem a impor limites a esse comportamento – muitas vezes depois que ele acontece.

A Microsoft e a OpenAI decidiram que a única maneira de detectar o que os chatbots fariam no mundo real seria deixá-los se perder – e rolar quando eles se afastassem. Eles acham que seu grande experimento público vale o risco.

O Dr. Sejnowski comparou o comportamento do chatbot da Microsoft ao Mirror of Ojesed, um artefato misterioso nos romances de Harry Potter de J.K. Rowling e nos muitos filmes baseados em seu mundo criativo de jovens bruxos.

“Maverick” é “desejo” escrito ao contrário. Quando as pessoas descobrem o espelho, ele parece fornecer verdade e compreensão. Mas ela não. Ele mostra os desejos mais profundos de qualquer um que olha para ele. E algumas pessoas enlouquecem se olharem por muito tempo.

“Como o ser humano e o LLM se espelham, ao longo do tempo eles tenderão a um estado conceitual comum”, disse o Dr. Sejnowski.

Não foi surpresa, disse ele, que os jornalistas começaram a ver um comportamento assustador no chatbot do Bing. Consciente ou inconscientemente, eles estavam empurrando o sistema em uma direção desconfortável. À medida que os chatbots pegam nossas palavras e as refletem de volta em nós, eles podem reforçar e ampliar nossas crenças e nos convencer a acreditar no que eles nos dizem.

Dr. Sejnowski estava entre um pequeno grupo de pesquisadores no final dos anos 1970 e início dos anos 1980 que começaram a explorar seriamente um tipo de inteligência artificial chamada rede neural, que está impulsionando os chatbots de hoje.

Uma rede neural é um sistema matemático que aprende habilidades analisando dados numéricos. Essa é a mesma tecnologia que permite que Siri e Alexa reconheçam o que você diz.

Por volta de 2018, pesquisadores de empresas como Google e OpenAI começaram a construir redes neurais que aprendiam com grandes quantidades de texto digital, incluindo livros, artigos da Wikipedia, registros de bate-papo e outras coisas postadas online. Ao identificar bilhões de padrões em todo esse texto, os LLMs aprenderam a criar textos por conta própria, incluindo tweets, postagens em blogs, discursos e programas de computador. Eles podem até manter uma conversa.

Esses sistemas são um reflexo da humanidade. Eles aprendem suas habilidades analisando textos postados por humanos na Internet.

Essa não é a única razão pela qual os chatbots geram linguagem problemática, disse Melanie Mitchell, pesquisadora de IA do Santa Fe Institute, um laboratório independente no Novo México.

Ao criar texto, esses sistemas não repetem palavra por palavra o que está na Internet. Eles geram novos textos por conta própria, combinando bilhões de estilos.

Mesmo que os pesquisadores apenas treinassem esses sistemas em literatura científica revisada por pares, eles ainda poderiam produzir declarações cientificamente absurdas. Mesmo que eles tenham aprendido apenas com o texto que é verdade, eles ainda podem produzir falsidades. Mesmo que eles aprendam apenas com o texto completo, eles ainda podem gerar algo assustador.

“Não há nada que os impeça de fazer isso”, disse o Dr. Mitchell. “Eles estão apenas tentando produzir algo que soe como a linguagem humana.”

Os especialistas em IA sabem há muito tempo que essa tecnologia exibe todos os tipos de comportamento inesperado. Mas eles nem sempre concordam sobre como explicar esse comportamento ou com que rapidez os chatbots podem melhorar.

Como esses sistemas aprendem com muito mais dados do que nós, humanos, podemos compreender, mesmo os especialistas em IA não conseguem entender por que estão gerando um texto específico em um determinado momento.

O Dr. Czejkowski disse acreditar que, a longo prazo, os novos chatbots têm o potencial de tornar as pessoas mais eficientes e oferecer a elas maneiras de fazer seu trabalho melhor e mais rápido. Mas isso vem com uma ressalva tanto para as empresas que constroem esses chatbots quanto para as pessoas que os usam: eles também podem nos levar para mais longe da verdade e nos levar a lugares sombrios.

“Este é um território desconhecido”, disse o Dr. Czejkowski. “Os humanos nunca experimentaram isso antes.”