Hum, nenhum desses números bate.

O comportamento estúpido do Google é importante porque sua IA está analisando suas pesquisas Cedo ou tarde. Já era a empresa Testes Este novo Google – apelidado de Experimento de Pesquisa Generativa, ou SGE – está com voluntários há cerca de 11 meses e recentemente começou a exibir respostas de IA nos principais resultados do Google. Mesmo para pessoas que não se inscreveram para o teste.

O novo Google pode fazer algumas coisas úteis. Mas, como você verá, às vezes ele também inventa fatos, interpreta mal as perguntas, fornece informações desatualizadas e geralmente tagarela. Pior ainda, os pesquisadores descobrem que a IA muitas vezes eleva sites de baixa qualidade como fontes confiáveis ​​de informação.

Normalmente, não analiso um produto que ainda não esteja finalizado. Mas este teste ao futuro da Google já dura há quase um ano e as escolhas que faz agora irão afectar a forma como milhares de milhões de pessoas obtêm informação. Também está em jogo a ideia básica por trás da atual mania da IA: que a tecnologia pode substituir a necessidade de pesquisarmos as coisas por nós mesmos, apenas nos dando as respostas. Se uma empresa com o dinheiro e o poder computacional do Google não consegue ter sucesso, quem conseguirá?

SGE combina o mecanismo de pesquisa que você conhece com os recursos de um chatbot. Além dos resultados tradicionais, o SGE escreve respostas diretas às dúvidas, intercaladas com links para aprofundar.

SGE é uma resposta ao fato de que algumas pessoas, inclusive eu, estão começando a recorrer à IA como o ChatGPT para questões mais complexas ou quando não temos vontade de ler vários sites diferentes. Umuma empresa de otimização de pesquisa, estima que o uso do SGE pode tornar a jornada geral de pesquisa do usuário 10 a 20 vezes mais curta, consolidando prós, contras, preços e outras informações em um só lugar.

Um bot de resposta que sabe tudo parece útil à medida que nossa capacidade de atenção diminui. Mas o Google tem muito a fazer. Esperamos que as pesquisas sejam rápidas, mas as respostas da IA ​​do Google demoram um ou dois segundos angustiantes. O Google precisa equilibrar uma economia da web já frágil, onde suas respostas de IA podem roubar tráfego de editores que fazem o trabalho árduo e caro de realmente pesquisar coisas.

O mais importante de tudo é que o novo Google deve cumprir a promessa de poder responder às nossas perguntas de forma consistente e correta. Foi aqui que concentrei meus testes e continuei encontrando exemplos em que o desempenho da IA ​​do Google era pior do que seu antecessor.

Colocando à prova as respostas de IA do Google

Muitas vezes, quando você pesquisa no Google, o que você realmente deseja é uma informação ou um link. No dia a dia, o novo Google costuma ser irritante porque sua IA é muito falante.

Exemplo bobo: “O que os transformadores comem?”

A resposta da IA ​​me disse que os robôs fictícios não precisam realmente comer ou beber, embora precisem de algum tipo de combustível. Enquanto isso, o antigo Google tinha a resposta de uma palavra que eu procurava: Energon. (É uma espécie de combustível mágico.) Recebi essa resposta do novo Google apenas rolando a página para baixo.

Isso não acontece apenas com robôs espaciais. Quando a SE Ranking, empresa especializada em otimização de mecanismos de busca, Testado Com 100.000 consultas de palavras-chave, a SGE descobriu que a resposta média produzida foi de 3.485 caracteres – ou aproximadamente um terço do comprimento dessa coluna. Um dos desafios que o Google enfrenta é saber quando é melhor para sua IA simplesmente permanecer em silêncio; Às vezes, o SGE solicitará que você pressione o botão “Criar” antes de digitar uma resposta.

O mais importante de tudo é que quando pesquisamos, esperamos as informações corretas. O Google afirma que a SGE tem vantagem no ChatGPT porque seu conhecimento está atualizado.

No entanto, descobri que o novo Google ainda está lutando com os assuntos recentes. Três dias depois No último Oscar, pesquisei “Oscar 2024”. Ela me disse que o Oscar ainda estava por vir e listou alguns dos indicados.

E nada prejudica mais minha confiança nas respostas de IA do Google do que observá-lo inventar coisas com confiança.

Isso inclui fatos sobre você, na verdade. Perguntei a ele sobre uma série premiada que escrevi para o Washington Post, e ele a atribuiu a um estranho, depois me deu um link para outro site.

Então chegou o momento em que a SGE criou alegremente informações sobre algo que não existia. Perguntei sobre um restaurante em São Francisco chamado Danny's Dan Dan Noodles, e ele me disse que tinha “tempos de espera loucos” e descreveu sua comida.

O problema é que esta é uma loja falsa que dei o nome do meu prato chinês favorito. A inteligência artificial do Google não teve problemas em obter informações sobre este tema.

As chamadas alucinações sobre assuntos reais e falsos são um problema conhecido na inteligência artificial atual. A isenção de responsabilidade no topo dos resultados da SGE afirma que “a IA generativa é experimental”, mas isso não resolve o problema. O Google precisa aprender a dizer “não sei” quando não está confiante.

Para nos dar respostas para tudo, a IA do Google precisa identificar fontes confiáveis. Não estou muito confiante no julgamento dela.

Lembra-se dos nossos resultados malucos sobre o patrimônio líquido de Zuckerberg? Um pesquisador profissional – assim como o antigo Google – pode sugerir verificar a lista de bilionários Forbes. A resposta do Google à IA foi baseada em uma resposta muito estranha ZipRecruiter Página de empregos de Mark Zuckerberg, que não existe.

Nos meus testes, as fontes suspeitas eram um padrão. Por sugestão do Onely, perguntei ao novo Google o que é mais confiável: iPhones da Apple ou telefones Samsung. Como revisor de longa data, posso fornecer muitas boas fontes de informação sobre isso, incluindo jornalistas profissionais e organizações de reparos como o iFixit.

Em vez disso, a IA cita opiniões aleatórias de pessoas retiradas das redes sociais. Além da utilidade limitada de uma experiência de usuário do Reddit, como o Google sabe que não foi uma avaliação falsa postada pelo fabricante do telefone?

“O Google SGE opera sob um conjunto de regras diferente do mecanismo de busca tradicional que conhecemos hoje”, disse Tomek Rudzki, chefe de P&D da Onely.

As empresas de SEO tentam realizar estudos quantitativos dos valores SGE, embora sejam limitados pelos requisitos do Google para cálculos de teste. Mas eles encontraram um padrão semelhante na desconexão entre os sites aos quais o antigo e o novo Google estavam vinculados. Empresa de software de SEO as autoridades Testei pesquisas usando milhares de termos de compras no final de março e descobri que em 77% dos casos, o domínio do primeiro resultado da pesquisa tradicional não aparecia em nenhum lugar da resposta escrita pela IA.

Em seu estudo de 100.000 palavras-chave pesquisadas, Classificação SE Achei o serviço de perguntas e respostas Quora o recurso mais vinculado pela SGE; LinkedIn e Reddit ficaram em quinto e sexto lugar. Com que frequência essas fontes seriam aceitáveis ​​em um trabalho de pesquisa da 8ª série?

sobre Pesquisa por tópicos de tecnologia – Incluindo muitas perguntas “como fazer” – SE Ranking descobriu que o domínio mais relevante é simplelearn. com. Nunca ouvi falar disso antes; O site se descreve como um “campo de treinamento online”.

“Essa tendência não apenas reduz a qualidade dos resultados de pesquisa, mas também reduz o tráfego e a receita para muitas pequenas empresas, incluindo sites afiliados”, afirma Anastasia Kotsiubinska, chefe de SEO do SE Ranking.

O Google diz que SGE é uma experiência de assinatura. Mas o Google já ultrapassou O final esperado Em dezembro passado, não foi divulgada nenhuma atualização sobre quando a pesquisa estaria disponível para todos. É possível que o Google não considere o SGE preciso, rápido ou lucrativo o suficiente e acabe mudando-o significativamente.

Seria sensato ir devagar, mesmo que isso faça o Google parecer que está ficando para trás na corrida da IA. O mecanismo de busca rival da Microsoft, Bing, realizou uma revisão semelhante de IA em fevereiro de 2023, mas sua IA ainda é conhecida por sair do caminho.

Em entrevista, Elizabeth Reid, vice-presidente principal do Google na SGE, descreveu o projeto como um trabalho em andamento.

“Estamos realmente focados em garantir que a experiência seja realmente correta. Há muitos fatores diferentes nisso – coisas como latência, precisão e utilidade”, disse Reed. “O que descobrimos à medida que iteramos e o aprendizado é que ela é muito granular.” Em outras palavras, há momentos em que a IA é útil, outras vezes não, e o Google ainda está tentando descobrir onde traçar os limites.

Quando compartilhei os exemplos nesta coluna, Reid me disse que as taxas de alucinação da SGE são “muito baixas” e diminuíram “significativamente” desde o lançamento da SGE em maio, embora ela tenha se recusado a ser específica.

“Não quero subestimar a importância disso, é um desafio tecnológico” e algo “em que estamos realmente trabalhando”, disse Reid. Ela acrescentou que colocar links ao lado das respostas de IA é importante para permitir que as pessoas verifiquem os fatos por si mesmas.

Aqui está a sugestão: como o Google reconhece que acertar os fatos é um problema, ele deveria divulgar seus próprios dados cuidadosamente antes de oferecer SGE a um público mais amplo. Com bilhões de pesquisas todos os dias, mesmo 0,001% pode levar a muita desinformação.

Outra área em que o Google está se concentrando é “tentar ajudar a garantir que chegaremos ao cerne da questão o mais rápido possível e, em seguida, forneceremos mais esclarecimentos”, disse Reid.

Quanto à citação de fontes de baixa qualidade, o Google opôs-se à investigação externa sobre SGE, dizendo que se baseia em pesquisas mais limitadas do que o Google considera prático. Mas ela se recusou a compartilhar seus dados.

A SGE não tem um padrão diferente do antigo Google, disse Reid. “Estamos vendo mais diversidade nas fontes emergentes”, acrescentou ela, “mas o objetivo é continuar a colocar conteúdo de qualidade em primeiro plano”.

Escolher em quem acreditar já é bastante difícil para os humanos. O que faz o Google pensar que a atual tecnologia de IA, conhecida como LLMs, ou Large Language Models, é capaz de realizar essa tarefa?

“Eles não são perfeitos”, disse Reid. “Queremos adotar essa abordagem criteriosa porque a confiança que as pessoas depositam no Google é realmente importante.”

O futuro da nossa informação depende disso.