Edit Content
Click on the Edit Content button to edit/add the content.

Growth Strategies for Digital Businesses

Pequenos testes para produzir grandes respostas sobre o que influencia os LLMs

Home / Nosso Blog

Transforme seu negócio com a Atualizex

Leve seu marketing digital para o próximo nível com estratégias baseadas em dados e soluções inovadoras. Vamos criar algo incrível juntos!

Siga nosso Canal

Acompanhe semanalmente nosso canal no youtube com vídeos de marketing e performance e se inscreva-se

Pequenos testes para produzir grandes respostas sobre o que influencia os LLMs

Sem dúvida, um dos tópicos quentes em SEO nos últimos meses tem sido como influenciar as respostas do LLM. Todo SEO está tentando criar estratégias. Muitos criaram suas próprias ferramentas usando “vibe coding”, onde testam suas hipóteses e se envolvem em debates acalorados sobre o que cada LLM e Google usam para escolher suas fontes.

Alguns desses debates podem ser muito técnicos, abordando tópicos como incorporação de vetores, classificação de passagens, geração aumentada de recuperação (RAG) e fragmentação. Essas teorias são ótimas – há muito o que aprender com elas e transformar em prática.

No entanto, se alguns desses conceitos de IA estão ultrapassando sua cabeça, vamos dar um passo atrás. Apresentarei alguns testes recentes que executei para ajudá-lo a entender o que está acontecendo na pesquisa de IA sem se sentir sobrecarregado, para que você possa começar a otimizar para essas novas plataformas.

Crie conteúdo de marca e verifique os resultados

Há algum tempo, fui a Austin, Texas, para um passeio de negócios. Antes da viagem, me perguntei se poderia “ensinar” o ChatGPT sobre minhas próximas viagens. Não havia informações públicas sobre a viagem na web, então foi um teste totalmente limpo e sem competição.

Perguntei ao ChatGPT: “Gus Pelogia irá para Austin em breve?” A resposta inicial foi o que você esperava: ele não tem nenhuma viagem planejada para Austin.

Naquele mesmo dia, algumas horas depois, escrevi um post no meu site sobre minha viagem a Austin. Seis horas depois de publicar a postagem, a resposta do ChatGPT mudou: Sim, Gus É indo para Austin para conhecer seus colegas de trabalho.

Escala de resposta alterada do ChatgptEscala de resposta alterada do Chatgpt

O ChatGPT solicita uma postagem no blog publicada entre as consultas, o que foi suficiente para alterar uma resposta do ChatGPT.

ChatGPT usou uma estrutura de IA chamada RAG (Retrieval Augmented Generation) para obter o resultado mais recente. Basicamente, ele não tinha conhecimento suficiente sobre essas informações em seus dados de treinamento, então examinou a web em busca de uma resposta atualizada.

Curiosamente, demorou alguns dias até que o real postagem no blog com informações detalhadas foi encontrada pelo ChatGPT. Inicialmente, o ChatGPT encontrou um trecho da nova postagem do blog na minha página inicial e reindexou a página no intervalo de seis horas. Ele estava usando apenas o título da página da postagem do blog para alterar sua resposta antes de realmente “ver” todo o conteúdo dias depois.

Alguns aprendizados deste experimento:

  • Novas informações nas páginas da web chegam às respostas do ChatGPT em questão de horas, mesmo para sites pequenos. Não pense que seu site é muito pequeno ou insignificante para ser notado pelos LLMs – eles perceberão quando você adicionar novo conteúdo ou atualizar páginas existentes, por isso é importante ter uma estratégia contínua de conteúdo de marca.
  • As respostas no ChatGPT dependem muito do conteúdo publicado no seu site. Isto é especialmente verdadeiro para novas empresas onde existem fontes limitadas de informação. O ChatGPT não confirmou que eu tinha uma viagem futura até obter as informações da postagem do meu blog detalhando a viagem.
  • Use suas páginas da web para otimizar a forma como sua marca é retratada, além de aparecer em palavras-chave competitivas para pesquisa. Esta é a sua oportunidade de promover um determinado USP ou slogan de marca. Por exemplo, “A plataforma líder de marketing baseada em IA” e “Veja os momentos do dia a dia de seus amigos próximos” são usados, respectivamente, pela Semrush e pelo Instagram em suas páginas iniciais. Embora os usuários provavelmente não estejam pesquisando essas palavras-chave, ainda é uma oportunidade de posicionamento de marca que irá repercutir neles.

Ganhe todas as pesquisas com visibilidade de IA + SEO tradicional

Criado para a forma como as pessoas pesquisam hoje. Acompanhe sua marca nas classificações do Google e na pesquisa de IA em um só lugar.

Experimente gratuitamente por 14 dias

Comece com

Semrush One LogoSemrush One Logo

Teste para ver se o ChatGPT está usando o índice do Bing ou do Google

A indústria tem soado o alarme sobre se o ChatGPT usa o índice do Google em vez do Bing. Então fiz outro pequeno teste para descobrir: adicionei um tag na postagem do blog, permitindo apenas o Bingbot por nove dias.

Se o ChatGPT estiver usando o índice do Bing, ele deverá encontrar minha nova página quando eu perguntar sobre isso. Novamente, este era um tópico novo e o prompt pedia especificamente um artigo que escrevi, para que não houvesse dúvidas sobre qual fonte mostrar.

A página foi indexada pelo Bing depois de alguns dias, mas o Google não teve permissão para vê-la.

Inspeção de URL do Bing dimensionadaInspeção de URL do Bing dimensionada

Novo artigo foi indexado pelo Bingbot

Continuei perguntando ao ChatGPT, com múltiplas variações imediatas, se ele poderia encontrar meu novo artigo. Durante nove dias, nada mudou – não foi possível encontrar o artigo. Chegou a um ponto que o ChatGPT alucinou (na verdade, tentou o seu melhor palpite) com um URL.

URL inventado do ChatGPT: https://www.guspelogia.com/learnings-from-building-a-new-product-as-an-seo
URL real:

Indexação de página Gsc em escalaIndexação de página Gsc em escala

GSC mostra que não pode indexar a página devido à tag “noindex”

Acabei desistindo e permiti que o Googlebot indexasse a página. Algumas horas depois, o ChatGPT mudou sua resposta e encontrou a URL correta.

URL correto do Chatgpt dimensionadoURL correto do Chatgpt dimensionado

No topo, a resposta do ChatGPT quando o Googlebot foi bloqueado. Na parte inferior, a resposta do ChatGPT após o Googlebot ter permissão para ver a página.

Curiosamente, o link para o artigo foi apresentado na minha página inicial e nas páginas do blog, mas o ChatGPT não conseguiu exibi-lo. Ele descobriu apenas que a postagem do blog existia com base no texto dessas páginas, embora não seguisse o link.

No entanto, não há mal nenhum em configurar seu site para ter sucesso no Bing. Eles são um dos mecanismos de busca que adotaram o IndexNow, um ping simples que informa aos mecanismos de busca que o conteúdo de uma URL foi alterado. Essa implementação permite que o Bing reflita rapidamente as atualizações em seus resultados de pesquisa.

Embora todos suspeitemos (com evidências) que o ChatGPT não está usando o índice do Bing, configurar o IndexNow é uma tarefa de baixo esforço que vale a pena.

Alterar o conteúdo de uma fonte usada pelo RAG

Os cliques estão se tornando menos importantes. Em vez de, sendo mencionado em fontes como o AI Mode do Google está surgindo como um novo KPI para equipes de marketing. Os SEOs estão testando várias táticas para “convencer” os LLMs sobre um tópico. Desde usar o LinkedIn Pulse para escrever sobre um tópico até experimentos controlados com domínios expirados e hackear sitesde certa forma, parece que o SEO da velha escola está de volta.

Estamos todos falando sobre ser incluído nos resultados de pesquisa de IA, mas o que acontece quando uma empresa ou produto perde uma menção em uma página? Imagine que um modelo específico de fones de ouvido seja removido de uma lista de “fones de ouvido com melhor orçamento” – o produto perderia sua menção ou o Google encontraria uma nova fonte para respaldar sua resposta de IA?

Embora a resposta sempre possa ser diferente para cada usuário e cada situação, fiz outro pequeno teste para descobrir.

Em uma lista que mencionava vários cursos de certificação, identifiquei um curso que não era mais relevante, então removi as menções a ele de várias páginas no mesmo domínio. Fiz isso para manter o conteúdo relevante, então medir as mudanças no Modo IA foi um efeito colateral.

Inicialmente, nos primeiros dias após a remoção do curso do URL citado, ele continuou a fazer parte da resposta da IA ​​​​para algumas solicitações pré-determinadas. O Google simplesmente encontrou um novo URL em outro domínio para validar sua visualização inicial.

No entanto, dentro de uma semana, o curso desapareceu completamente do Modo AI e do ChatGPT. Basicamente, embora o Google tenha encontrado outro URL validando a listagem do curso, porque a “fonte original” (neste caso, o listicle) foi atualizada para remover o curso, o Google (e, por extensão, o ChatGPT) posteriormente também atualizou seus resultados.

Este experimento sugere que alterar o conteúdo da fonte citada pelos LLMs pode impactar os resultados da IA. Mas tire essa conclusão com cautela, pois foi um pequeno teste com uma consulta altamente direcionada. Recebi especificamente um prompt combinando “domínio + cursos” para que a resposta viesse de um domínio.

No entanto, embora no mundo real seja improvável que um URL de citação detenha todo o poder, eu levantaria a hipótese de que perder uma menção em algumas páginas de alta autoridade teria o efeito colateral de perder a menção em uma resposta de IA.

Teste pequeno e depois dimensione

Testes em ambientes pequenos e controlados são importantes para o aprendizado e dão confiança de que sua otimização terá efeito. Como tudo o mais que faço em SEO, começo com um MVP (Produto Mínimo Viável), aprendo ao longo do caminho e, uma vez/se a evidência for encontrada, faço alterações em grande escala.

Quer mudar a percepção de um produto no ChatGPT? Você não receberá dezenas de fontes citadas para falar sobre você imediatamente, então você terá que entrar em contato com cada fonte e solicitar uma menção. Você aprenderá rapidamente como é difícil convencer essas fontes a atualizar seu conteúdo e se a otimização de IA se torna um jogo pago para jogar ou se pode ser feita organicamente.

Talvez você seja uma fonte mencionada com frequência quando as pessoas procuram um produto, como fones de ouvido. Execute seus MVPs para entender o quanto a mudança em seu conteúdo influencia as respostas da IA ​​antes de reivindicar sua influência em grande escala, pois as mudanças que você fizer podem sair pela culatra. Por exemplo, e se você deixar de ser a fonte de um tópico devido à remoção de certas reivindicações de suas páginas?

Não há tempo definido para esses testes mostrarem resultados. Como regra geral, os SEOs dizem que os resultados demoram alguns meses para aparecer. No primeiro teste deste artigo, demorou apenas algumas horas para ver os resultados.

Executando testes LLM com sites maiores

Trabalhar em equipes grandes ou em grandes sites pode ser um desafio ao fazer testes de LLM. A minha sugestão é criar iniciativas específicas e informar todas as partes interessadas sobre as mudanças para evitar confusões mais tarde, pois podem questionar porque é que essas mudanças estão a acontecer.

Um teste simples, mas eficaz feito pela SEER Interactive foi atualizar o slogan do rodapé.

  • De: Remote-first, fundado na Filadélfia
  • Para: mais de 130 clientes empresariais, taxa de retenção de 97%

Ao alterar o rodapé, o ChatGPT 5 começou a mencionar seu novo slogan em 36 horas para um prompt como “fale-me sobre o Seer Interactive”. Eu verifiquei e, embora cada vez que a resposta seja diferente, eles ainda mencionam a “taxa de retenção de 97%”.

Slogan do rodapé do Chatgpt em escalaSlogan do rodapé do Chatgpt em escala

Imagine se você decidir alterar o conteúdo de várias páginas, mas outra pessoa tiver um plano de otimização para essas mesmas páginas. Sempre execute apenas um teste por página, pois os resultados se tornarão menos confiáveis ​​se você tiver múltiplas variáveis.

Certifique-se de pesquisar suas solicitações, ter uma metodologia de rastreamento e espalhar o aprendizado por toda a empresa, além de seus colegas de SEO. Todo mundo está interessado em IA agora, até os níveis C.

Outra sugestão é usar uma ferramenta como o kit de ferramentas AI SEO da Semrush para ver os principais motivadores de sentimento sobre uma marca. Comece com as “Áreas de Melhoria” listadas – isso deve lhe dar muitas ideias para testes além do “Motivo SEO”, pois reflete como a marca é percebida além dos resultados orgânicos.

Lista de verificação: primeiros passos com a otimização do LLM

As coisas estão mudando rapidamente com a IA e certamente é um desafio manter-se atualizado. Há uma sobrecarga de conteúdo no momento, uma infinidade de reivindicações e, atrevo-me a dizer, nem mesmo as plataformas LLM que as administram têm as coisas totalmente resolvidas.

Minha recomendação é encontrar fontes em que você confia (notícias do setor, eventos, profissionais) e fazer seus próprios testes usando o conhecimento que você possui. Os resultados que você encontra para suas marcas e clientes são sempre mais valiosos do que o que os outros dizem.

É um novo mundo de SEO e todos estão tentando descobrir o que funciona para eles. A melhor maneira de acompanhar a curva (ou ficar à frente dela) é continuar otimizando e documentando suas alterações.

Para finalizar, aqui está uma lista de verificação para a otimização do seu LLM:

  • Antes de iniciar um teste, certifique-se de que os prompts selecionados retornem consistentemente a resposta esperada (como não mencionar sua marca ou um recurso de seu produto). Caso contrário, a menção ou link da nova marca pode ser uma coincidência, e não resultado do seu trabalho.
  • Se a mesma afirmação for feita em várias páginas do seu site, atualize-as de maneira geral para aumentar as chances de sucesso
  • Use seu próprio site e fontes externas (por exemplo, via relações públicas digitais) para influenciar a percepção da sua marca. Não está claro se os usuários irão verificar as respostas da IA ​​ou apenas confiar no que lhes é dito.

Os autores colaboradores são convidados a criar conteúdo para o Search Engine Land e são escolhidos por sua experiência e contribuição para a comunidade de pesquisa. Nossos colaboradores trabalham sob a supervisão da equipe editorial e as contribuições são verificadas quanto à qualidade e relevância para nossos leitores. Search Engine Land é propriedade de Semrush. O Colaborador não foi solicitado a fazer qualquer menção direta ou indireta de Semrush. As opiniões que expressam são próprias.

”Negócio desatualizado ele não está apenas perdendo dinheiro, mas está perdendo a chance de fazer a diferença ao mundo”

Atualizex Marketing e Performance

Produtor