Por que o ChatGPT responde diferente a cada vez (e como medir)

O ChatGPT responde diferente a cada vez por dois motivos principais: ele gera o texto por amostragem, ou seja, com um sorteio controlado entre as palavras mais prováveis, e o contexto de cada resposta muda (busca na web, memória, localização aproximada, forma da pergunta, versão do modelo). Para uma marca, a consequência é direta: perguntar uma vez e ver seu nome na lista, ou não ver, não prova nada.

Por que o ChatGPT dá respostas diferentes para a mesma pergunta?

Há seis fatores que se somam, e dá para separá-los em dois grupos: os que vêm do próprio modelo e os que vêm do contexto.

Do modelo:

1. Amostragem. O texto é gerado palavra por palavra com um componente aleatório (explicado na próxima seção).
2. Atualizações do modelo. Modelos são atualizados com o tempo; a documentação da API, por exemplo, orienta monitorar um campo chamado system_fingerprint justamente para acompanhar mudanças no sistema que podem afetar o determinismo.

Do contexto:

1. Busca na web. Quando o ChatGPT pesquisa, os resultados encontrados mudam de um dia para o outro, e a resposta acompanha.
2. Memória e personalização. Memórias salvas e histórico de conversas podem influenciar a resposta.
3. Localização. A cidade estimada do usuário pode alterar resultados locais.
4. Formulação da pergunta. "Melhor clínica de estética em Curitiba" e "onde fazer limpeza de pele perto do Batel" são perguntas diferentes, e geram respostas diferentes.

Quando a pergunta é do tipo "recomende marcas", todos esses fatores atuam ao mesmo tempo. Por isso a variação é maior do que numa pergunta factual como "qual a capital do Paraná?".

Como funciona a amostragem, em português claro

Amostragem é o sorteio que o modelo faz, a cada palavra, entre as continuações mais prováveis. Um modelo de linguagem não "consulta uma resposta pronta". Ele calcula, para cada próxima palavra, uma probabilidade, e escolhe uma delas. Se sempre escolhesse a mais provável, o texto sairia repetitivo; por isso há um sorteio ponderado.

Um parâmetro chamado temperatura regula esse sorteio. Na documentação da API da OpenAI, a temperatura vai de 0 a 2: valores mais altos, como 0,8, deixam a saída mais aleatória, e valores mais baixos, como 0,2, a deixam mais focada e determinística.

Na API, quem programa pode reduzir a aleatoriedade, mas nem assim há garantia. A mesma documentação descreve o parâmetro seed como uma tentativa de amostrar de forma determinística e avisa que o determinismo não é garantido. Quem usa o app do ChatGPT normalmente não tem acesso a esse ajuste.

Uma palavra diferente no começo muda o caminho de todo o resto. Por isso duas respostas podem começar parecidas e terminar com listas de marcas diferentes.

A busca na web muda a resposta?

Sim, porque o ChatGPT decide caso a caso se vai pesquisar, e o que ele encontra muda. A documentação da OpenAI sobre a ferramenta de busca na web diz que o modelo pode escolher pesquisar ou não conforme o conteúdo do pedido; com a configuração automática, a busca é opcional. Quando pesquisa, as respostas trazem citações das páginas encontradas.

Isso cria duas fontes de variação. A primeira é a decisão de pesquisar: a mesma pergunta pode ser respondida só com o conhecimento do modelo numa vez e com busca na outra. A segunda é o resultado da busca, que depende das páginas disponíveis e das consultas que o modelo monta. Páginas novas, atualizadas ou fora do ar mudam o material de que ele dispõe.

Os critérios que o ChatGPT usa para escolher quais fontes citar não são documentados pela OpenAI. Qualquer explicação detalhada sobre isso é inferência.

Memória, localização e a forma da pergunta

Três elementos do contexto da pessoa mudam a resposta, e você não controla nenhum deles.

Memória e histórico. O ChatGPT tem um recurso de memória, descrito na central de ajuda da OpenAI, que pode usar informações salvas e de conversas anteriores para personalizar respostas. A disponibilidade e as opções de controle variam por plano e mudam com o tempo; confira na página oficial.

Localização. A busca do ChatGPT pode levar em conta a localização aproximada de quem pergunta, como descreve a ajuda do ChatGPT sobre busca na web. Para uma clínica ou restaurante, isso pode mudar quem aparece. Na API, a ferramenta de busca aceita explicitamente uma localização aproximada (país, cidade, região e fuso horário), conforme a documentação já citada.

Formulação. As pessoas perguntam de jeitos muito diferentes. No estudo da SparkToro que veremos a seguir, 142 pedidos de recomendação escritos por pessoas, cada uma à sua maneira, tiveram similaridade semântica de apenas 0,081 entre si. Ou seja, quase não houve duas perguntas parecidas.

O que a pesquisa diz sobre a variação nas recomendações de marcas?

A evidência mais citada vem da SparkToro: as listas de marcas quase nunca se repetem. Em estudo publicado em 28 de janeiro de 2026, Rand Fishkin, com Patrick O'Donnell, da Gumshoe.ai, reuniu centenas de voluntários, que rodaram 12 pedidos de recomendação no ChatGPT, no Claude e no Google (AI Overviews, ou Modo IA quando não havia resumo), em novembro e dezembro de 2025. Cada pedido foi executado de 60 a 100 vezes, num total de 2.961 respostas.

Os resultados principais:

A conclusão dos autores é que a posição é pouco confiável, e que a porcentagem de respostas em que a marca aparece, medida sobre muitas execuções, é mais razoável. Eles também registram que a variação depende do mercado: categorias estreitas, como provedores de nuvem para startups, foram mais consistentes que categorias amplas, como romances de ficção científica.

Os limites do estudo importam. Ele não foi revisado por pares, os autores não são pesquisadores acadêmicos, e a Gumshoe.ai vende monitoramento de IA, conflito que Fishkin declarou. Os voluntários usaram suas configurações normais, sem controle de temperatura, localização ou histórico, e os resultados refletem os modelos do fim de 2025. Os próprios autores deixam em aberto se chamadas pela API variam como as feitas manualmente. Trate os números como um bom indicador da ordem de grandeza, não como constantes.

O que isso significa para a sua marca?

Um único teste é anedota; só uma série de testes é dado. Se você pergunta ao ChatGPT uma vez e a marca aparece, pode ter sido sorte. Se não aparece, pode ter sido azar. Quem toma decisão com base nisso (comemorar, trocar de agência, reescrever o site) está lendo ruído.

Há três consequências práticas:

• Posição exata não é meta. Se a ordem muda quase sempre, prometer "primeiro lugar no ChatGPT" não faz sentido. O que dá para acompanhar é a frequência com que você aparece.
• Sua percepção pessoal não representa o cliente. O que aparece para você, com o seu histórico e a sua cidade, não é o que aparece para quem pesquisa. Veja também como checar se sua empresa aparece no ChatGPT de forma mais confiável.
• Mudanças pequenas são ruído. Subir de 30% para 33% numa semana pode não significar nada. Tendências de várias semanas, sim.

Como medir de forma consistente?

Para medir com consistência, fixe tudo o que puder e repita muito. Em seis passos:

1. Fixe o conjunto de perguntas. Use as perguntas que seus clientes fazem, e mantenha o núcleo estável para ter série histórica.
2. Padronize as condições. Mesmos motores, mesmo idioma, mesma localização, sem histórico de conversa que contamine as respostas.
3. Repita. Rode cada pergunta várias vezes e em dias diferentes. O estudo da SparkToro usou de 60 a 100 execuções por pedido; para um negócio, o importante é ter repetições suficientes para que uma resposta fora da curva não decida o resultado.
4. Meça percentuais, não posições. Calcule em que porcentagem das respostas sua marca aparece e qual é a sua participação frente aos concorrentes (veja share of voice em IA).
5. Registre a data e o motor de cada coleta, para separar o que mudou no modelo do que mudou na sua presença.
6. Compare períodos. Olhe semanas e meses, com o dado de hoje contra o do período anterior.

Fazer isso à mão é possível, mas trabalhoso. A Reefia automatiza o processo: ela coleta diariamente, pelas APIs oficiais, as respostas de ChatGPT, Perplexity e Gemini às perguntas dos seus clientes e mostra visibilidade, posição, sentimento e share of voice ao longo do tempo. Uma ressalva honesta, que vale para qualquer ferramenta: a coleta por API pode não ser idêntica ao que cada pessoa vê no app, justamente por causa de memória, localização e personalização.

Para entender o que fazer depois de medir, o guia como aparecer no ChatGPT reúne as ações possíveis, e O que é GEO explica o campo como um todo.