Variância de resposta

De onde vem

Os modelos de linguagem geram texto com uma componente aleatória. A isso somam-se resultados de pesquisa que mudam, a localização e as atualizações de modelo. Uma única consulta é, por isso, uma amostra, não um valor de medição – quem decide a partir de uma captura de ecrã decide ao acaso.

Como medir de forma sólida, mesmo assim

Com repetição ao longo de dias, muitos prompts em vez de um só e uma localização fixa por prompt. A GeoStars mede repetidamente na cadência definida, mostra evoluções em vez de valores isolados e indica, para cada visibilidade, o numerador e o denominador – assim vês em quantas respostas se baseia um valor.