Varianza delle risposte

Da dove nasce

I modelli linguistici generano testo con una componente casuale. A questo si aggiungono risultati di ricerca mutevoli, la posizione e gli aggiornamenti dei modelli. Una singola interrogazione è quindi un campione, non una misura – chi decide in base a uno screenshot decide in base al caso.

Come misurare comunque in modo affidabile

Con ripetizioni nel tempo, molti prompt invece di uno solo e una posizione fissa per ogni prompt. GeoStars misura ripetutamente alla cadenza impostata, mostra andamenti invece di singoli valori e indica per ogni visibilità numeratore e denominatore – così vedi su quante risposte si basa un valore.