回答のばらつき

その原因

言語モデルは、ランダムな要素を含みながらテキストを生成します。そこに、変動する検索結果、所在地、モデルのアップデートが加わります。したがって1回の問い合わせは標本であって測定値ではありません――スクリーンショット1枚で判断することは、偶然に基づいて判断することと同じです。

それでも信頼できる測定をする方法

複数日にわたる繰り返し測定、単発ではなく多数のプロンプト、そしてプロンプトごとに固定した所在地を使います。GeoStarsは設定した頻度で繰り返し測定し、単発の値ではなく推移を示し、すべての可視性について分子と分母を明示します――その数値が何件の回答に基づいているかが分かります。