https://chillfixx.work/tags/isucon/Recent content in ISUCON on 白と黒HugojaThu, 12 Nov 2026 13:00:00 +0900https://chillfixx.work/blog/ai-agent-eval-environment-checks/Thu, 12 Nov 2026 13:00:00 +0900https://chillfixx.work/blog/ai-agent-eval-environment-checks/<h2 id="はじめに-スコアが上がっても構成が良くなったとは限らない">はじめに: スコアが上がっても、構成が良くなったとは限らない</h2> <figure> <video class="w-full rounded-2xl" src="https://chillfixx.work/blog/ai-agent-eval-environment-checks/overview.mp4" poster="/blog/ai-agent-eval-environment-checks/overview.webp" width="1200" height="675" data-motion loop muted playsinline preload="none" aria-label="構成を比べる前に、起動条件・ばらつき・環境の上限・追試・ watchdog・素の構成との差の 6 点を確かめる"></video> <figcaption>構成を比べる前に、起動条件・ばらつき・環境の上限・追試・ watchdog・素の構成との差の 6 点を確かめる</figcaption> </figure> <p>AI エージェントに渡す指示や skill、hook を変えて、同じ課題を解かせてスコアを比べる。よくなったら採用し、悪くなったら戻す。この比べ方は、評価する環境が正しいことを前提にしている。</p> <p>前提が崩れていると、エージェントは筋の通った行動をしているのに、比べた結論が誤る。結論を先に書くと、比べる前に次の 6 点を確かめる。</p>