AIエージェントの構成比較で評価環境に騙されない

AIエージェントの構成比較で評価環境に騙されない

AI エージェントの指示やハーネスを変えてスコアを比べても、評価環境に穴があると結論を誤る。ISUCON2026 を無人で解いた準備記録から、比べる前に確かめる 6 点と手順を解説する。
テストの後片付けが手元の環境を壊す4つの穴

テストの後片付けが手元の環境を壊す4つの穴

テストを流したら、普段の tmux が落ちて端末の窓が全部閉じた。/tmp のファイルが消えた。止めたはずのプロセスが残った。後片付けのコードが手元を壊す・ゴミを残す 4 つの穴と、途中で止めて確かめる方法を解説する。
テストもCIも緑なのに壊れた実装を通す穴

テストもCIも緑なのに壊れた実装を通す穴

テストもCIも緑なのに、壊れた実装がそのまま通っていた。順序を入れ替えた実装、0件の確認、落ちたsetup、本物に届く偽物、skipしたjob。筆者が1週間で踏んだ穴と、わざと壊してredになるかを見る確かめ方を解説する。
Goで本番だけ出るconnection resetの直し方

Goで本番だけ出るconnection resetの直し方

Goから外部APIを呼ぶと、本番だけまれにread: connection reset by peerが出る。原因はHTTP/2では切られた接続の要求をGoが送り直さないこと。GETだけを再試行し、タイムアウトと接続断を分けた判断と、そのテストの落とし穴を実行結果つきで解説する。