AIに実装とテストを任せたら「テストは全部通りました」と返ってきた。エラーも出ていない。なのにアプリを起動して触ると、設定が途中で元に戻る、ボタンが効かない、画像が出ない。この記事を読むと、AIに頼む確かめを、テストのコマンドで済む範囲と、アプリを動かして画面で見る範囲に分け、画面側の試験の指示に「単体テストでは通ってしまう継ぎ目」の点検項目を書き込めるようになります。もとにしたのは、運営者が自分用に作っているツールの開発記録(2026-11-10 に1件目の開発を完了として閉じた時点のもの。人間がアプリの窓で確かめる作業はまだ)のうち、同じ日の朝から夕方まで続いたシステムテスト(6回)と、その結果の判定2回です。
先に読者を分けます。Claude Code が赤いエラー(API Error・認証・接続など)を出して止まっているなら、公式の「エラーリファレンス」が早道です(https://code.claude.com/docs/ja/errors、2026-11-21 に表示を確認)。この記事は、その逆の、エラーは何も出ず、テストも通っているのに、アプリを動かすと画面がおかしい場合を扱います。
記録の担当をはっきりさせておきます。この区間で実装と単体テストを担当したのは Codex(Codex CLI)、画面の試験を実施したのは Antigravity、結果を読んで合否を付けたのは Codex(Codex CLI)です。Claude Code はこの区間に出てきません(製品名は 2026-11-10 に運営者に確認)。「Claude Code のテストが通ったのに落ちた」記録ではありません。Claude Code に当てはめる部分は、記録ではなく案として分けて書きます。
この試験の項目を実装の前にどう点検したかは、先に公開した記事にあります。
テストのコマンドで済む範囲と、画面で見る範囲の分け方
先に言葉をそろえる
- 単体テスト:部品1つずつを、プログラムで自動的に確かめるテストです。
npm testのようなコマンド1つで流れ、アプリ全体は起こしません。 - システムテスト(画面の試験):アプリを実際に動かし、画面を操作して、項目ごとに確かめる試験です。
- 実施役:画面の試験を実際に行う担当です。記録では、これもAIでした。
- 模擬配信:このツールにある、本物につながずに作り物のデータを流す機能です。試験はすべてこの上で行いました。
- lint(リント):書き方の決まりに外れたコードが無いかを機械で調べる道具です。
2つの範囲
記録の試験設計は「1つの受入基準(これができたら完成とみなす条件)に試験は1つ。同じ分岐を単体テストとシステムテストで二重に確かめない」と決めていました。29の受入基準を、単体テスト12・システムテスト15・人間による実機での確認2に振り分けています。分けること自体はしていた、ということです。
記録の振り分けと、後で落ちた所を合わせて、範囲をこう分けます。
| 確かめたいこと | テストのコマンドで済む(単体テスト) | アプリを動かして画面で見る(システムテスト) |
|---|---|---|
| 決め方(入力に対して決まった答えが返るか) | ここで確かめる。記録の例:入力の読み分け、初めての人かどうかの区分、保存して読み直すと同じ値になるか | 同じ分岐を二重に確かめない |
| 決めた結果が画面の文字として出るまで | 対象外 | ここで確かめる |
| 部品どうしの合流(設定と、後から届く出来事) | 部品ごとには確かめられても、合流は見えにくい | 点検項目1で確かめる |
| 実際に使う速さでの、人の操作 | 負荷の上限はこちらに置く(記録が後で改めた決まり) | 実運用の速さで、操作が効くかを見る |
| 利用者が実際に開く窓での見え方 | 対象外 | 試験用の画面と分けて書かせる |
| 前の状態の持ち越し | 単体テストは毎回、一時的な保存先から始まる | 空から始めたことを画面で確かめる |
落ちたのは「分けたあいだ」だった
記録の単体テストは12件すべて通り、lint のエラーも0でした。それでも1回目の画面の試験では15項目のうち合格10・不合格3・判定できない2になり、結果のレビューは6件を指摘しました(この数字と、判定できなかった原因のあらましは開発全体の記事に書いています)。
6件を並べ直すと、どれも「単体テストの範囲」と「画面の試験の範囲」のどちらにも入っていなかった所、つまり分けたあいだで起きていました。部品どうしの合流、実際の速さ、本物の窓、試験の前の状態です。だから「分ける」だけでは足りず、分けたあいだを画面側の試験の指示に書き込む必要があります。
画面側の試験の指示に書き込む点検項目(写して使う)
記録の6件から、画面の試験の指示に足す点検項目を作りました。記録の試験の指示そのものではなく、記録で落ちた所と、直した後のやり直しで実際に行ったことを、ほかの開発でも使える形に置き換えたものです。
# システムテスト(画面の試験)の指示に足す点検項目
## A. 試験の前
- 前の確認で使ったデータの保存先を退けて、空から起動する。
開始前に、画面の件数表示が 0 であることを読んで記録する。
- 動かしている版を最初に書く:起動した時刻、起動したときの版、
作業場所に保存していない変更が無いこと。
## B. 単体テストでは通ってしまう継ぎ目
1. 設定と、後から届く出来事
設定を変えたあと、後から届く出来事(定期的な更新・通知など)を
少なくとも1回受け取るまで流し、設定どおりの表示が続くかを見る。
2. 実際に使う速さでの操作
本番で想定する速さで流しながら、人が行う操作
(押す・入力して保存する)が最後まで効くかを見る。
負荷の上限を確かめるのはここではなく、自動テストに置く。
3. 合格条件の数値
数値で合否を決める項目は、その数値が
「どの操作から、どの画面の変化まで」を測ったものかを書く。
書けないなら、その数値を合格の証拠にしない。
4. 試験用の画面と本物の窓
試験用の入口で見た結果と、利用者が実際に開く窓で見た結果を
分けて書く。本物の窓で見ていないなら「見ていない」と書く。
5. 試験の前の状態
「初めて」「件数が増える」など、前の状態で結果が変わる項目は、
開始前の状態を画面で読んでから始める。
## C. 記録の書き方
- 実施役は合否を決めない。項目ごとに次の5つだけ書く:
期待(合格の目安の原文の写し)/押した順/入れた値/
画面に出た文字(写し)/期待と同じか違うか
- 違ったときは、何が違ったか(期待の文と画面の文字を並べて)、
そのときの版、その時刻のログの場所を残す。画面の画像だけで済ませない。
- 合否は、この記録を読んだ別の担当が付ける。
写すときに書き換える所
- B-1 の「後から届く出来事」:あなたのアプリで、利用者の操作と関係なく後から入ってくるものに置き換えます。記録では、同時接続数などの統計が一定の間隔で届く出来事でした。
- B-2 の「本番で想定する速さ」:記録では、最初は1秒に50件という負荷の速さで操作を試し、これが重すぎました(後の「うまくいかなかった所」)。実際に使うときの速さを書きます。
- B-4 の「本物の窓」:記録の試験は、ブラウザで開く試験用の入口から行いました。利用者が開くのはデスクトップアプリの窓です。あなたのアプリで、試験用の入口と利用者の画面が別なら、その2つの名前を書きます。
- C の「別の担当」:記録では、実施役(Antigravity)とは別のAI(Codex CLI)が合否を付けました。自分で付けてもかまいません。大事なのは、操作した担当が自分で合格と書かないことです。
Claude Code に当てはめる場合(記録ではなく案)
ここからは記録ではなく、私たちの案です。Claude Code に実装とテストを任せていて、「テストは全部通りました」のあとに画面がおかしい場合、次の順に頼むことになります。この順番を Claude Code で試した記録はありません。
- 単体テストの結果(件数と失敗0)は、そのまま受け取る。ただし「全部通った」は上の表の左の列についての話だと読む
- 画面の試験を別に頼む。指示に上の A・B・C を入れる。アプリの起動と、データの保存先を退けることは、頼む側で先に済ませておくと、試験の前の状態がはっきりする
- 結果の記録は、実装させたのとは別の会話か別のAIに読ませて、合否を付けさせる
- 直させたら、後の節の「直した後の確かめ方」でやり直す
根拠にした記録:単体テストが全部通ったまま、画面の試験で落ちた6件
ここからは、上の点検項目のもとになった記録です。
担当と数字
- 実装と単体テスト:Codex(Codex CLI)
- 画面の試験の実施:Antigravity(記録上の担当名は、システムテストの実施役)
- 結果のレビュー(合否を付ける役):Codex(Codex CLI)
- 試験の指示を書いて結果を受け、次を決める役:進行役のAI。どの製品かは、この記事では確かめていません
- Claude Code:この区間には出てきません
1回目の画面の試験は 2026-11-10 の 08:26〜08:56 頃(記録にある操作の時刻)に行われました。実施役は合否を決めず、期待と同じか違うかの観察だけを書く決まりでした。同じ日の結果のレビューで、15項目は合格10・不合格3・判定できない2、指摘は6件(実装4・試験の準備1・記録の残し方1)となり、差し戻されました。不合格は3項目で、指摘6件とは別の数です。
6件を「単体テストでなぜ通ってしまうか」で並べる
| 継ぎ目 | 起きたこと(記録) | 単体テストで通ってしまった理由(記録から言えること) |
|---|---|---|
| 設定と、後から届く出来事の合流 | 高評価の数を「取れない」に設定して模擬配信を流すと、開始直後は「— 取れません」が出た。ところが統計の出来事が届いた時点で、欄が数値の表示に上書きされた | 12件の単体テストの名前に、設定と統計の出来事の組み合わせを見るものは無い。設定の保存と読み直しのテストは通っていた。上書きは、両方が合流する所で起きた |
| 実際の速さでの操作 | 1秒に50件流している間、一覧の行に呼び名を付けるボタンを押そうとすると、要素がもう無いと返った。実施役の記録では、一覧が16ミリ秒ごとに全部作り直されていた | 12件の単体テストの名前に、速く流しながら人が操作する場面を見るものは無い。この状況は、画面を動かして初めて出た |
| 測った数値が何を測っているか | 「操作から画面の反映まで」の値は、記録した操作ではどれも1000ミリ秒以下だった。しかしレビューは、その値が対象の操作の画面反映を含むとは限らず、1秒以内の証拠にならないとした | 数値が画面に出ること自体は確かめられていた。何から何までを測った値かは、別に確かめる必要があった |
| 試験用の画面と本物の窓の違い | 試験用の入口では「画像表示済み」と出ていた項目が、レビューで不合格になった。アプリ本体の窓では作り物の画像を読めず、読めないときの代わりの表示も無かった | 画面への描き込みを確かめる単体テストは、本物の画面ではなく、テスト用に用意した作り物の文書に描いて確かめる設計だった。画面の試験も、ブラウザで開く試験用の入口から行っていた |
| 試験の前に残っていたデータ | 「初めての人」の印が付くことと、流した後に作り物のデータの件数が増えることを確かめる2項目が、試験の前から作り物のデータが入っていたため判定できなかった。レビューは、事前の確認と同じ保存先を使った試験準備の問題とした | 保存を確かめる単体テストは、毎回一時的な保存先から始まる。本物のアプリは、前の状態を持ち越す |
| 不合格の証拠が足りない | 「期待と違う」と書いた項目に付けた画面の画像4枚が、何が食い違ったかを示しておらず、そのときの版の情報とログも無かった | アプリの不具合ではなく、記録の残し方の問題。点検項目の C に入れた |
1つ目と2つ目は、実施役が画面の文字を読んで「期待と違う」と書いた所です。実施役は、上書きや作り直しが起きている箇所まで書き添えていました(この記事ではファイル名や行は出しません)。
試験用の入口と本物の窓の違いが、開発の途中の確かめでどう扱われていたかは、Codex CLIの実装を塊ごとに確かめた記事に1つの例があります。
直した後の確かめ方:当たった項目だけやり直す
直しのコードの中身は、この記事では扱いません。ここに書くのは、直した後の試験でどう見えたかと、やり直しの組み立て方です。
やり直しの組み立て
1回目のレビューは、直した後に15項目を全部やり直す必要は無いとしました。指摘が当たる5項目(不合格3と判定できない2)をやり直し、ほかの項目は影響がある場合だけ確かめる、という形です。次の雛形は、記録の指示の写しではなく、このレビューの判断をもとにした私たちの案です。
# 直した後のシステムテスト(やり直し)の指示に入れること
- やり直すのは、前回の指摘が当たった項目だけ。
- ほかの項目は、直しの差分を読んで影響を判断する。
影響しないと判断した項目は前回の合格記録を使い、その理由を書く。
- 始める前に、点検項目の A(空から起動・版を書く)をやる。
- 記録は前回と同じ5つの形。合否は前回と同じく別の担当が付ける。
記録では、最後の再レビューが4項目に1回目の合格記録をそのまま使い、影響しないという判断は直しの差分を読んで付けています。実際のやり直しで流し直したのは、指摘の当たった5項目に、ほかの6項目を加えた11項目でした。雛形の1行目より広く流し直したことになります。
やり直しで実際にやったこと
- 試験用のデータの保存先を退けて、空から起動した。実施役は開始前に、画面の件数表示が0であることを読んでから始めた
- やり直しの記録は、冒頭に「実行中の版」(起動した時刻・起動したときの版・作業場所に保存していない変更が無いこと)を書く形になった。やり直しの3回とも同じ形
- 実施役は1回目と同じく合否を決めず、期待の原文・押した順・入れた値・画面の文字・同じか違うかだけを書いた
直した後にどう見えたか
- 高評価の数を「取れない」にして1秒50件で27秒流し、統計の出来事が届いた後も「— 取れません」のままだった
- 空から始めたことで、「初めての人」の印が画面に出た
- 同じ日の再レビューで、15項目すべて合格・不合格と判定できないは0・前回の6件の指摘はすべて解消、と判定された
ただし、この「すべて合格」には人の判断と、試験用の入口だけでの合格が含まれています。次の節に書きます。
うまくいかなかった所と直し方
速さの試験を画面の操作でやって、実施役が3回止まった
画面の試験は合わせて6回、314分かかりました。やり直しは 12:09・14:16・17:45 に起動しています。重かったのは、1秒に50件を5分流しながら操作する項目です。実施役はこの項目で3回止まりました(実施役を動かしていたAIのフィルターに2回止められ、狙った行が流れ去って空回りしたのが1回)。
1回は「操作が進まない」ように見えましたが、進行役が確かめたところ、アプリの食い違いではなく実施役の押し違いでした。画面の試験で「動かない」と出ても、アプリの不具合とは限らないということです。
記録はこの重さの原因を「負荷を画面の操作で確かめる試験の設計」とまとめています。決着は直しではなく、人の判断でした。
- 仕様を決めた:呼び名を入力している間にその行が流れ去ったら、変更されない。あとから付け直す
- その項目は、人間の責任者の判断で合格扱いにした
- 決まりを改めた:操作の試験は実運用の速さで設計し、負荷の確かめは単体レベルの自動テストに置く
点検項目 B-2 の「負荷の上限を確かめるのはここではなく、自動テストに置く」は、この改めた決まりから来ています。
待ち時間も出ました。開発全体で、30分を超える空白が合わせて486分あり、そのうち271分は1回目の画面の試験の前の夜間、184分は最後のやり直しの前の人の判断待ちでした。
「全部合格」に含まれていたもの
- 1秒50件の項目は「合格(人間の責任者の判断)」です。最後の回の試験記録には期待の写しまでしかなく、結果の記載がありません。その項目の後半2つは、進行役の再現記録を根拠に判定されています。全部が画面の試験で自動的に合格したわけではありません
- 本物の窓での画像の見え方は、再レビューでも対象外として残り、開発を閉じた時点で人の確認待ちです。「全部合格」は、試験用の入口での合格です
この記録をどこまで当てにできるか
- 1件の開発・画面の試験15項目・結果のレビュー2回の記録です。上の点検項目がほかの開発で同じように効くかは確かめていません
- 点検項目と「Claude Code に当てはめる場合」は、記録を置き換えた案です。置き換えた形そのものを、私たちが動かして確かめてはいません
- 直しのコードの中身は扱っていません
- 開発は完了として閉じましたが、人間がアプリの窓で確かめる作業は、閉じた時点でまだ済んでいません
- Claude Code はこの区間に関わっていません
確かめた日と環境
記録の試験とレビューは、どれも 2026-11-10 に行われたものです。公式のエラーリファレンスの表示は 2026-11-21 に確認しました。道具の版・料金・設定は確認していないので書いていません。

コメント