ロボットの「頭の中の計画」は、どこで間違えるのか

PCC-JEPA Wall 公式結果レポート／ 2026-08 ／結論先出しで書いています(木下是雄・S. Peyton Jones・L. McEnerney の作文原則に準拠)

調べた難条件の壁越え場面では、失敗の最大の要因は「良い動きが無い」ことではなく「良い動きはあるのに選び損ねる」ことだった(※「見えない障害物」条件だけは逆で、候補そのものが壊れる)。だからそこで直す余地が大きいのは候補作りではなく選び方。ただし今回の単純な選び方の修正では成功率は上がらなかった(正直な負けの結果)。

1. なぜ調べたか(問題)

— 読者が最初に知るべき「なぜ気にするのか」

ロボットに「頭の中で先を想像して、良い動きを選ばせる」AI(世界モデル)がある。これはゴールに近づく動きを選ぶ。ところが、途中で壁を突き抜ける無理な動きも「ゴールに近いから良さそう」と選んでしまうことがある。

失敗したとき、原因は2つ考えられる。①そもそも良い動きの候補が無い(=作る側の問題)か、②良い候補はあるのに選び損ねた(=選び方の問題)か。この2つは直し方が全く違うのに、平均の成功率を見ても区別できない。そこを切り分けたい。

2. 何をしたか

— 一段落で。手法の詳細は後回し(§5)

公開されている本物のAIモデル2種で、簡単な迷路(壁の隙間を通ってゴール)を何千回も試した。各回で数百の候補の動きを用意し、全部を実際に動かして「どれが本当は成功するか」を確かめたうえで、AIが選んだものと比べた。これで失敗を①(候補が無い)と②(選び損ね)に切り分けられる。さらに「壁の位置を使って危ない候補を事前に外す」簡単な仕掛けを足して、成功率が上がるか測った。

この仕掛けの正式名は PCC(Probe-based Constraint Consistency): 凍結モデルの想像ロールアウト潜在から少数ラベル(200)の線形回帰で座標を復号し、「復号軌道が壁中心線を横切るとき、その交点がドアからどれだけ外れているか」の最大値をリスクとして選択コストに加点する(数式は§5の「数式で見る」)。モデル本体は再学習しない。

2.1 どんな条件で、どこが難しいか

— 1試行の流れと、事前に固定した5つの条件

スタートとゴール
壁の同じ側／反対側

256候補を想像
公式モデルは凍結

1候補を選ぶ
通常選択／PCC

全候補を実行
本当の成否と照合

2モデル × 5条件 × 5シード。各条件は500の対応試行で、半分は壁を渡らない same-side、半分は扉を通って壁を渡る cross-wall。候補数は最大256本で固定した。

基準条件 matched公開設定どおりの壁と扉。ほかの条件を比べる基準。

扉の位置ずれ door-center-shift扉の中心を基準から6 px移動。覚えた経路のずれが失敗につながる。

狭い扉 narrow-door通過できる幅を狭くする。少しの予測誤差でも壁に当たりやすい。

操作ノイズ action-noise実行時の各操作に標準偏差0.08の乱れを加え、ずれへの頑健性を見る。

見えない障害物 truth-only-obstacle実行側だけに第2の壁を追加。AIにもPCCにも見せず、未知の制約は発見できないことを確かめる限界試験。

難しい場面: スタートとゴールが壁の反対側にあり、扉を必ず通る cross-wall。特に「扉の位置ずれ」と「狭い扉」で失敗が増えた。同じ側の same-side は壁を渡らないため、ほぼ失敗しない。

3. 何が分かったか

— 要点3つ

難条件の壁越え場面では②「選び損ね」が最大の要因。良い候補は在るのに選べていなかった(「見えない障害物」条件だけは①が上回る=未知の制約は候補ごと壊す)。
単純な仕掛けでは効かなかった。「危ない候補を外す」直しでは、成功率は有意に上がらなかった(=正直な負けの結果)。
それでも価値はある。「直すべき場所は選び方だ」とはっきり特定できた。次に作るべきもの(もっと賢い選び方)の設計指針になる。

4. 図で見る

図1: 失敗の内訳(latent選択・候補予算256)。各条件は500の対応試行(各topology層250)。難しい場面(壁を越える必要がある層)ほど、青(選び損ね)が失敗の最大成分(「見えない障害物」条件は例外で、オレンジが上回る)。易しい場面はそもそも失敗しない。→ これらの層では「選び方」に最大の改善余地。

5. 詳しく(専門家向け)

— 木下の原則に従い、事実(データ)と解釈(私の読み)を分けて書く

事実公式チェックポイント JEPA-WM / DINO-WM(FAIR jepa-wms, 凍結commit 13cf1d9c)を、連続2次元Wallタスクで評価。2モデル×5シード・各条件500ペア・候補予算256。ハッシュ検証＋機械 claim gate 6条件を通過(判定契約 schema v3・実行前凍結)。

事実故障分解の恒等式 1 − 選択成功 = 生成失敗 + 選び損ね。各テストで全候補を真のシミュレータで実行し、「成功候補が1つでも在るか(coverage)」を接地真実で判定。難条件の壁横断層(例: 扉ずれ)では生成失敗≈0.07 に対し選び損ね≈0.57–0.59。

事実 事前登録: H1–H4の判定規則・閾値・情報ゲートは、公式実行前の2026-07-19に機械可読の判定契約(schema v3)として凍結した。凍結閾値: H1=順位付けshare≥0.50・生成shareシフト≥+0.20・両層とも失敗n≥50 ／ H2=成功率利得≥+0.05かつHolm補正正確McNemar p≤0.05かつ生成失敗不変／ H3=層別gap≥0.10・各群n≥50 ／ H4=成功率|Δ|≤0.05かつ(故障率gap≥0.10 または予測誤差gap≥0.05)。データ不足は自動的に indeterminate(=証拠なし)となり、支持には数えない(fail-closed)。

4つの事前登録した診断(H1–H4)の判定:

診断	判定	根拠(事実)＋凍結閾値
H2 単純な選び方の修正(PCC)は効くか	not_supported	効果量 −0.026〜+0.012、実効ゲート(+0.05利得かつHolm有意)に到達なし
H3 平均が構造を隠すか	supported	層別ギャップ topology≈0.31 / coverage≈0.87(閾値≥0.10)
H4 2モデルは違うか	supported	成功率差0.012(≤0.05)・\|予測誤差差\|0.366(≥0.05)。故障率profile差は閾値未達
H1 機構シフト	indeterminate	matched条件の失敗数 n<50 で閾値未達=証拠なし扱い

解釈「選び損ねが支配・平均が構造を隠す」という診断は両モデルで頑健(H3＋故障分解)。一方その headroom は線形の単純な修正では埋まらない(H2 not_supported)。パイロット(制御サロゲート)では PCC が大改善を示したのに公式では再現しない — 「良さそうな診断が公式モデルに移らない」という乖離自体が知見。次は非線形・衝突特化の強い「選び方」で headroom を取るのが筋(私の読みであり、本評価では未検証)。

数式で見る(選択則・恒等式・検定)

候補バンク B = {a⁽¹⁾, …, a⁽²⁵⁶⁾}, a^(j) ∈ [−1,1]^6×5×2(マクロ6手×低レベル5行動)
想像: ẑ_1:T^(j) = f_θ(z₀, a^(j))(f_θ=凍結モデル)／復号: x̂_t^(j) = g_φ(ẑ_t^(j))(200ラベル線形回帰)
PCCリスク: R^(j) = max_seg max(0, |y_cross − y_door| − w_half)(壁中心線を横切る復号セグメントの交点がドアからどれだけ外れるか。checker幾何は全条件で matched 値 (32,30,4) に固定 — 扉ずれ・狭い扉では実行側だけが変わり、PCCは古い幾何のまま照合する)
選択: score = ν(C_lat) + λ·ν(R) + 0.25λ·1[R>10⁻⁵], ĵ = argmin(ν=5–95%分位正規化→[0,2]、λはグリッド{0…30}から検証40件で選択)
成功: S^(j) = 1[‖x_T,exec^(j) − x_goal‖ < 4.5](距離のみ。衝突は別記録)／被覆: C = max_j S^(j)
恒等式: 1 − E[S^(ĵ)] = P(C=0) + P(C=1 ∧ S^(ĵ)=0) = 候補が無い + 選び損ね
検定: 不一致対 b, c に対し p = min(1, 2·P(Bin(b+c,1/2) ≤ min(b,c)))、10対比を Holm で familywise 制御。区間はシード5本の復元抽出ブートストラップ(≥2,000 draw)。

H2 効果量の全条件(数字の詳細)

model / condition	latent	PCC	差	Holm p
dino / narrow-door	0.742	0.716	−0.026	0.533
dino / action-noise	0.930	0.910	−0.020	0.680
jepa / matched	0.950	0.944	−0.006	1.000
jepa / narrow-door	0.740	0.752	+0.012	1.000

全10条件で Holm 有意な改善なし(効果量 −0.026〜+0.012、点推定は7条件で負・2条件で正)。matched の coverage は予算16で95.0%・256で97.8%とほぼ天井=そこでは良い候補が既に在る。

6. 研究の位置づけ(関連研究)

— この診断がどの文脈に立つか。文献はすべて一次ソースで確認済み

潜在特徴上の世界モデル計画: V-JEPA 2-AC は凍結動画表現+行動条件付き予測器で潜在CEM計画 [arXiv:2506.09985]、DINO-WM はDINO特徴上の予測器で zero-shot 計画 [arXiv:2411.04983]。本評価の公式チェックポイントは JEPA-WMs [arXiv:2512.24497] の公開実装に由来。いずれも終端近接コストで候補を順位付けする。
予測できても計画できるとは限らない: 到達可能性の補助目的 [arXiv:2605.07278]、潜在プランナの階層サブゴール [arXiv:2606.09311]、価値誘導 [arXiv:2601.00844] は主に表現・生成側の改善。
想像ロールアウトのテスト時診断: 運動学的整合性誤差 iKCE [arXiv:2607.05966] は状態空間での整合を測る。本研究は「既知の環境幾何との実行前照合」を、公式チェックポイント上で凍結条件・事前登録閾値つきで定量化する点に位置づく。

7. 再現性 — 同じ結果をどう確かめるか

— 「再現できる」と言うために固定したものと、公開上まだ足りないもの

現在地: プロトコル、実行コード、解析コード、上流モデルの版、チェックポイント照合値は公開済み。いっぽう重いチェックポイント本体と公式raw出力はGitに含めていないため、このWebレポートだけで数値を再計算できる自己完結パッケージではない。第三者再実行には上流重みの取得とCPU実験の再実行が必要。

固定対象	固定値・照合方法
上流コード	`facebookresearch/jepa-wms` commit `13cf1d9c7e476f53c17714d2e0f1dc239a883ce0`
JEPA-WM重み	SHA-256 `8efb0623cfba1cb3ca210de26f7579c83dd24936635f11989c515afcb23bea1e`
DINO-WM重み	SHA-256 `ff170be5aec9249768be4a220d600b8f00a8589b2a78982ecf9273809f2767df`
乱数と試行	5 seeds (`8101, 9110, 10119, 11128, 12137`)。各seedで検証40試行、各条件のテスト100試行。
対応比較	同じ課題・同じ候補列を全モデル／全選択法で共有。候補予算 `16, 32, 64, 128, 256` は同一256本の入れ子。
統計と保存	seed-cluster bootstrap 95%、exact McNemar、Holm補正。負・無効・判定不能の結果も残し、raw成果物はサイズとSHA-256で照合。

再現手順と成果物契約 ↗ 事前登録manifest ↗ 重み・設定の監査結果 ↗ 公式実験runner ↗

8. 限界と次

事実シミュレーション限定・単一環境(Wall)・線形の選び方のみ。実機・画像入力・複数環境・強baselineは対象外。
解釈「制御サロゲートに対して本当に新規か(科学的新規性)」の最終判断は人間に残る。次は強い選び方の設計、および流体タスクへの手法移植が候補。

さらに詳しく: 詳細レポートスライド(日英28枚: 事前登録仮説・全10セル効果量・限界と結論・今後の計画)
出典: results/official/analysis/SI_RESULTS_GENERATED.md(機械gate通過, commit 13cf1d9c)。出所識別子: 凍結commit 13cf1d9c / 判定契約 schema v3 (2026-07-19実行前凍結) / 機械claim gate 6条件。
書き方の基準: 木下是雄『理科系の作文技術』(結論先出し・事実と意見の峻別)／Simon Peyton Jones『How to write a great research paper』(問題→アイデア→証拠)／Larry McEnerney(読者価値)。