この Wiki が最も価値を持つのは、対立を消さずに残している部分である。
サーベイと後続研究、あるいは言語や設定の違いで結論が食い違う箇所を、 どちらかを採用せずに一覧化する。各項目には何をすれば決着するかを併記する。
lint は矛盾を検出したら、どちらかを消すのではなくこのページに追記すること
（.claude/skills/lint/SKILL.md B-11）。
| 記号 | 意味 |
|---|---|
| 未決着 | 両論が併存し、交絡が切り分けられていない |
| 説明あり | 対立に見えるが、測っているものが違うと整理できる |
| 保留 | 決着させうる材料が存在するが、この Wiki が未検証 |
状態: 大幅に縮小（2026-07-31 更新） ｜ 主ページ: 文脈長
当初「日本語で逆転する」と整理していたが、原論文を読んで支持されないと判明した。 日本語の研究 3 本のうち 2 本は正の関係を再現している。
| 研究 | 言語・設定 | 向き |
|---|---|---|
| Carlini 23b、Chen 25、Shi 24、Kandpal 22 | 英語 | 正 |
| Kiyomaru 24 | 日本語・続きの生成 | 正 |
| Ishihara 24 | 日本語・新聞記事で自前事前学習 | 正（3 因子すべて再現） |
| Takahashi 25b | 日本語・日経電子版（産業特化） | 正（128 語まで） |
| Takahashi 25b | 日本語・Wikipedia（一般） | 負（ただし AUC ≒ 0.5） |
| [小柳 24] | 日本語 MIA | 負（原論文未読） |
サーベイの「注目に値する」という記述は正しかった。 誤っていたのは、それを本 Wiki が言語による逆転と読み替えたことである。 原論文の数値に当たるまで、この誤読は検出できなかった。
状態: 解消（対立ではなかった） ｜ 主ページ: セキュリティと情報漏洩
2026-07-31 更新: 原論文を読んで解消した。 サーベイの圧縮が対立を生んでいたもので、両者は異なる比較をしていた。
| 論文 | 実際に比較したもの | 結果 |
|---|---|---|
| Carlini 23b | 貪欲デコーディング vs ビームサーチ（100 ビーム） | 差は平均 2 パーセントポイント未満（最大 5.6%）、出力一致 45% |
| [Lee 23] | top-k / top-p サンプリング | 訓練データをより多く抽出する傾向 |
Carlini 23b は ランダムサンプリングを実験していないと明記している。理由は 「本研究の目的は発見可能性の最大化であり、言語的新規性の最大化とは対極だから」。 つまり「デコーディング戦略の違いは影響しない」という主張は 決定的手法どうしの比較についてのものであり、確率的サンプリングには及んでいない。
サーベイの圧縮は、比較の対象を落とすことで対立を作りうる。 被参照数の多い論文は原典を読む価値がある。→ 未解決の問い
状態: 説明あり（ただし含意は重い） ｜ 主ページ: 評価セットとライブラリ
同一の設計判断が、目的によって正反対の評価を受けている。
| 文脈 | 評価 | 根拠 |
|---|---|---|
| データセット汚染の回避 | 推奨 | [Jacovi 23]、[Uddin 25]（訓練後に作成されたデータで評価する） |
| メンバーシップ推論の評価 | 欠陥 | Das 25（WikiMIA は年の文字列だけで解ける） |
汚染回避では「訓練セットに入っていないこと」が保証されればよく、分布差は問題にならない。 メンバーシップ推論では分布差そのものが正解ラベルと相関してしまうため致命的になる。 つまり対立ではなく、要求が違う。
ただし含意は重い。サーベイ 7·1 節の 「どのような状況を想定した研究なのかを明確にした上で、適切な実験設定を選ぶ」という要請の、 最も具体的な帰結である。→ 評価の枠組み
原論文はメンバーシップ推論側については明確な処方箋を出している—— 事後的に非正例を作るのをやめ、最初から train-test 分割を持つモデル （Pile、DataComp、DataComp-LM のランダム部分集合）で評価する。 さらに「事後的なバイアス除去は極めて脆い」ため、 分布シフトを取り除くよう設計されたデータセットも信用できないと述べる。
汚染検出側には同じ処方箋が使えない（訓練セットが未知のモデルを評価したいのだから、 train-test 分割を設計できない）。この非対称は残る。
状態: 両立する（2026-07-31 更新） ｜ 主ページ: メンバーシップ推論
| 立場 | 根拠 |
|---|---|
| 方法論の失敗 | Das 25、Chen 25、Duan 24: 評価セットの分布差が非本質的な性能を生んでいた |
| 理論的帰結 | Morris 26: 損失ベースのメンバーシップ推論の F1 は容量/データサイズ比のシグモイド則に従い、トークン/パラメータ比 10² 以上では 0.5 に収束する |
2026-07-31 更新: Morris 26 を ingest した。 2 つの立場は排他ではなく、対象が違うことが分かった。
したがって両立する。そしてどちらも「漏洩は無い」を意味しない。
Morris 26 の限定を外した領域—— 外れ値的なデータ点・高度に重複したデータ・損失ベース以外の手法——は、 理論の射程外であり、評価セットの問題も未解決のまま残る。 そして著作権や セキュリティで実際に問題になるのは、 まさにこの領域である（→ 本台帳 5 番「外れ値ほど識別されやすい」）。
状態: 説明あり ｜ 主ページ: セキュリティと情報漏洩
| 立場 | 根拠 |
|---|---|
| 重複が多いほど暗記されやすい | Carlini 23b、Lee 22、Kandpal 22 |
| 希少・低資源ほど漏洩リスクが高い | [Jagannatha 21]（希少疾患の患者）、Satvaty 25（低資源言語ほど MIA の性能が高い） |
| 非典型的なデータほど暗記されやすい | Brown 22（LM は atypical なデータ点をとりわけ暗記しやすく、それがまさにプライバシリスクを表す）、Feldman 20（ロングテール） |
前 2 者は矛盾ではなく測っている量が違う。暗記されやすさは重複に依存し、 識別されやすさは希少性（外れ値性）に依存する。
第 3 の立場が問題を複雑にする。 Brown 22 と Feldman 20 は、 暗記そのものが非典型的なデータ点で起きやすいと述べる。これは 「重複が多いほど暗記されやすい」と正面から向き合う。両立させるなら 「頻度が高いものは暗記されやすく、かつ、頻度が低いものの中で暗記されたものは モデルにとって特異である」という二相の描像が要るが、 この Wiki はまだ整合的な説明を持たない。 Carlini 21 の k-eidetic（k が小さいほど有害）は後者の側に立つ定義である。
この対立は 4 番の射程と直結する。 Morris 26 が 「メンバーシップ推論は成立しない」と述べるのは平均的なデータ点についてであり、 外れ値は射程外である。守るべきデータが外れ値の側にあるなら、 理論的な遮蔽は実務的に最も重要な領域を守っていないことになる。
含意が重要: 守るべき機密情報はまさに外れ値の側にあるため、 重複排除は最も守るべきデータには効かない。
状態: 説明あり（機序は未解明） ｜ 主ページ: 学習過程における抑制
| 立場 | 根拠 |
|---|---|
| 正則化は暗記の抑制に有効 | [Yeom 18]、[Zhang 21] |
| 暗記は過学習の副産物ではない | Tirumala 22（過学習前に大半を暗記）、Carlini 23b |
両立しうる（正則化は過学習以外の経路にも効きうる）。しかし なぜ効くのかの説明はこの Wiki に無い。過学習経由なのか別経路なのかが未解明である。
さらに [Mireshghallah 21] は正則化が差分プライバシより 有用と主張しており、形式的保証の強さと実用上の有効性が一致しないことも示している。
状態: 未決着（枠組みの問題） ｜ 主ページ: 差分プライバシ
| 立場 | 根拠 |
|---|---|
| 有効 | [Downey 22]（DP の導入は暗記の抑制に有効）、[Li 22]、[Yu 21, 22]、[He 23] |
| 捉えきれない | Brown 22（テキストは粒度の定義が曖昧）、[Cummings 21]、[Tramèr 24] |
この対立は重複排除（データの削除）でも同じ形で現れる。 根本は「言語データにおける秘密の単位が定義できない」という一点であり、 前処理（5·1）と学習アルゴリズム（5·2）という異なる段階の手法が、同一の壁に阻まれている。
→ 未解決の問い C 分類。実験では閉じない。
状態: 未決着（2026-07-31 追加） ｜ 主ページ: 文字列の重複
Carlini 23b の追試節（5 章）を読んで判明した対立。 サーベイの記述には現れない。
| 設定 | 重複の効果 |
|---|---|
| GPT-Neo / Pile（主実験） | 対数線形。2〜900 回で単調に増加 |
| T5 / C4（マスク型） | 単調でない。 138〜158 回重複が 159〜196 回重複より暗記されやすい（3σ で有意） |
| OPT / 整理済み Pile | 傾向は同じだが効果の大きさが数桁小さい。66B OPT が 125M GPT-Neo より暗記が少ない |
論文自身が「モデルサイズは綺麗に一般化するが、重複は訓練セットの特異性のため そう単純ではない」と述べている。
この Wiki は当初、重複を「最も再現性が高い因子」と整理していた。 言語軸では正しい（日本語で再現）が、データセット軸では成立しない。 3 因子のうち両方の軸で頑健なのはモデルサイズだけである。