2026-07-31 訂正: 原論文を読み、「日本語で逆転する」という当初の整理は 強すぎたことが判明した。日本語の 3 本のうち 2 本は正の関係を再現しており、 逆転が観測されるのは特定の条件下である。詳細は下記「横断的知見」。
プロンプトとして与える文字列の長さと、観測される暗記量の関係。 3 つの実証的知見のうち出力軸に対応するもの （Ishihara 26 4·3）。
Carlini 23b は、文脈長が大きいほど 観測される暗記量が増加すると明らかにした（対数線形）。6B モデルで 50 トークンの文脈では 33%、450 トークンでは 65% が抽出可能になる。 評価セット構築（サーベイ図2・図3）で L = 50 / 100 / 150 トークンと 分割を変えることで測定される。
原典はこれを 発見可能性（discoverability）現象と名付けている。 「一部の暗記は、十分に長い文脈でプロンプトするなど特定の条件下でしか顕在化しない」。 つまり文脈長は暗記量そのものではなく、暗記を発見できるかどうかを左右する変数である。
| 研究 | 設定 | 向き |
|---|---|---|
| Kiyomaru 24 | 続きの生成 | 正（英語の知見が再現） |
| Ishihara 24 | 自前事前学習 GPT-2、新聞記事 | 正（プロンプト長を含む 3 因子すべて再現） |
| Takahashi 25b | Llama 3 + LoRA 継続事前学習、日経電子版 | 正（128 語まで） |
| Takahashi 25b | 同上、日本語 Wikipedia | 負（ただし AUC ≒ 0.5 の領域） |
| [小柳 24] | 日本語メンバーシップ推論 | 負 |
発見可能性は防御と監査で逆向きに働く。 Carlini 23b の 最も実務的な洞察であり、サーベイの記述には現れない。
この非対称は著作権の依拠性立証が困難な理由の一つでもある。 権利者は訓練セットを知らないため、最も発見しやすい条件を作れない。
逆転は「日本語だから」ではない。同じ言語・同じモデル・同じ手法でも、 コーパスによって向きが変わる。（2026-07-31 更新）
Takahashi 25b の Table 5 を読むと、 Llama 3 + LoRA という同一条件で、コーパスが違うだけで向きが分かれている。
| コーパス | 手法 | 32 語 | 64 語 | 128 語 | 256 語 |
|---|---|---|---|---|---|
| Wikipedia | LOSS (12000 步) | 0.515 | 0.514 | 0.479 | 0.486 |
| Wikipedia | ReCaLL (1000 步) | 0.613 | 0.605 | 0.569 | 0.520 |
| 日経 | LOSS (12000 步) | 0.641 | 0.647 | 0.650 | 0.590 |
| 日経 | ReCaLL (12000 步) | 0.637 | 0.660 | 0.689 | 0.603 |
そして減少が起きているのは、メンバーシップ推論がほとんど機能していない領域である。 Wikipedia の AUC はほぼすべて 0.46〜0.53 に収まり、偶然と大差ない。 一方、日経電子版は AUC 0.69 まで達し、そこでは増加している。 つまり「逆転」の多くは信号が無い領域での変動である可能性が高い。
さらに Ishihara 24 は、 日本語新聞記事で自前事前学習した GPT-2 について プロンプト長を含む 3 因子すべてが英語と同様に再現されたと報告している。
したがって、この Wiki が当初立てていた 「日本語では文脈長の効果が逆転する」という整理は支持されない。 残るのはより限定的な観察である—— 信号が弱い設定（一般コーパス・小さい AUC）では、文脈長を伸ばしても検出性能が上がらない、 むしろ下がることがある。
サーベイ 4·4 節・7·2 節が反例を明示的に記録し「注目に値する」としたのは正しい。 本 Wiki の誤りは、それを言語による逆転と読んだことにある。
それでも消さずに残す交絡候補は 4 つある。
3 因子の中で最も脆い知見である。 重複は言語横断で再現され、 モデルサイズは定義を変えても言語を変えても再現される。文脈長だけが 言語で逆転する。サーベイ 7·2 節が求める「普遍的要因と文脈依存的要因の切り分け」において、 文脈長は文脈依存的要因の最有力候補である。
測定手法の設計そのものに文脈長が埋め込まれている。 サーベイ図2・図3 の 両手順とも「冒頭の数トークンを抜粋」して文脈長を制御する。 つまり文脈長は独立変数であると同時に、評価セット構築の設計パラメータでもある。 サーベイ 7·1 節が「文字列の重複や文脈長などの暗記に影響する要因にバイアスがないかにも 細心の注意が求められる」と警告するのはこのためである。 → 評価の枠組み