暗記の実証的知見が英語以外の言語やドメイン特化コーパスで成立するかという論点 （Ishihara 26 4·4, 7·2）。
サーベイは「英語以外のドメインや言語を対象とした言語モデルの暗記の研究は限定的である」と 明記する。4 章の 3 因子は主に英語を対象とする研究で実証されてきた。
| 研究 | 内容 | 結果 |
|---|---|---|
| Kiyomaru 24 | 続きを生成する方法で暗記を定量化 | 英語での実証的知見が日本語でも再現される |
| Ishihara 24 | 日本語新聞記事（ドメイン特化） | 文字列の重複の知見を再現 |
| Takahashi 25b | 日本語の一般 / 産業特化コーパスでの継続事前学習 | 重複の知見を再現。ただし文脈長は一部の実験で英語と逆 |
| [小柳 24] | 日本語のメンバーシップ推論 | 文脈長が小さいほど性能が高い（英語と逆） |
3 因子の言語横断での頑健性には明確な差がある。 この Wiki が サーベイの記述から総合できる最も具体的な結論。
| 因子 | 日本語 | 他の低資源言語 | 評価 |
|---|---|---|---|
| 文字列の重複 | 再現 | — | 普遍的要因の最有力候補 |
| モデルサイズ | 再現 | 再現 | 普遍的要因の最有力候補 |
| 文脈長 | 設定依存（産業特化では正、一般コーパスでは負だが AUC ≒ 0.5） | — | 信号の強さに依存する可能性 |
サーベイ 7·2 節が求める「暗記の普遍的要因と文脈依存的要因を切り分ける研究」に対する、 現時点での暫定的な回答がここにある。ただし日本語の反例が 言語特性・定量化手法・評価セット構成のどれに由来するかは未分離である。
日本語固有の傾向は、因子ではなく「手法の優劣」に現れた（2026-07-31 追記）。 Takahashi 25b は、 [小柳 24] が「日本語では Min-K% Prob が大きい K で良い」と示唆したのに対し、 LOSS が Min-K% Prob を上回ったと報告する。 トークン分布に基づく手法は全般に性能が低く、K を 10 刻みで変えても 0.5 以下の場合が複数あった。 一方 ReCaLL は 8 列中 6 列で最良で、 「テキストを変換する手法は言語固有の情報を暗黙に考慮している可能性がある」と考察される。
論文は日本語に語の区切りが無い特性の影響を示唆する。 つまり日本語で変わるのは 3 因子そのものではなく、 どの定量化手法が機能するかである。これは 文脈長の「逆転」を言語のせいにできない理由とも整合する。
「低資源ほど危険」は 2 つの独立した経路から報告されている。 [Jagannatha 21]（臨床・希少疾患）と Satvaty 25（低資源言語）は、 ドメインと言語という別の軸で同じ方向の結果を出した。 これはセキュリティと情報漏洩 で整理した「外れ値ほど識別しやすい」構造の現れである。 そして 文字列の重複 の「重複が多いほど暗記されやすい」と矛盾しない—— 暗記されやすさ（重複依存）と識別されやすさ（希少性依存）は別の量である。 守るべきデータは後者の側に多い。
継続事前学習は日本語研究の中心的な設定であり、学習順の効果が最も強く出る。 サーベイ 7·2 節は「ドメイン特化のコーパスでは継続事前学習を用いる方法も一般的な中、 学習の後半に用いられたテキストの方が暗記されやすいという学習順の影響は重要」と述べる。 追加コーパスは定義上「学習の後半」に来るため、 学習順と忘却 の効果が構造的に最大化される。 [Lee 23] の COVID-19 コーパスや Takahashi 25b の 報告はこの帰結として読める。日本語のドメイン特化 LLM 開発は、 暗記リスクが構造的に高い設定である。
日本語で抑制手法の有効性を検証した研究は、この Wiki には無い。 定量化（4章）の日本語検証は進んでいるが、 重複排除・学習過程における抑制・出力の制御と電子透かし の 有効性が日本語で確認された例は見当たらない。 文脈長 のように実証的知見が言語で揺らぐなら、 そこから導かれた抑制手法の有効性も揺らぐはずである。明確な知識ギャップ。