軸: 訓練セット / モデル / 出力
INLG 2024, pp. 584–596
｜ stub（原論文未読）
A comprehensive analysis of memorization in large language models
TL;DR
日本語を対象に、続きを生成する方法で暗記を定量化し、
英語での実証的知見が日本語でも再現されると確認した。
位置づけ
3 軸すべて。Ishihara 26 4·4 節が、
日本語に関する研究として最初に挙げる論文。
手法・実験
続きの生成（サーベイ図2 の手法）による暗記の定量化。
主要な知見
- 英語での実証的知見が日本語でも再現される
- 文字列の重複: 重複が多いほど暗記されやすい
- モデルサイズ: モデルサイズが大きいほど暗記されやすい
限界・批判
- 文脈長 については、[小柳 24] が日本語のメンバーシップ推論で
逆の関係を報告している。定量化手法（続きの生成 vs メンバーシップ推論）の
違いが効いている可能性があり、この Wiki では切り分けられていない
→ ドメインや言語横断
- 抑制手法（重複排除 など）の日本語での有効性は扱っていない
Wiki 内の接点