言語モデルの訓練データ暗記が個人情報や機密情報の漏洩に繋がる問題 （Ishihara 26 6·1）。 特にドメイン特化のコーパスで訓練された場合 [Jagannatha 21, Singhal 23, Yang 22]、 漏洩の影響が深刻である。
法律や報道分野では「忘れられる権利」に関する議論も進んでいる [Garg 20, Ginart 19, Henderson 22, Li 18]。この観点は EU 一般データ保護規則（GDPR）を はじめとするデータ保護法とも関係が深く、今後の研究と制度設計が求められる領域である。
Carlini 21 が確立した構造。
| 報告 | 内容 |
|---|---|
| Carlini 23b | デコーディング戦略の違いは実験結果に大きな影響を与えない |
| [Lee 23] | top-k や top-p サンプリングの方が訓練データをより多く抽出する傾向 |
| [Hayes 25] | サンプリングによる確率的な揺らぎを考慮した議論の重要性を強調 |
悪意のあるデータや誤解を招くデータを訓練セットに意図的に混入させる手法 [Carlini 24]。暗記は誤情報の再生産にもつながる。懸念されている手口:
「暗記の測定」と「攻撃」は同じ手続きである。 訓練データ抽出は 候補生成 + メンバーシップ推論 の 2 段階であり、これは 文字列類似度による定量化（サーベイ図2）と メンバーシップ推論による定量化（図3）の合成にほかならない。 研究の測定器と攻撃者のツールは区別できない。 だからこそサーベイ 7·1 節は「どのような状況を想定した研究なのかを明確にした上で、 適切な実験設定を選ばなければならない」と述べる。→ 評価の枠組み
セキュリティの観点では、文字列一致そのものは本質ではない。 サーベイ 7·1 節の重要な区別。セキュリティでは 個人情報や機密情報が漏洩するか否かが本質的な問題であり、 許容可能な暗記と深刻度の高い暗記を区別する必要がある。 [Lee 20] は既存研究の多くがこの区別をしていないと指摘した。 対照的に著作権の観点では、文字列の表層的な一致に注目するのが 合理的な場合もある。同じ「暗記率 30%」でも、セキュリティと著作権では意味が違う。
低頻度データほど危険という逆説。 [Jagannatha 21] は臨床コーパスで 希少疾患を持つ患者が高い漏洩リスクに晒されると実証した。 Satvaty 25 も低資源言語ほどメンバーシップ推論の性能が高まると報告する。 一方 文字列の重複 は「重複が多いほど暗記されやすい」と述べる。 これは矛盾ではなく測っているものが違う——重複が多い文字列は暗記されやすいが、 重複が少ない外れ値的なデータほど識別しやすい（メンバーシップ推論の観点）。 そして守るべき個人情報はまさに外れ値の側にある。 重複排除は、最も守るべきデータには効かない。
デコーディング手法の影響については対立が未解決である。 Carlini 23b と [Lee 23] の報告は食い違っており、 サーベイはどちらかを採用せず両論を併記している。この Wiki でも消さない。