軸: 訓練セット
ICML 2022, Vol. 162, pp. 10697–10707
｜ stub（原論文未読）
Deduplicating training data mitigates privacy risks in language models
TL;DR
重複排除がプライバシリスクを緩和することを示した。
Lee 22 が性能向上を論じたのに対し、こちらは漏洩リスクを論じる。
位置づけ
訓練セット軸の前処理（Ishihara 26 5·1）。
文字列の重複 の実証にも寄与しており、暗記を文書単位で議論している点が特徴
（トークン単位で議論する [Tirumala 22] と対比される）。
手法・実験
逐語暗記の定義を採用。文書単位での議論。
サーベイからは実験設定の詳細は判明しない（原論文未読）。
主要な知見
- 重複排除がプライバシリスクを緩和する
- Carlini 23b の 3 因子のうち、
文字列の重複 と 文脈長 について同様の結果を報告している
- 訓練データ抽出とモデル反転攻撃 [Fredrikson 15] はほぼ同一の攻撃と位置づけた
（サーベイ 7·3 節が引用）→ 研究領域の拡張
限界・批判
- Lee 22 と同じく、重複以外の要因による暗記は防げない
- 文書単位の重複排除は、同じ個人情報が異なる文書に現れる場合には効かない。
これは差分プライバシの粒度問題と同型である → 重複排除
Wiki 内の接点