軸: 訓練セット
ACL 2022 (Volume 1: Long Papers), pp. 8424–8445
｜ stub（原論文未読）
Deduplicating training data makes language models better
TL;DR
訓練セットの重複排除が言語モデルを良くする。暗記の抑制と性能向上を両立させうる、
最も実用的な緩和策。
位置づけ
訓練セット軸の前処理（Ishihara 26 5·1）。
実証的知見の文字列の重複（4·1）に対応する抑制手法。
手法・実験
暗記の測定にトークン一致率を用いた（文字列の類似度）。
サーベイからは重複排除アルゴリズムの詳細は判明しない（原論文未読）。
主要な知見
- 重複排除は暗記の緩和に有効である [Allamanis 19, Kandpal 22, Lee 22]
- モデル学習に比べ効率的であり、実用的な解決策として期待されている
限界・批判
- 重複以外の要因でも暗記は発生し得るため、重複排除のみで完全に防ぐことはできない
（サーベイ 5·1 の明示的な留保）
- 前処理は 4 章の 3 因子のうち重複しか動かせない。
モデルサイズ と 文脈長 には触れない → 重複排除
- セキュリティと情報漏洩 で整理したとおり、
守るべき機密情報は重複が少ない外れ値の側にあることが多く、
重複排除は最も守るべきデータには効きにくい
Wiki 内の接点