大規模言語モデルの意図せぬ(望ましくない)暗記に絞ったサーベイ。
Ishihara 26 が明示的に差分を述べる関連サーベイの一つ。
サーベイの整理によれば、既存の関連する取り組みは 「暗記に関する特定の話題に絞ったもの」と 「言語モデルに限らず広範に調査しているもの」に大別され、本論文は前者に属する。 Ishihara 26 は 「悪意を持った攻撃やメンバーシップ推論以外の暗記定量化の方法も含めて 幅広く暗記を扱っている」点で差別化している。
同じ位置づけの関連サーベイ:
| 論文 | 焦点 |
|---|---|
| [Meeus 25] | メンバーシップ推論(SoK。「どこにも向かっていない」という批判) |
| [Wu 25] | 大規模モデルへのメンバーシップ推論 |
| [Cheng 25b], [Xu 24] | データ汚染 → データセット汚染 |
| [Ravaut 25] | 汚染検出手法。サーベイ 3·2 節の分類の元 |
| [Kaneko 25a] | 事前学習データ漏洩とモデルの再現・検出能力 |
| [Wei 25] | 深層学習一般の暗記(対象が広い) |
| [Hu 22b] | メンバーシップ推論全般(対象が広い)。5 章の抑制手法の分類の参考文献 |
サーベイ論文。
要 ingest。