軸: モデル
NeurIPS 2020, pp. 2881–2891
｜ stub（原論文未読）
What neural networks memorize and why
TL;DR
特定の訓練データを含む場合と含まない場合で、学習済みモデルに対する損失の差分を用いて
暗記を定義した。影響度推定によりロングテールを発見する枠組み。
位置づけ
モデル軸。反実仮想に基づく定義の原典
（Ishihara 26 3·1§1）。
手法・実験
損失差分による暗記の定義と、影響度推定（influence estimation）による測定。
サーベイからは実験設定の詳細は判明しない（原論文未読）。
主要な知見
- 暗記を「そのデータが無かったらモデルはどう違っていたか」という反実仮想で定義できる
- ロングテールのデータほど暗記される
限界・批判
- 計算コストが高い。この定義を測定するには多数のモデルを学習する必要がある
（Carlini 23b の指摘）
- 結果として、サーベイが述べるとおり
「出力に着目する定義と比べて研究は盛んではない」状態が続いている
- 言語モデル固有の設定（大規模コーパス、逐語的な長文の再現）に対して
この定義がどう振る舞うかは、Zhang 23 を待つ
Wiki 内の接点