特定の訓練データを含む場合と含まない場合で、学習済みモデルに対する損失の差分を用いて 暗記を定義する(Ishihara 26 3·1§1、[Feldman 20])。
出力ではなく学習時のモデルに着目する定義の系統に属する。 「そのデータが無かったら、モデルはどう違っていたか」という反実仮想を直接扱うため、 定義としては最も素直である。
理論的に最も素直な定義が、実務ではほとんど使われていない。 この乖離が本ページの主題である。 サーベイは「出力に着目する定義と比べて研究は盛んではない」と明記する。 理由は明快で、この定義を測定するには数百〜数千のモデルを学習する必要があり、 大規模言語モデルでは非現実的だからである。 Carlini 23b は 反実仮想暗記・差分プライバシの下界・exposure をいずれも名指しで退けたうえで、 「実行可能(actionable)であること」を基準に自らの定義を選んだと明言している。 つまり事実上の標準となっている定義は、理論的な正しさではなく計算可能性で選ばれている。 結果として、文字列の類似度 や メンバーシップ推論 という 測定可能性から逆算された定義が事実上の標準になっている。
この構図は 差分プライバシ とも共通する。差分プライバシもまた 「任意の 1 データ点の有無に対して学習アルゴリズムの出力分布がどの程度変化するか」を捉えるもので、 反実仮想と同じ発想を学習アルゴリズム側で形式化したものと読める。 両者はモデル軸の 2 つの定義として並置されているが、 「1 データ点の有無」という反実仮想を共有している点で近縁である。
「暗記量が多い / 少ない」の比較は、この定義とその他の定義の間では成立しない。 反実仮想的な暗記は訓練セットへの因果的寄与を測るのに対し、文字列類似度は 出力の観測可能な性質を測る。前者が小さくても後者が大きいケース(たとえば その文字列が訓練データ由来ではなく言語的に自明で予測可能な場合)は原理的に存在しうる。 → 暗記 の「定義の選択は目的に従属する」
逆学習の評価は、暗黙にこの定義を使っている。 逆学習の理想は 「そのデータが最初から無かった状態のモデル」であり、これは反実仮想そのものである。 つまり逆学習の成功をどう測るかという問題は、反実仮想暗記をどう測るかという問題に還元される。 逆学習の評価が難しいことと、この定義の計算コストが高いことは同じ根を持つ(推測)。