特定の知識を問うタスクを通じて言語モデルの暗記を定量化する方法 （Ishihara 26 3·2§3）。
文字列の類似度や メンバーシップ推論 が 「訓練データそのもの」との関係を測るのに対し、この系統は モデルが持っている知識を下流タスクで引き出して測る。
この定義だけが、事後学習済みの実用モデルに適用できる。 サーベイは 3〜5 章で 原則としてベースモデルを扱うが、Chang 23 は ChatGPT や GPT-4 という 事後学習を施したモデルを対象にでき、暗記度合いが Web 上の出現頻度と関連していると報告した。 理由は明快で、この手法は生成確率へのアクセスも訓練セットの知識も必要とせず、 API 越しの入出力だけで成立するからである。 メンバーシップ推論 の多くの手法が対数尤度を要求するのと対照的である。 閉じたモデルを調べる唯一の現実的な窓という位置づけ。
同時に、評価の正当性の問題と不可分である。 知識を問うタスクで 高い性能が出たとき、それが汎化なのか、そのベンチマークを暗記しているだけなのかは 原理的に区別できない。つまりこの手法は暗記の測定器であると同時に、 暗記によって汚染される対象でもある。[Xie 24a] が論理パズルを使うのは、 この循環を断つために「暗記しても解けないはずのタスク」を選んだと読める。
暗記と汎化の境界を段階として扱えるのは、この系統だけである。 [Chang 25] の 3 段階（文字列一致 / 意味的汎化 / 構成的汎化）は、 暗記と汎化を二値ではなく連続体として測る枠組みを与えている。 文字列類似度の定義では、言い換えられた知識は「暗記していない」と判定されてしまう。