訓練データの一部が欠損した入力に対して、モデルが欠損部分を復元できるかを測定し、 ChatGPT / GPT-4 が知っている書籍を推定した。 事後学習済みモデルでも暗記度合いが Web 上の出現頻度と関連していることを報告。
出力軸。知識を問うタスクによる暗記の定量化の代表例 （Ishihara 26 3·2§3）。
この Wiki で、事後学習済みの実用モデルを対象にした数少ない研究である。 サーベイは 3〜5 章で原則としてベースモデルを扱うが、本研究は例外的に ChatGPT / GPT-4 [OpenAI 23] を扱う。
訓練データの一部を欠損させた入力（cloze 形式）を与え、 モデルが欠損部分を復元できるかを測定する。 生成確率へのアクセスも訓練セットの知識も不要で、API 越しの入出力だけで成立する。