暗記に関する研究が言語モデルにとどまらず、他の領域へ拡張されている状況 （Ishihara 26 7·3）。
異なるモダリティを扱う場合、暗記の定義や定量化手法を再考する必要性も生じる。
| 領域 | 出典 |
|---|---|
| 画像生成（拡散モデル） | [Carlini 23a], [Gu 25], [Hintersdorf 24], [Somepalli 23] |
| 視覚言語モデル | [Carragher 25], [Jayaraman 25], [Li 24] |
| 推薦システム | [He 25] |
| 音声 | [Cheng 25a], [Huang 22b] |
サーベイ 2 章は自己回帰型モデルを主対象とすると宣言しており、以下は 7 章で扱われる。
| 対象 | 出典 |
|---|---|
| マスク型モデル（BERT 系） | [Carlini 23b], [He 22], [Lehman 21], [Mireshghallah 22], [Nakamura 20] |
| 単語埋め込み | [Song 20], [Mahloujifar 21], [Meehan 22] |
| 自然言語理解 | [Parikh 22] |
| テキスト分類 | [Elmahdy 22], [Nasr 19], [Zhang 22] |
| 拡散言語モデル | [Chen 26] |
モダリティを変えると逐語一致が使えなくなる。 Ippolito 23 は、画像生成や剽窃検出といった研究領域での知見が 暗記の定義の改善に資すると主張した。画像ではテキストに比べて正確一致が困難なため、 類似度を考慮した指標が利用されている [Balle 22, Haim 22, Zhang 20]。 つまり他モダリティは「近似暗記しか測れない世界」であり、 テキストが逐語暗記に安住してきたことを逆照射する。 サーベイ 7·1 節の「暗記とは何かを改めて問い直す」という要請に、 最も直接的な素材を提供するのがこの領域である。
暗記の局在という問いがモダリティ横断で立っている。 [Hintersdorf 24] は拡散モデルで暗記を担うニューロンを特定する研究であり、 言語モデルにおける [Menta 25]（知識編集）や [Hong 25b]（推論と暗記を媒介する単一の方向）と同じ問いを扱っている。 モダリティより先に「暗記はモデルのどこに宿るか」という問いが共通の軸になりつつある。
マスク型モデルは暗記量が 1 桁少なく、定義そのものを変える必要がある。 Carlini 23b は T5 で追試しており、 接頭辞→後続という定義（Definition 3.1）がそのままでは適用できないため、 「マスク言語モデリングのタスクを完全に解けたら暗記」と定義し直している （200 トークンの系列なら、170 トークンの文脈から残り 30 トークンを完全に予測できるか）。
結果、モデルサイズの傾向は再現したが、 絶対量は因果型より 1 桁小さい（T5-XL 3B: 3.5% vs GPT-Neo 2.7B: 53.6%、100 回重複時）。 文字列の重複に至っては単調ですらなくなる。
つまりモダリティを跨ぐ前に、同じテキストでも学習目的が変われば 定義の再設計と知見の再検証が要る。7·3 節が挙げる画像・音声への拡張は、 この作業をさらに大きな距離で行うことになる。
マスク型モデルの再評価が起きうる。 サーベイ 7·3 節は、 大規模言語モデルでの研究成果を活用した ModernBERT [Warner 25] が注目を集めるように、 マスク型モデルでの暗記の研究が再認識される可能性を指摘する。 サーベイ本体が対象外とした領域が、実務的な重要性を取り戻しつつあるという構図である。
モデル反転攻撃との同一視は、この分野の歴史的な位置づけを変える。 [Kandpal 22] は訓練データ抽出とモデル反転攻撃 [Fredrikson 15] をほぼ同一と位置づけた。 これが正しければ、訓練データ抽出は 言語モデル時代の新しい脅威ではなく、2015 年から知られていた攻撃の再来である。 剽窃検出 [Potthast 10, Roy 09] の回顧も同じ含意を持つ—— 近似暗記の指標設計は、ゼロから作る必要がない。