モデルの学習過程における戦略による暗記の抑制 （Ishihara 26 5·2）。抑制手法の 3 段階のうちモデル軸。
サーベイは 7 つの系統を挙げる。うち 3 つは独立ページを持つ:
| 手法 | 概要 | ページ |
|---|---|---|
| 差分プライバシ | 学習アルゴリズムによる形式的保証 | 差分プライバシ |
| 正則化 | 過学習の抑制。暗記の抑制にも有効とされる | 本ページ |
| 逆学習 | 逆方向の勾配でファインチューニング | 逆学習 |
| 知識編集 | 学習済みパラメータへの編集 | 知識編集 |
| 知識蒸留 | 教師モデルの出力で生徒モデルを学習 | 本ページ |
| PEFT | LoRA 等。学習対象パラメータ数を減らす | 本ページ |
| 連合学習 | データを手元に保持したまま協調学習 | 本ページ |
過学習を抑制する一般的手法であり、暗記の抑制にも有効とされる [Yeom 18, Zhang 21]。 [Mireshghallah 21] は暗記を考慮した正則化手法を提案し、 差分プライバシに基づく手法よりも有用と主張した。 情報ボトルネックによって表現を制約する研究もある [Alemi 17, Henderson 23, Mita 25]。
ただし言語モデルは一般に大規模なコーパスで学習されるため、 通常の機械学習モデルと異なる特徴を持つ点に注意が必要である。 Carlini 21 は学習の進展の中で特定の訓練データが 異常に低い損失を示すことを観測し、 Tirumala 22 は大規模言語モデルが 過学習前に大半のデータを暗記し、その後も情報を忘れにくいと報告した。
知識蒸留 [Hinton 15] も暗記の抑制に利用できる。大規模な教師モデルの出力を利用して 小規模な生徒モデルを学習させることで、攻撃者が訓練データに直接アクセスできる可能性を減らし、 暗記を抑制できる [Shejwalkar 21]。
[Hong 25a] は LoRA [Hu 22a] に代表される PEFT の手法によって訓練データの暗記が 抑制されると報告した。PEFT では学習対象のモデルのパラメータ数が小さくなるため、 暗記がモデルサイズと相関するという実証的知見（モデルサイズ）とも合致する。
複数の参加者が手元にデータを保持したまま協調的にモデルを学習する枠組み [McMahan 17]。 個別の勾配情報のみを集約してモデルを更新するため、 それぞれの機密情報を保持したままモデルを構築できる。 プライバシ保護の観点から注目を集め [Kairouz 21, Lee 21, Melis 19, Nasr 19]、 暗記を軽減する効果も報告されている [Thakkar 21]。 ただし大規模言語モデルの研究開発では依然として集中型の学習が主流である。
抑制手法の多くが、4 章の実証的知見から導出されている。 サーベイ図1 の 「3章 → 4章 → 5章」という流れが実際に機能していることを、5·2 節は最もよく示す。
逆に言えば、実証的知見が言語やドメインで揺らげば（→ 文脈長 の日本語反例）、 そこから導かれた抑制手法の有効性も揺らぐ。 日本語で抑制手法の有効性が検証された例は、この Wiki には無い。
形式的保証は実用上の有効性を意味しない。 [Mireshghallah 21] の 「正則化 > 差分プライバシ」という主張がその例である。 差分プライバシ は「任意の 1 データ点」に対する保証を与えるが、 その保証はテキストの粒度が曖昧なため実質を伴わない場合がある （Brown 22）。
正則化による抑制は、暗記＝過学習という前提に半ば依存している。 これは 暗記 の中心命題（暗記は過学習の副産物ではない）と緊張関係にある。 正則化が実際に効くという報告 [Yeom 18, Zhang 21] と、 過学習前に暗記が起きるという報告 Tirumala 22 は 両立しうる（正則化は過学習以外の経路にも効きうる）が、 なぜ効くのかの説明はこの Wiki には無い。
攻撃面を減らす手法と、暗記そのものを減らす手法は別である。 知識蒸留 [Shejwalkar 21] と連合学習 [McMahan 17] は、 「攻撃者が訓練データに直接アクセスできる可能性を減らす」「データを手元に保持する」という アクセス制御的な効果が主である。一方 PEFT や正則化はモデル内部の暗記量そのものを減らす。 両者を「暗記の抑制」として同列に並べると、脅威モデルの違いが見えなくなる。 → 評価の枠組み