パラメータ数と暗記量の関係。3 つの実証的知見のうちモデル軸に対応するもの （Ishihara 26 4·2）。
Carlini 23b は、モデルサイズと暗記量の間に ほぼ完全な対数線形関係（R² = 99.8%）が存在することを示した。 モデルサイズ 10 倍で暗記量が 19 パーセントポイント増加し、 同一モデル族内では大きいモデルが小さいモデルの 2〜5 倍暗記する。 実験は GPT-Neo 系モデル [Black 22]（125M / 1.3B / 2.7B / 6B の 4 種類）を対象とする。
多くの研究が支持: [Chang 25, Chen 25, Huang 22a, Huang 24, Kandpal 22, Karamolegkou 23, Kiyomaru 24, Lee 23, Lu 24, McCoy 23]。
3 因子のうち、唯一データセット・モデル族を跨いで綺麗に一般化する。 Carlini 23b の追試節が明示している （「this is indeed true for model scale」）。T5 / C4（マスク型）でも OPT / 整理済み Pile でも傾向は再現した。対照的に 文字列の重複は T5 で単調性を失い、 文脈長は日本語で符号が反転する。 普遍的要因の最有力候補はモデルサイズである。
ただし絶対量は設定で大きく変わる。マスク型の T5 は因果型より 1 桁少なく （T5-XL 3B: 3.5% vs GPT-Neo 2.7B: 53.6%、100 回重複時）、 OPT は 66B でも 125M GPT-Neo より Pile の暗記が少ない。 つまり「大きいほど暗記する」は族内の傾向であって、 族を跨いだ絶対量の比較には使えない。
「暗記であって汎化ではない」ことの直接的な証拠がある。 Carlini 23b は同規模の GPT-2（Pile 未学習）を ベースラインに置き、GPT-2 が 6% しか正解できないのに対し 同規模の GPT-Neo 1.3B が 40% 正解することを示した。 GPT-2 が当てられた例は数列や定型句などの「つまらない」系列だった。 この対照実験があるため、対数線形関係を「大きいモデルは予測が上手いだけ」で 説明することはできない。→ 暗記
「なぜ大きいほど暗記するのか」に容量という答えが出た（2026-07-31 追記）。 Morris 26 は、汎化の余地を消した 一様ランダムなビット列で学習することで、GPT 系 Transformer が 1 パラメータあたり 3.5〜4 ビット（半精度で α = 3.64）を格納できると測定した。
容量がパラメータ数に比例するなら、暗記量がモデルサイズとともに増えるのは当然である。 さらにこの描像は上限も与える——モデルは容量が埋まるまで暗記し、 埋まると意図せぬ暗記は減少に転じる（grokking）。 Carlini 23b の対数線形関係は、 容量が飽和していない領域での観測だったと読み直せる。
ただし Morris 26 が自前で学習したのは 1.5B までであり、フロンティア規模への適用はスケーリング則による外挿である。
それでも「性能が上がる」の副産物かもしれない。 [Huang 24] の考察が最も説明力が高い。モデルサイズが暗記と関連するのは、 一般にモデルサイズが大きいほど性能が高まるためと解釈できる。 この解釈を採ると、モデルサイズは重複や文脈長と同列の「暗記の原因」ではなく、 能力一般の代理変数ということになる。 暗記 の「暗記は排除すべき対象ではない」という規範的論点は、ここに根拠を持つ—— 暗記を減らすためにモデルを小さくすることは、有用性を直接削ることを意味する。
定義を緩めても関係は崩れない。 Carlini 23b は 逐語暗記、Ippolito 23 は BLEU ベースの近似暗記で同じ傾向を得た。 後者は逐語暗記を完全阻止する防御（MemFree）を有効にした状態でも 「大きいモデルほど正解後続に近い」ことを確認している。 3 因子の中で、定義への頑健性が最も明確に確認されているのはモデルサイズである。 （重複は複数の定量化手法で再現され、 文脈長は言語によって逆転する。）
言語横断でも再現される数少ない知見。 Satvaty 25 は 低資源言語を含む複数言語でモデルサイズの知見が再現されたと報告している。 Kiyomaru 24 は日本語でも再現を確認した。 文字列の重複 と並び、普遍的要因の候補である。
PEFT による抑制はこの知見の系である。 [Hong 25a] は LoRA に代表される PEFT で訓練データの暗記が抑制されると報告した。 PEFT では学習対象のモデルのパラメータ数が小さくなるため、 モデルサイズと暗記の相関という実証的知見と合致する。 つまり抑制手法（5·2）が実証的知見（4·2）から導出されている好例であり、 サーベイ図1 の「3章→4章→5章」という流れが実際に機能していることを示す。