訓練セット内のどの時点で用いられたテキストかが暗記量に影響する現象 （Ishihara 26 4·1）。
学習の後半に用いられたテキストの方が暗記されやすいことが [Duan 24], [Huang 24], [Satvaty 25], [Jagielski 23] で観測されている。 これは訓練セット内の訓練データで学習していく上で、 暗記と忘却が並行して発生していることを示唆する [Duan 24]。
サーベイ図1 では独立した節を持たないが、重複（4·1）の 議論の中で扱われる。重複の効果を説明する機構でもあるため、本 Wiki では独立ページとする。
重複の効果と学習順の効果は、同一のメカニズムから導かれる。 [Leybzon 24] の解釈がこの 2 つを統一する:
つまり文字列の重複は「暗記されやすさ」ではなく 「忘却からの生き残りやすさ」を測っている可能性がある。 同じ枠組みで、学習後半のテキストが暗記されやすいのは「忘却される機会が少なかった」からである。 両者は独立した 2 つの実証的知見ではない。
バッチサイズが交絡している。 [Duan 24] の指摘: 大規模言語モデルの事前学習では 大きなバッチサイズが一般的だが、これも暗記の保持に寄与していると見なせる。 バッチサイズが大きいほど学習ステップ数は小さく、学習ステップ単位で見ると 忘却の機会が減少していると解釈できる可能性がある。 したがって「大規模モデルはより多く暗記する」という モデルサイズ の知見にも、 モデルサイズそのものではなく学習レシピ（バッチサイズ）の寄与が混入しうる（推測）。 [Huang 24] の「性能の副産物」説とは別の交絡経路である。
暗記 の「暗記は過学習の副産物ではない」を最も直接的に支える。 Tirumala 22 は、大規模言語モデルが 過学習に至る前に大半のデータを暗記し、その後も情報を忘れにくいと報告した。 Carlini 21 は学習の進展の中で特定の訓練データが 異常に低い損失を示すことを観測している。 これらは訓練ダイナミクスの直接観測であり、静的な相関分析より強い証拠である。
継続事前学習では学習順が支配的になる。 サーベイ 7·2 節。ドメイン特化のコーパスでは 継続事前学習を用いる方法が一般的であり、追加コーパスは定義上「学習の後半」に来る。 Takahashi 25b や [Lee 23] の COVID-19 コーパスで追加で用いたコーパスに関する暗記が顕著に現れるという報告は、 学習順の効果が実務設定で最も強く出る場面を示している。 → ドメインや言語横断