Llama 3 を日本語 Wikipedia（一般）と日経電子版の金融記事（産業特化）で 継続事前学習し、暗記を定量化した。学習が進むほど暗記が増える傾向は英語と同じで、 産業特化コーパスで顕著だった。日本語固有の傾向として Min-K% Prob より LOSS が優位であることを報告している。
訓練セット軸・出力軸。Ishihara 26 4·4 節と 7·2 節で引用される。 非英語かつ産業特化のコーパスでの継続事前学習における暗記を、体系的に定量化した最初の研究 と論文自身が位置づける。
学習順と忘却の効果が構造的に最大化される設定 （継続事前学習では追加コーパスが必ず学習の後半に来る）。
open・closed 両設定で、日経電子版が Wikipedia より有意に大きな暗記を示した。 固有の専門用語と文体が原因と考察される。 論文は「価値ある非一般的な産業コーパスを使う際のリスク」を強調する。
日経電子版で、大きいモデルほど暗記が多い。 8B Llama 3 は、わずか 1,000 ステップ（0.25 エポック）で、 Ishihara 24 の 0.1B GPT-2 が 30 エポック後に到達した近似暗記量を超えた。
論文の Discussion は「closed 設定でメンバーシップ推論の性能は語数（プロンプト長）とともに 向上した、特に ReCaLL と LOSS で」と述べる。ただし本文は 「日経電子版に限れば、検出性能は学習ステップ数と語数とともに増加する傾向がある」とも書く。
Table 5 の数値を読むと、コーパスで向きが分かれている。
| コーパス | 手法 | 32 語 | 64 語 | 128 語 | 256 語 | 向き |
|---|---|---|---|---|---|---|
| Wikipedia | LOSS (12000 步) | 0.515 | 0.514 | 0.479 | 0.486 | 減少 |
| Wikipedia | ReCaLL (1000 步) | 0.613 | 0.605 | 0.569 | 0.520 | 減少 |
| 日経 | LOSS (12000 步) | 0.641 | 0.647 | 0.650 | 0.590 | 128 語まで増加 |
| 日経 | ReCaLL (12000 步) | 0.637 | 0.660 | 0.689 | 0.603 | 128 語まで増加 |
重要な留保: Wikipedia での AUC はほぼすべて 0.46〜0.53 の範囲にあり、 メンバーシップ推論がそもそもほとんど機能していない（偶然と同等の）領域である。 その中での減少傾向を「文脈長の効果の逆転」と読むのは慎重であるべきだ。 一方、日経電子版では AUC が 0.69 まで達しており、そこでは増加している。
→ 対立の台帳 1 番を大きく更新する材料。
[小柳 24] は日本語では Min-K% Prob が大きい K で良いと示唆したが、本研究では LOSS が Min-K% Prob を上回った。トークン分布に基づく手法は全般に性能が低く、 K を 10 刻みで変えても 0.5 以下の場合が複数あった。 論文は日本語に語の区切りが無い特性の影響を示唆する。
ReCaLL は 8 列中 6 列で最良だった。 「テキストを変換する手法は、言語固有の情報を暗黙に考慮している可能性がある」。