日本語新聞記事という限られたコーパスでドメイン特化 GPT-2 を事前学習し、 3 因子（文字列の重複・モデルサイズ・プロンプト長）すべてが日本語でも再現されることを示した。 メンバーシップ推論も日本語で機能する。 「ドメイン特化モデルは、貴重な非公開データを大規模に『コピー&ペースト』しうる」と警告する。
3 軸すべて。Ishihara 26 の著者による先行研究で、 4·4 節（英語以外のドメインや言語）に位置づけられる。
この Wiki が「日本語で 3 因子が再現するか」を判断する主要な根拠である。 Kiyomaru 24 が一般的な日本語モデルを扱うのに対し、 本研究はドメイン特化かつ自前で事前学習した点が違う。
訓練セットを完全に統制できるため、重複回数を正確に把握したうえで暗記を測れる。 これは訓練セットが未公開の既存モデルを分析する研究には無い強みである。
Carlini 23b が示した 文字列の重複・モデルサイズ・プロンプト長の 3 つとの関係が、 日本語でも英語の先行研究と同じように再現された。
プロンプト長も含めて再現している点が重要である。 この Wiki は当初「文脈長は日本語で逆転する」と整理していたが、 本研究はその反例にあたる。→ 対立の台帳 1 番
訓練データの検出が日本語でも可能であり、重複が多くプロンプトが長いほど検出しやすい。 英語と同じ傾向である。
ドメイン特化モデルは一般モデルより事前学習コーパスが小さく、 データ量が少ないときは複数エポック学習される傾向がある。 しかし論文が指摘するとおり、エポック数を増やすことは文字列の重複と等価であり、 暗記のリスクを高める。
これは文字列の重複を 「データの性質」ではなく「学習レシピの帰結」として捉え直す視点であり、 学習順と忘却とも接続する。 ドメイン特化モデルの開発は、構造的に暗記リスクが高い。