LLM・自然言語処理の技術動向
LLM や自然言語処理分野のモデル公開、日本語リソース、ライブラリ、研究サーベイの動向をまとめます。
コンペでの実践的な戦い方や定跡は 自然言語処理コンペ を参照してください。
押さえどころ
- 日本語 LLM や埋め込みモデルの担い手は、研究機関による事前学習モデル公開(東北大 BERT・早稲田大 RoBERTa 等)から、2022〜23 年ごろの企業発 LLM(PLaMo、ELYZA、Swallow)へ広がり、2024 年以降は TinySwallow や日本語 StaticEmbedding・軽量リランカーなど小型高速なモデルへ重心が移っている。
- 文埋め込みや検索では、対照学習(SimCSE・DiffCSE)から LLM の合成データ活用(e5-mistral、論文)を経て、2025〜26 年は軽量リランカーや画像とテキストを統合するマルチモーダル埋め込み(EmbeddingGemma 2)が実用化されている。
- 生成 LLM だけでなくエンコーダモデルの事前学習手法も刷新が続いており、ModernBERT や UltraBERT など分類・検索の双方で性能を引き上げる提案が継続している。
- Hugging Face Transformers のメジャーバージョンの変遷(v2.9〜v5)はそのままアーキテクチャ普及の年表になっており、Wav2Vec2(v4.3)、Swin Transformer(v4.16)、ResNet(v4.18)、OPT(v4.19)のように、新アーキテクチャの追加時期をバージョン番号から追える。
- モデルの大規模化(OPT-175B の公開やスケーリング則)と、その後の効率化(LoRA や LoRA-Pro、モデルマージ、TAID による知識蒸留を用いた TinySwallow)は表裏の関係にあり、公開されるモデルの重心は年々「大きく強く」から「小さく速く実用的」に移っている。
- Transformer 一辺倒ではなく、状態空間モデル Mamba のような計算コストを抑える代替アーキテクチャの解説記事も資料に含まれる。
- 事前学習・事後学習による単一モデルの性能向上だけでなく、推論時計算(Test-Time Scaling)やループ、ハーネス、再帰的自己改善(RSI)を組み合わせた「思考するシステム」への展開など、システム全体として知能を高める枠組みへの関心も高まっている(現代AI入門)。
資料
モデル・技術動向
日本語モデル・リソース
ライブラリ・ツール
研究動向・サーベイ・イベント
関連概念