はじめに こんにちは、ELYZA Lab チームの Trisitichoke Tasavat です。本記事では、日本語性能に特化した拡散言語モデル (Diffusion LLM) ELYZA-Diffusion-Base-1.0-Dream-7B および ELYZA-Diffusion-Instruct-1.0-Dream-7B の2つのモデルを公開するとともに、その設計背景、学習方法、評価結果について紹介します。 拡散言語モデルとは、近年の画像生成AIの技術をテキストに応用したモデルであり、従来手法の構造上生じる「左から右に生成し、途中で言葉を消したり追加したりしない」という制限を...

💾