Abstract LLMの出力にem dash（—）やコロン（:）が多い、という観察が広く共有されている。本実験では、これがベースモデルの時点で存在する傾向なのか、instruct tuning（SFT + RLHF）の段階で生じるのかを、Gemma 3 27B、Llama 3 8B、Qwen3 8Bの3モデルファミリーで比較した。加えて、安全性訓練を除去したabliteratedモデル（Qwen3.5 27B）も計測した。 結果、instruct tuningが句読点・書式パターンに与える影響はモデルファミリーごとに大きく異なった。Gemma 3はダッシュ・コロン・マークダウン見出...

💾