Abstract LLMの出力にem dash（—）やコロン（:）が多い、という観察が広く共有されている。本実験では、これがベースモデルの時点で存在する傾向なのか、instruct tuning（SFT + RLHF）の段階で生じるのかを、Gemma 3 27B、Llama 3 8B、Qwen3 8Bの3モデルファミリーで比較した。加えて、安全性訓練を除去したabliteratedモデル（Qwen3.5 27B）も計測した。 結果、instruct tuningが句読点・書式パターンに与える影響はモデルファミリーごとに大きく異なった。Gemma 3はダッシュ・コロン・マークダウン見出...

💾

--2026.03.10 21:04 ヘブ則、💡追加 --2026.03.10 20:09 memory_server.py アップし忘れてた。GitHubに追加 LLMと長期記憶 LLMには記憶がない。正確に言えば、コンテキストウィンドウという短期記憶はあるが、会話が終われば全て消える。人間の脳が持つ長期記憶（エピソード記憶、意味記憶、手続き記憶、そしてそれらを支える情動的重みづけや連想ネットワーク）に相当するものがない。 本記事では、Claude Code（Anthropicの公式CLI）に脳の記憶メカニズムを実装する。目標は「脳の完全な模倣」ではなく「機能的等価」。つまり、同じ...

💾