導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。 今回は超長文をLLMが理解できるようにするための手法、「SRLM」について紹介します。 https://arxiv.org/pdf/2603.15653 サマリー LLMの性能は日々向上していますが、超長文に対しては、そもそものモデルの入力限界の問題や、精度の問題で必要な情報を適切に取り出すことができなくなってしまいます。 「SRLM」は長文に対しての検索手法を複数作成して、その結果の多数決、推論ステップでの確信度合い、そして、推論ステップの長さをもとに、最も確からしい情報を取り出す手法です。モデルが直接扱いきれない10...

💾

🎯 この記事の対象読者 中古PCや廃棄予定ハードを再利用して、手元で分散計算を試したい方 クラウドの裏側にある「通信」「起動」「停止」の物理的な制約を、自分の環境で理解したい方 PXEブート、NFS root、OpenMPI、HPL といった技術に興味がある方 単なる成功談よりも、「なぜ失敗したか」「何を変えたら伸びたか」を知りたい方 💡 この記事を読むと得られること ストレージなしの中古小型PCを使って、ディスクレスクラスタを構築する考え方 「ノードを増やしたのに遅くなる」という、分散計算でありがちな失敗の中身 1GbEでは詰まり、2.5GbEでは伸びたという、通信ボト...

💾