長文コンテキスト推論のためのCPU-GPU並列処理による効率的なハイブリッド疎行列アテンション
長文コンテキスト推論において、CPUとGPUを連携させ、効率的な疎行列アテンションを実現する新手法「Fluxi…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
2986件
メモリ効率の高いループ型Transformer：ループ型言語モデルにおける計算とメモリの分離
ループ型LLMのメモリ消費を大幅に削減する新アーキテクチャ「MELT」が発表されました。
LLMの幻覚が現実世界に：存在しない引用文献から大規模な証拠
大規模言語モデル（LLM）が生成する幻覚が、科学論文の引用文献に大規模に浸透していることが判明しました…
厳選された合成データは崩壊しない：多元的選好による生成モデル再学習の理論的研究
生成モデルの再学習において、複数の報酬関数に基づく合成データの厳選がモデルの多様性崩壊を防ぐことが…
SOD：小規模言語モデルエージェント向け段階的オンポリシー蒸留
小規模言語モデルエージェントの推論能力を向上させる新しい蒸留フレームワーク「SOD」が開発されました。
EngGPT2-16B-A3B、イタリア語および国際的なオープンソースLLMとの性能比較
イタリアのエンジニアリング社が開発したLLM「EngGPT2-16B-A3B」が、競合モデルと比較評価されました。
損失が揃う時：効率的な事前学習のための勾配ベース複合損失重み付け
複数の損失項を持つモデルの事前学習において、勾配ベースの手法で損失の重みを効率的に調整する新技術が…
POETS: 計算効率の良いポリシーアンサンブルによる不確実性考慮型LLM最適化
POETSは、計算効率の高いポリシーアンサンブルを用いて、不確実性を考慮したLLM最適化フレームワークです。
言語モデルの「推論」における不確実性の追跡
言語モデルの推論過程で生成される中間トークン列の不確実性を分析し、正解予測に活用する研究が発表され…
特権情報を用いた基盤モデルの学習加速と性能向上：PIQLフレームワーク
特権情報（PI）を統合することで、表形式基盤モデル（TFM）の学習を加速し、汎化性能を向上させるPIQLフレ…
Prune-OPD：長期的推論のための効率的で信頼性の高いオンポリシー蒸留
AIモデルの長期的推論における学習効率と信頼性を向上させる「Prune-OPD」という新しいフレームワークが発…
信頼度を超えて：LLMの性能予測における自己評価の再考
LLMが自己評価する際に、従来の「信頼度」だけでなく、多次元的な評価指標が性能予測に有効であることが示…