SOD：小規模言語モデルエージェント向け段階的オンポリシー蒸留
小規模言語モデルエージェントの推論能力を向上させる新しい蒸留フレームワーク「SOD」が開発されました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
4293件
EngGPT2-16B-A3B、イタリア語および国際的なオープンソースLLMとの性能比較
イタリアのエンジニアリング社が開発したLLM「EngGPT2-16B-A3B」が、競合モデルと比較評価されました。
損失が揃う時：効率的な事前学習のための勾配ベース複合損失重み付け
複数の損失項を持つモデルの事前学習において、勾配ベースの手法で損失の重みを効率的に調整する新技術が…
POETS: 計算効率の良いポリシーアンサンブルによる不確実性考慮型LLM最適化
POETSは、計算効率の高いポリシーアンサンブルを用いて、不確実性を考慮したLLM最適化フレームワークです。
言語モデルの「推論」における不確実性の追跡
言語モデルの推論過程で生成される中間トークン列の不確実性を分析し、正解予測に活用する研究が発表され…
特権情報を用いた基盤モデルの学習加速と性能向上：PIQLフレームワーク
特権情報（PI）を統合することで、表形式基盤モデル（TFM）の学習を加速し、汎化性能を向上させるPIQLフレ…
Prune-OPD：長期的推論のための効率的で信頼性の高いオンポリシー蒸留
AIモデルの長期的推論における学習効率と信頼性を向上させる「Prune-OPD」という新しいフレームワークが発…
信頼度を超えて：LLMの性能予測における自己評価の再考
LLMが自己評価する際に、従来の「信頼度」だけでなく、多次元的な評価指標が性能予測に有効であることが示…
GazeVLM：マルチモーダル推論のための内部アテンション制御によるアクティブビジョン
GazeVLMは、人間のようなアクティブビジョンを模倣し、内部アテンション制御で視覚情報を処理する新しいマ…
CyBiasBench：サイバー攻撃シナリオにおけるLLMエージェントのバイアスを評価
LLMエージェントがサイバー攻撃において特定の手法に偏る「攻撃選択バイアス」が発見されました。
MatryoshkaLoRA：LLMファインチューニングのための正確な階層的低ランク表現の学習
MatryoshkaLoRAは、LLMのファインチューニングにおいて、効率と性能を両立させるための新しい低ランク適応…
KL for a KL: 制御変量ベースラインを用いたオンポリシー蒸留
大規模言語モデルのオンポリシー蒸留（OPD）の学習を安定させる新しい手法「vOPD」が提案されました。