LLMサービスにおけるアテンション/FFN比率の理論的に最適な設定
LLM推論の分散アーキテクチャにおいて、アテンションとFFNの最適なリソース比率を決定する分析フレームワ…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
4247件
検証不可能な学習のための対話：メタ評価による自己進化型LLM
LLMが検証不可能なタスクで自己進化できるよう、メタ評価を用いたフレームワークが提案されました。
FIT to Forget: 大規模言語モデルのための堅牢な継続的アンラーニング
LLMがプライバシー侵害や著作権侵害などのコンテンツを継続的に忘却する新フレームワーク「FIT」が開発さ…
Leviathan: 言語モデルにおける入力と出力表現の分離
言語モデルの入力埋め込みと出力射影を分離する新しいTransformerアーキテクチャ「Leviathan」が発表され…
DialectLLM：標準アメリカ英語を超えた方言対応対話生成フレームワーク
LLMが標準アメリカ英語以外の英語方言を認識し、自然な対話を生成する能力を向上させるフレームワークが開…
宝くじではなく競争：勾配降下法がネットワークの能力をタスクに適応させる仕組みを理解する
勾配降下法がニューラルネットワークの理論的容量をタスクに適合する実効容量に削減するメカニズムが解明…
パリティ、感度、そしてトランスフォーマー
トランスフォーマーがパリティ問題を解くために必要な最小層数が2層であることを証明しました。
AceGRPO: 自律型機械学習エンジニアリングのための適応型カリキュラム強化グループ相対方策最適化
自律型機械学習エンジニアリングにおいて、エージェントの行動停滞を克服する新しい強化学習フレームワー…
検証可能な推論のためのマルチモーダルな事実レベル帰属
マルチモーダルLLMが複雑な推論タスクで生成する情報の信頼性を評価する新しいベンチマークが発表されまし…
Visual Para-Thinker: 視覚理解のための分割統治型推論
Visual Para-Thinkerは、画像理解において並列推論を導入する初のマルチモーダルLLMフレームワークです。
CAMEL：報酬モデリングのための信頼度ゲート付きリフレクション
大規模言語モデルの報酬モデルにおいて、CAMELという新しいフレームワークが開発されました。
PulseLM: PPGとテキスト学習のための基盤データセットとベンチマーク
PPG波形と自然言語を結びつける大規模なPPG-テキスト質問応答データセット「PulseLM」が公開されました。