Adam最適化におけるミニバッチノイズが暗黙的バイアスに与える影響
Adam最適化器のミニバッチノイズが、損失関数の鋭い領域と平坦な領域への暗黙的バイアスにどう影響するか…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
2993件
ルールベース手法による分子構造と自然言語記述の大規模データセット
分子構造と自然言語記述を対応させる大規模なデータセットが自動生成されました。
TopoPrune：統一された潜在空間トポロジーによる堅牢なデータ剪定
データ剪定手法「TopoPrune」が、潜在空間の摂動に強く、安定した性能を発揮します。
マスターの混合：プレイヤールーティングを備えた疎なチェス言語モデル
チェスの言語モデル「Mixture-of-Masters (MoM)」が、複数の世界クラスのグランドマスターのスタイルを模…
マルチモーダル大規模言語モデルのためのモダリティギャップ駆動型部分空間アライメント学習パラダイム
マルチモーダルAIにおける画像とテキスト表現の「モダリティギャップ」を解消する新しい学習手法が提案さ…
勾配保存の観点から見たRLVRにおける柔軟なエントロピー制御
LLMの推論能力向上に用いられるRLVRにおいて、エントロピー崩壊を抑制する新しい制御メカニズムが提案され…
VESPO：安定したオフポリシーLLM学習のための変分シーケンスレベルソフト方策最適化
大規模言語モデル（LLM）のオフポリシー強化学習において、高い分散を抑え安定した学習を可能にする新手法…
非凸最適化のための統一フレームワーク：γ-弱θ-アップ凹性
機械学習や組合せ最適化における非凸関数の最適化を統一的に扱う新しいフレームワークが提案されました。
Goldilocks RL：推論のための疎な報酬から脱却するタスク難易度調整
強化学習において、言語モデルの推論能力向上を目的とした新しいデータサンプリング戦略「Goldilocks」が…
ScrapeGraphAI-100k: スキーマ制約付きLLM生成のためのデータセット
スキーマ制約付きLLM生成のための大規模データセット「ScrapeGraphAI-100k」が公開されました。
大規模言語モデルによるマルチエージェント学習アルゴリズムの発見
LLMがマルチエージェント強化学習の新しいアルゴリズムを自動で発見しました。
方向転換型影響監査がLLMの倫理的選択における隠れた構造を明らかに
LLMの倫理的選択が文脈によって大きく変化し、その隠れた構造が明らかになりました。