Mixture of Experts (MoE) 解説
大規模言語モデルの効率と性能を向上させるMixture of Experts (MoE) アーキテクチャが注目されています。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
研究
3665件
SetFitABSA: SetFitを用いたFew-Shotアスペクトベース感情分析
SetFitを応用し、少ないデータで特定のアスペクトに対する感情を分析する手法が開発されました。
コールドブートにさようなら - LoRA推論を300%高速化する方法
Hugging FaceがLoRAモデルの推論速度を300%向上させる技術を開発しました。
Open LLM Leaderboard: DROPデータセットの深掘り
Hugging FaceのOpen LLM LeaderboardにおけるDROPデータセットの評価方法と課題が解説されました。
N
OpenAIデータパートナーシップ
OpenAIがAIトレーニング用のオープンソースおよびプライベートデータセット作成のため、企業と提携を開始…
Latent Consistency LoRAでSDXLを4ステップで高速化
Latent Consistency LoRA (LC-LoRA) を用いて、SDXLモデルの画像生成ステップを大幅に削減しました。
LLMの性能比較：災害ツイート分析におけるRoberta、Llama 2、MistralとLoRAの活用
災害ツイート分析において、Roberta、Llama 2、MistralのLLM性能がLoRAを用いて比較されました。
N
OpenAIのフロンティアリスクへのアプローチ
OpenAIがAIのフロンティアリスクに対する包括的なアプローチを発表しました。
N
フロンティアリスクと備え
OpenAIは、高性能AIシステムの壊滅的なリスクに備えるため、準備チームを設立し、課題を開始しました。
一行コードでHugging Faceデータセットを対話的に探索
Hugging Faceデータセットを一行のPythonコードで対話的に探索できる新機能がリリースされました。
PPOを用いたRLHFの実装におけるN個の詳細
強化学習と人間フィードバック（RLHF）をPPOアルゴリズムで実装する際の具体的な詳細が解説されました。
SDXLのシンプルな最適化を探る
Hugging FaceがSDXLの推論速度を向上させるためのシンプルな最適化手法を公開しました。