Hugging Face AccelerateがPyTorchのおかげで超大規模モデルを実行する方法
Hugging Face AccelerateがPyTorchを活用し、非常に大規模なモデルを効率的に実行する技術を解説していま…
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
2944件
SetFit: プロンプトなしで効率的なFew-Shot学習
Hugging Faceがプロンプト不要で効率的なFew-Shot学習手法「SetFit」を発表しました。
N
Whisperの紹介
OpenAIが英語音声認識で人間レベルの堅牢性と精度に迫るAIモデル「Whisper」を公開しました。
DeepSpeedとAccelerateによる驚異的な高速BLOOM推論
Hugging FaceがDeepSpeedとAccelerateを統合し、BLOOMモデルの推論速度を大幅に向上させました。
初めてのDecision Transformerを訓練しよう
Hugging Faceが強化学習モデルDecision Transformerの訓練チュートリアルを公開しました。
Megatron-LMで言語モデルを訓練する方法
Hugging FaceがMegatron-LMを使った大規模言語モデルの訓練方法を解説しました。
N
アライメント研究へのアプローチ
OpenAIは、AIシステムが人間からのフィードバックから学習し、AI評価を支援する能力を向上させています。
Hugging Face TransformersとHabana GaudiでBERTを事前学習
Hugging Face TransformersライブラリとHabana Gaudiアクセラレータを用いてBERTモデルの事前学習が効率的…
Hugging Faceのtransformers、accelerate、bitsandbytesを用いた大規模Transformer向け8ビット行列乗算のやさしい入門
大規模Transformerモデルのメモリ効率を大幅に向上させる8ビット行列乗算が導入されました。
Sentence Transformersモデルの訓練とファインチューニング
Hugging FaceがSentence Transformersモデルの訓練とファインチューニングに関するガイドを公開しました。
Nyströmformer: Nyström法による線形時間・メモリでの自己注意近似
Transformerの自己注意メカニズムをNyström法で近似し、計算量とメモリ使用量を線形に削減しました。
N
言語モデルの「穴埋め」効率的なトレーニング
OpenAIが、テキストの途中の欠落部分を埋める言語モデルの効率的なトレーニング手法を発表しました。