Reformer - 言語モデリングの限界を押し広げる
Hugging Faceが、効率的なTransformerモデル「Reformer」を発表しました。
AI&Tech、もう追いかけなくていい。
30秒で読めるニュースダイジェスト
LLM
2939件
N
ProcgenおよびMineRLコンペティション
OpenAIがNeurIPS 2020でProcgenとMineRLを用いたAIコンペティションを共催します。
N
OpenAI APIのリリース
OpenAIが開発した新しいAIモデルにアクセスするためのAPIが公開されました。
N
言語モデルは少数ショット学習者である
大規模言語モデルが、少数の例から新しいタスクを学習する能力を持つことが示された。
テキスト生成方法：Transformerにおける言語生成のための異なるデコーディング手法の活用
Transformerモデルを用いたテキスト生成における様々なデコーディング手法が解説されています。
TransformersとTokenizersを使って新しい言語モデルをゼロから学習する方法
Hugging FaceがTransformersとTokenizersを用いた言語モデルのスクラッチ学習方法を解説しました。
N
ニューラル言語モデルのスケーリング則
ニューラル言語モデルの性能が、モデルサイズ、データセットサイズ、計算量によってどのように変化するか…
N
深層ダブルディセント
モデルサイズ、データサイズ、訓練時間が増加すると、性能が一度悪化し、その後再び向上する「ダブルディ…
N
GPT-2: 15億パラメータ版の公開
OpenAIがGPT-2の最大モデル（15億パラメータ）をコードと重みと共に公開しました。
N
人間の好みに合わせてGPT-2をファインチューニング
OpenAIがGPT-2を人間のフィードバックでファインチューニングし、人間の好みに合わせた出力を実現しました…
N
GPT-2：6ヶ月後の追跡報告
OpenAIが大規模言語モデルGPT-2の7.74億パラメータ版を公開しました。
N
MicrosoftがOpenAIに投資し、有益なAGI構築を支援
MicrosoftがOpenAIに10億ドルを投資し、AGI開発のためのパートナーシップを締結しました。