チンチラ・スケーリングの法則と呼ばれるもので､ グーグル・ディープマインド・チームがチンチラというモデルにちなんで作った素晴らしい名前の法則である｡
そしてそれは､ モデルに必要なパラメーターの数､ ニューラルネットワークの重みの数をどう考えるかということに関係しています｡
この法則によると､ パラメーターの数､ つまりいくつのパラメーターを持つかということは､
訓練データのサイズと訓練トークンの数にほぼ比例するということです｡
つまり､ 基本的には､ 仮に80億のパラメーターを持つモデルがあったとして､ 収穫が逓減していくのがわかるようになる､
ということだ｡
トレーニングデータを増やしても､ モデルに大きな影響はない｡
それで､ このサイズのモデルには適切な量のトレーニングデータがある､ という感覚を持つことができる｡
これはいい試合だ｡
我々は､ モデルの学習能力を最大限に引き出すために､ トレーニングデータをうまく使ってきた｡
そして､ その質問は正しいかもしれない｡
だから､ もし私がもっとパラメーターを増やしたかったら､ モデルにもっと柔軟性を与えて､ もっと学習させ､ もっとパワフルでニュアンスのあるものにする｡
トレーニングデータを増やした場合､ あといくつパラメータが必要ですか？
そしてその答えは､ もし収穫逓減の時点からトレーニングデータの量を2倍にするとしたら､
2倍のトレーニングデータを消費し､ 効果的な方法でそこから学習し､ 最終的にはよりパワフルでニュアンスのあるものにするためには､
80億から160億のパラメーターへと2倍のウェイト数が必要になるということだ｡
つまり､ より多くのトレーニングデータを効率的に吸収するためには､ あといくつのパラメーターが必要なのかを知ることができる｡
そして､ その裏返し､ つまり逆の関係も示している｡
もしあなたが80億のモデルを使って仕事をしていて､ 誰かが160億のパラメーターモデルにアップグレードしたいと言ったら､
代わりにそれを使いましょう｡
そしてあなたはこう考えるだろう｡ もし私が､ より大きなモデルで､
より多くのダイヤル､ より多くの重みから学習することで､ より多くの柔軟性､ より多くの予測力を活用するのであれば｡
その利点を生かすためには､ あとどれくらいのトレーニングデータが必要なんだろう？
そして答えは､ トレーニングデータセットのサイズをおよそ2倍にする必要があるということだ｡
トレーニング・トークンの数とパラメーターの関係は､ 数年前に提案され､
時の試練に耐えた｡
その結果､ トランス・アーキテクチャーのトランスには､ このスケーリング法則が適用されることが判明した｡
まあね｡
手元に置いておくと便利な経験則だ｡
分かった｡
それでは､ ベンチマークの話に移ろう｡
ベンチマークとは､ さまざまなモデルを比較検討するために使われる､ 一般的な指標のことだ｡
これは､ 様々なリーダーボードに適用され使用される一連のテストであり､ 様々なモデルの長所と短所を見るために､
様々なLMSをランク付けするものです｡
今､ 私はさまざまなベンチマークの表を持っている｡
一つずつ見ていって､ それぞれの感覚を掴んでいきたい｡
各ベンチマークが何であるかは､ いつでも調べることができるので､ 覚えておく必要はない｡
その感覚を持っておくと､ すぐに自分の中に戻ってくるから便利なんだ｡
だから絶対に集中して､ このことを受け止めて､ 研究してほしい｡
質問があればどうぞ｡
この数字は､ 後ほどさまざまなモデルを比較する際の分析で目にすることになるだろう｡
そこで最初に､ あちこちで目にする最も一般的な7つのベンチマークを紹介しよう｡
最初のものはArcと呼ばれるもので､ 科学的推論を測定するベンチマークである｡
基本的には選択式の問題集だ｡
ドロップは言語理解テストであり､ テキストを見て､ それを抽出し､ そのテキストから足し算や並べ替え､
数え上げなどを行う｡
ヘラ・スワッグとは､ より難しい符号化､ 長い文脈､ 低い射撃活動の略で､ 一種の常識的推理テストである｡
MLUは超有名だ｡
あちこちで目にするだろう｡
57の教科にまたがる推論を含む､ 実に一般的な指標だった｡
質問の構成に疑問の声も上がっている｡
そして､ その効果には疑問もある｡
ルー､ 使いすぎかもしれない｡
ルーにはMLUプロと呼ばれるバリエーションがあり､ そちらの方が人気があることは後で説明する｡
だから､ これはいくらか置き換わった｡
さて､ 真実のQAとは､ 正確さとロバスト性のことであり､ 特にモデルが真実でないことが奨励されるような敵対的な条件下でのことである｡
ウィノグランドは､ モデルがより混乱した文脈での曖昧さを解決できることをテストしている｡ そして､ GSMの8
Kレベルの小学校の算数は､ 算数であると同時に､ 小中学生レベルの単語問題でもある｡
これが7つの一般的なベンチマークだ｡
メモしておいてくれ｡
彼らは資源の中にいる｡
そして､ 私が言うように､ これらのことはよく目にすることだろう｡
そして､ 願わくば､ 今すぐ彼らを認識してほしい｡