WEBVTT 00:00.770 --> 00:15.200 チンチラ・スケーリングの法則と呼ばれるもので、 グーグル・ディープマインド・チームがチンチラというモデルにちなんで作った素晴らしい名前の法則である。 00:15.590 --> 00:22.640 そしてそれは、 モデルに必要なパラメーターの数、 ニューラルネットワークの重みの数をどう考えるかということに関係しています。 00:22.640 --> 00:28.580 この法則によると、 パラメーターの数、 つまりいくつのパラメーターを持つかということは、 00:28.580 --> 00:35.630 訓練データのサイズと訓練トークンの数にほぼ比例するということです。 00:35.960 --> 00:42.290 つまり、 基本的には、 仮に80億のパラメーターを持つモデルがあったとして、 収穫が逓減していくのがわかるようになる、 00:42.290 --> 00:47.000 ということだ。 00:47.030 --> 00:50.660 トレーニングデータを増やしても、 モデルに大きな影響はない。 00:50.660 --> 00:56.720 それで、 このサイズのモデルには適切な量のトレーニングデータがある、 という感覚を持つことができる。 00:56.720 --> 00:58.430 これはいい試合だ。 00:58.430 --> 01:06.170 我々は、 モデルの学習能力を最大限に引き出すために、 トレーニングデータをうまく使ってきた。 01:06.500 --> 01:08.450 そして、 その質問は正しいかもしれない。 01:08.450 --> 01:16.740 だから、 もし私がもっとパラメーターを増やしたかったら、 モデルにもっと柔軟性を与えて、 もっと学習させ、 もっとパワフルでニュアンスのあるものにする。 01:16.770 --> 01:20.910 トレーニングデータを増やした場合、 あといくつパラメータが必要ですか? 01:20.940 --> 01:26.310 そしてその答えは、 もし収穫逓減の時点からトレーニングデータの量を2倍にするとしたら、 01:26.310 --> 01:31.920 2倍のトレーニングデータを消費し、 効果的な方法でそこから学習し、 最終的にはよりパワフルでニュアンスのあるものにするためには、 01:31.950 --> 01:42.720 80億から160億のパラメーターへと2倍のウェイト数が必要になるということだ。 01:42.990 --> 01:50.130 つまり、 より多くのトレーニングデータを効率的に吸収するためには、 あといくつのパラメーターが必要なのかを知ることができる。 01:50.340 --> 01:58.050 そして、 その裏返し、 つまり逆の関係も示している。 01:58.050 --> 02:02.970 もしあなたが80億のモデルを使って仕事をしていて、 誰かが160億のパラメーターモデルにアップグレードしたいと言ったら、 02:02.970 --> 02:07.440 代わりにそれを使いましょう。 02:07.650 --> 02:11.820 そしてあなたはこう考えるだろう。 もし私が、 より大きなモデルで、 02:11.820 --> 02:20.170 より多くのダイヤル、 より多くの重みから学習することで、 より多くの柔軟性、 より多くの予測力を活用するのであれば。 02:20.440 --> 02:25.270 その利点を生かすためには、 あとどれくらいのトレーニングデータが必要なんだろう? 02:25.270 --> 02:30.070 そして答えは、 トレーニングデータセットのサイズをおよそ2倍にする必要があるということだ。 02:30.070 --> 02:36.220 トレーニング・トークンの数とパラメーターの関係は、 数年前に提案され、 02:36.250 --> 02:38.920 時の試練に耐えた。 02:38.920 --> 02:46.330 その結果、 トランス・アーキテクチャーのトランスには、 このスケーリング法則が適用されることが判明した。 02:46.330 --> 02:46.990 まあね。 02:46.990 --> 02:49.780 手元に置いておくと便利な経験則だ。 02:50.710 --> 02:51.580 分かった。 02:51.610 --> 02:56.050 それでは、 ベンチマークの話に移ろう。 02:56.050 --> 03:04.630 ベンチマークとは、 さまざまなモデルを比較検討するために使われる、 一般的な指標のことだ。 03:04.660 --> 03:12.670 これは、 様々なリーダーボードに適用され使用される一連のテストであり、 様々なモデルの長所と短所を見るために、 03:12.670 --> 03:18.400 様々なLMSをランク付けするものです。 03:18.430 --> 03:22.270 今、 私はさまざまなベンチマークの表を持っている。 03:22.270 --> 03:28.320 一つずつ見ていって、 それぞれの感覚を掴んでいきたい。 03:28.350 --> 03:32.850 各ベンチマークが何であるかは、 いつでも調べることができるので、 覚えておく必要はない。 03:32.850 --> 03:36.810 その感覚を持っておくと、 すぐに自分の中に戻ってくるから便利なんだ。 03:36.810 --> 03:41.940 だから絶対に集中して、 このことを受け止めて、 研究してほしい。 03:41.940 --> 03:42.870 質問があればどうぞ。 03:42.870 --> 03:47.940 この数字は、 後ほどさまざまなモデルを比較する際の分析で目にすることになるだろう。 03:48.030 --> 03:54.300 そこで最初に、 あちこちで目にする最も一般的な7つのベンチマークを紹介しよう。 03:54.300 --> 04:00.510 最初のものはArcと呼ばれるもので、 科学的推論を測定するベンチマークである。 04:00.510 --> 04:03.030 基本的には選択式の問題集だ。 04:03.060 --> 04:11.310 ドロップは言語理解テストであり、 テキストを見て、 それを抽出し、 そのテキストから足し算や並べ替え、 04:11.310 --> 04:14.760 数え上げなどを行う。 04:14.880 --> 04:23.790 ヘラ・スワッグとは、 より難しい符号化、 長い文脈、 低い射撃活動の略で、 一種の常識的推理テストである。 04:24.240 --> 04:26.820 MLUは超有名だ。 04:26.820 --> 04:28.860 あちこちで目にするだろう。 04:28.860 --> 04:35.340 57の教科にまたがる推論を含む、 実に一般的な指標だった。 04:35.800 --> 04:42.760 質問の構成に疑問の声も上がっている。 04:42.760 --> 04:46.000 そして、 その効果には疑問もある。 04:46.030 --> 04:47.680 ルー、 使いすぎかもしれない。 04:47.680 --> 04:53.860 ルーにはMLUプロと呼ばれるバリエーションがあり、 そちらの方が人気があることは後で説明する。 04:54.130 --> 04:55.930 だから、 これはいくらか置き換わった。 04:55.930 --> 05:07.720 さて、 真実のQAとは、 正確さとロバスト性のことであり、 特にモデルが真実でないことが奨励されるような敵対的な条件下でのことである。 05:08.290 --> 05:19.600 ウィノグランドは、 モデルがより混乱した文脈での曖昧さを解決できることをテストしている。 そして、 GSMの8 05:19.600 --> 05:30.010 Kレベルの小学校の算数は、 算数であると同時に、 小中学生レベルの単語問題でもある。 05:30.010 --> 05:35.110 これが7つの一般的なベンチマークだ。 05:35.200 --> 05:36.760 メモしておいてくれ。 05:36.790 --> 05:38.470 彼らは資源の中にいる。 05:38.470 --> 05:42.910 そして、 私が言うように、 これらのことはよく目にすることだろう。 05:42.940 --> 05:44.770 そして、 願わくば、 今すぐ彼らを認識してほしい。