You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

190 lines
7.7 KiB

WEBVTT
00:00.770 --> 00:15.200
チンチラ・スケーリングの法則と呼ばれるもので、 グーグル・ディープマインド・チームがチンチラというモデルにちなんで作った素晴らしい名前の法則である。
00:15.590 --> 00:22.640
そしてそれは、 モデルに必要なパラメーターの数、 ニューラルネットワークの重みの数をどう考えるかということに関係しています。
00:22.640 --> 00:28.580
この法則によると、 パラメーターの数、 つまりいくつのパラメーターを持つかということは、
00:28.580 --> 00:35.630
訓練データのサイズと訓練トークンの数にほぼ比例するということです。
00:35.960 --> 00:42.290
つまり、 基本的には、 仮に80億のパラメーターを持つモデルがあったとして、 収穫が逓減していくのがわかるようになる、
00:42.290 --> 00:47.000
ということだ。
00:47.030 --> 00:50.660
トレーニングデータを増やしても、 モデルに大きな影響はない。
00:50.660 --> 00:56.720
それで、 このサイズのモデルには適切な量のトレーニングデータがある、 という感覚を持つことができる。
00:56.720 --> 00:58.430
これはいい試合だ。
00:58.430 --> 01:06.170
我々は、 モデルの学習能力を最大限に引き出すために、 トレーニングデータをうまく使ってきた。
01:06.500 --> 01:08.450
そして、 その質問は正しいかもしれない。
01:08.450 --> 01:16.740
だから、 もし私がもっとパラメーターを増やしたかったら、 モデルにもっと柔軟性を与えて、 もっと学習させ、 もっとパワフルでニュアンスのあるものにする。
01:16.770 --> 01:20.910
トレーニングデータを増やした場合、 あといくつパラメータが必要ですか?
01:20.940 --> 01:26.310
そしてその答えは、 もし収穫逓減の時点からトレーニングデータの量を2倍にするとしたら、
01:26.310 --> 01:31.920
2倍のトレーニングデータを消費し、 効果的な方法でそこから学習し、 最終的にはよりパワフルでニュアンスのあるものにするためには、
01:31.950 --> 01:42.720
80億から160億のパラメーターへと2倍のウェイト数が必要になるということだ。
01:42.990 --> 01:50.130
つまり、 より多くのトレーニングデータを効率的に吸収するためには、 あといくつのパラメーターが必要なのかを知ることができる。
01:50.340 --> 01:58.050
そして、 その裏返し、 つまり逆の関係も示している。
01:58.050 --> 02:02.970
もしあなたが80億のモデルを使って仕事をしていて、 誰かが160億のパラメーターモデルにアップグレードしたいと言ったら、
02:02.970 --> 02:07.440
代わりにそれを使いましょう。
02:07.650 --> 02:11.820
そしてあなたはこう考えるだろう。 もし私が、 より大きなモデルで、
02:11.820 --> 02:20.170
より多くのダイヤル、 より多くの重みから学習することで、 より多くの柔軟性、 より多くの予測力を活用するのであれば。
02:20.440 --> 02:25.270
その利点を生かすためには、 あとどれくらいのトレーニングデータが必要なんだろう?
02:25.270 --> 02:30.070
そして答えは、 トレーニングデータセットのサイズをおよそ2倍にする必要があるということだ。
02:30.070 --> 02:36.220
トレーニング・トークンの数とパラメーターの関係は、 数年前に提案され、
02:36.250 --> 02:38.920
時の試練に耐えた。
02:38.920 --> 02:46.330
その結果、 トランス・アーキテクチャーのトランスには、 このスケーリング法則が適用されることが判明した。
02:46.330 --> 02:46.990
まあね。
02:46.990 --> 02:49.780
手元に置いておくと便利な経験則だ。
02:50.710 --> 02:51.580
分かった。
02:51.610 --> 02:56.050
それでは、 ベンチマークの話に移ろう。
02:56.050 --> 03:04.630
ベンチマークとは、 さまざまなモデルを比較検討するために使われる、 一般的な指標のことだ。
03:04.660 --> 03:12.670
これは、 様々なリーダーボードに適用され使用される一連のテストであり、 様々なモデルの長所と短所を見るために、
03:12.670 --> 03:18.400
様々なLMSをランク付けするものです。
03:18.430 --> 03:22.270
今、 私はさまざまなベンチマークの表を持っている。
03:22.270 --> 03:28.320
一つずつ見ていって、 それぞれの感覚を掴んでいきたい。
03:28.350 --> 03:32.850
各ベンチマークが何であるかは、 いつでも調べることができるので、 覚えておく必要はない。
03:32.850 --> 03:36.810
その感覚を持っておくと、 すぐに自分の中に戻ってくるから便利なんだ。
03:36.810 --> 03:41.940
だから絶対に集中して、 このことを受け止めて、 研究してほしい。
03:41.940 --> 03:42.870
質問があればどうぞ。
03:42.870 --> 03:47.940
この数字は、 後ほどさまざまなモデルを比較する際の分析で目にすることになるだろう。
03:48.030 --> 03:54.300
そこで最初に、 あちこちで目にする最も一般的な7つのベンチマークを紹介しよう。
03:54.300 --> 04:00.510
最初のものはArcと呼ばれるもので、 科学的推論を測定するベンチマークである。
04:00.510 --> 04:03.030
基本的には選択式の問題集だ。
04:03.060 --> 04:11.310
ドロップは言語理解テストであり、 テキストを見て、 それを抽出し、 そのテキストから足し算や並べ替え、
04:11.310 --> 04:14.760
数え上げなどを行う。
04:14.880 --> 04:23.790
ヘラ・スワッグとは、 より難しい符号化、 長い文脈、 低い射撃活動の略で、 一種の常識的推理テストである。
04:24.240 --> 04:26.820
MLUは超有名だ。
04:26.820 --> 04:28.860
あちこちで目にするだろう。
04:28.860 --> 04:35.340
57の教科にまたがる推論を含む、 実に一般的な指標だった。
04:35.800 --> 04:42.760
質問の構成に疑問の声も上がっている。
04:42.760 --> 04:46.000
そして、 その効果には疑問もある。
04:46.030 --> 04:47.680
ルー、 使いすぎかもしれない。
04:47.680 --> 04:53.860
ルーにはMLUプロと呼ばれるバリエーションがあり、 そちらの方が人気があることは後で説明する。
04:54.130 --> 04:55.930
だから、 これはいくらか置き換わった。
04:55.930 --> 05:07.720
さて、 真実のQAとは、 正確さとロバスト性のことであり、 特にモデルが真実でないことが奨励されるような敵対的な条件下でのことである。
05:08.290 --> 05:19.600
ウィノグランドは、 モデルがより混乱した文脈での曖昧さを解決できることをテストしている。 そして、 GSMの8
05:19.600 --> 05:30.010
Kレベルの小学校の算数は、 算数であると同時に、 小中学生レベルの単語問題でもある。
05:30.010 --> 05:35.110
これが7つの一般的なベンチマークだ。
05:35.200 --> 05:36.760
メモしておいてくれ。
05:36.790 --> 05:38.470
彼らは資源の中にいる。
05:38.470 --> 05:42.910
そして、 私が言うように、 これらのことはよく目にすることだろう。
05:42.940 --> 05:44.770
そして、 願わくば、 今すぐ彼らを認識してほしい。