You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

244 lines
7.9 KiB

WEBVTT
00:00.800 --> 00:01.490
オーケー。
00:01.490 --> 00:02.900
今が正念場だ。
00:02.900 --> 00:06.620
クラステスターを受けたばかりだ。
00:06.620 --> 00:07.940
このクラスを覚えているか?
00:08.090 --> 00:15.560
このクラスは、 テスト・データ・セットの250のデータ・ポイント全体にわたって評価を実行する。
00:15.590 --> 00:17.450
少し違う。
00:17.450 --> 00:24.380
アイテム・オブジェクトを取るわけではないので、 微妙な違いがあることにお気づきだろう。
00:24.380 --> 00:27.980
私たちはデータセットからデータ・ポイントを取っている。
00:27.980 --> 00:29.990
だから、 小さな違いがいくつかある。
00:29.990 --> 00:35.900
しかし、 それ以外の点では、 このテスターは基本的にまったく同じだ。
00:36.050 --> 00:40.760
そしてもちろん、 このシングルラインテスターのテストで終わる。
00:40.790 --> 00:49.130
モデルpredictは先ほど書いた関数で、 250ポイントに対してモデルを試すもので、 テストデータセットを渡す。
00:49.130 --> 00:52.670
もちろん、 すでに実行し、 結果をスクロールさせている。
00:52.670 --> 00:56.240
だから、 すぐそこまで来ている感じがする。
00:56.270 --> 00:57.560
トップに持っていく。
00:57.560 --> 01:05.930
もちろん、 最初の赤い項目は、 374ドルのものが1800ドルと予測されているところだ。
01:05.960 --> 01:08.330
赤もあれば緑もある。
01:08.510 --> 01:12.200
うーん、 確かに、 私たちがそれを得ているのとは違うということを感じさせてくれる。
01:12.230 --> 01:15.500
今回の課題はモデルが理解している。
01:15.500 --> 01:19.070
例えば89ドル。 99.
01:19.070 --> 01:22.040
そして真実は101 79だった。
01:22.040 --> 01:25.310
ドル単位にこだわっていないのが面白い。
01:25.310 --> 01:28.400
今でも0ドルでものを作っている。 99.
01:28.820 --> 01:34.400
ええと、 そうだな、 他にもいくつか問題のあるものがあるが、 緑と赤、 緑と赤、
01:34.430 --> 01:39.980
でもかなりの数の赤、 かなりの数の赤があるのがわかるだろう。
01:39.980 --> 01:44.090
だから、 私は私たちを窮地から救い出し、 チャートに直行する。
01:44.090 --> 01:45.140
来たぞ。
01:45.170 --> 01:46.550
なんてことだ。
01:46.580 --> 01:52.730
395の恐ろしい、 恐ろしい結果だ。
01:52.760 --> 02:03.380
誤差という点では、 395......覚えているだろうが、 ランダムに推測するよりもかなり悪い。
02:03.380 --> 02:07.940
トレーニングデータセットの平均値を取るよりも確実に悪いと思う。
02:07.970 --> 02:10.070
トレーニングデータセットを知っていたわけではない。
02:10.310 --> 02:15.800
ああ、 そうだね、 一般的にはひどい結果だよ。
02:16.070 --> 02:19.210
おそらく、 大きな驚きはないだろう。
02:19.210 --> 02:20.890
小さなモデルだ。
02:20.980 --> 02:26.110
それも非常に量子化されていて、 何をしているのか視覚的にわかる。
02:26.500 --> 02:38.710
最も推測しやすいレベルがいくつかあり、 この3つのレベルのいずれかを最も頻繁に推測していることがわかるだろう。
02:38.710 --> 02:41.950
そして残念なことに、 そのうちのひとつがあまりにも高すぎる。
02:42.070 --> 02:44.710
モデルには1,000ドルを超えるなと言ったことはない。
02:44.710 --> 02:46.210
それが必須条件というわけではない。
02:46.210 --> 02:48.670
GPTの4人と同じように、 好きなように推測することができる。
02:48.910 --> 02:59.830
私たちは......うーん、 それを知るための知性を与えてこなかった。
02:59.890 --> 03:02.230
あー、 それで結果が台無しになった。
03:02.230 --> 03:05.650
つまり、 ベース・モデルのパフォーマンスが低かったということだ。
03:05.650 --> 03:09.160
パラメータの数が少ないことを考えれば、 それほど驚くことではない。
03:09.160 --> 03:22.780
そしてもちろん、 私たちが今直面している課題は、 この性能の低いモデルを微調整し、 トレーニングデータセットを使ってより強くすることができるかということだ。
03:22.780 --> 03:28.990
そして、 1兆個のパラメータを持つモデルが達成できることに近づけるだろうか。
03:28.990 --> 03:32.650
つまり、 これは80億のパラメーターを持つモデルで、 量子化されている。
03:32.650 --> 03:41.080
兆を超える主要なフロンティアモデルのパラメータに近づくことができるだろうか?
03:41.110 --> 03:43.540
これはオープンソースだから無料だ。
03:43.540 --> 03:44.890
APIのコストはかからない。
03:44.920 --> 03:51.250
もし私たちがそのレベルのパフォーマンスを発揮できたら、 いや、 少なくとも人間を打ち負かすことができたら、 素晴らしいと思わない?
03:51.250 --> 03:55.030
今、 人間は訓練されていないラマに勝っている。
03:55.090 --> 03:59.380
少なくとも、 この人間が最後に残した思いである。
03:59.410 --> 04:03.400
これが4ビットに量子化されることを覚えているだろうか。
04:03.400 --> 04:07.480
8ビットに量子化したらどうなるだろうか?
04:07.480 --> 04:13.330
もし、 8ビットのバージョンを維持したまま実行したとしたら、 2倍量子化された4ビットにすることでパフォーマンスにどれだけの影響が出るか、
04:13.330 --> 04:18.490
興味深いところだ。
04:18.490 --> 04:20.020
もちろん、 それは可能だ。
04:20.050 --> 04:25.120
そして、 このフレームワークは、 とてもシンプルで具体的な方法を教えてくれる。
04:25.150 --> 04:26.260
その違いを見てみよう。
04:26.260 --> 04:29.680
だから、 395がどこまで間違っているか覚えておいてほしい。
04:29.680 --> 04:37.920
だから、 この別のタブでは、 8ビットを2つに量子化しただけで実行している。
04:38.040 --> 04:46.050
つまり、 一番上まで行くと、 ここで4つのビットがfalseに設定されていることがわかりますが、 それ以外はまったく同じです。
04:46.410 --> 04:47.310
ノートブック
04:47.310 --> 04:51.060
下までスクロールして、 結果に直行しよう。
04:51.450 --> 04:54.180
この中にあるようだ。
04:56.070 --> 04:57.030
ちょっと待ってくれ。
04:57.030 --> 04:58.200
緊張感を高める。
04:58.200 --> 04:59.670
そして、 これだ。
04:59.670 --> 05:03.030
だから、 パフォーマンスもかなりひどい。
05:03.030 --> 05:06.690
しかし、 395が301になったのは良いことだ。
05:06.990 --> 05:08.520
そして、 それはまったく驚くべきことではない。
05:08.550 --> 05:12.690
情報量が2倍になっているのはご存じでしょう。
05:12.870 --> 05:23.130
つまり、 量子化は精度に影響を与えたが、 8ビットモデルであればもっと良い結果が得られると予想される。
05:23.130 --> 05:27.540
だから、 2人の間にそれほど大きな違いはなかった。
05:28.230 --> 05:33.540
でも、 大きなモデルの方がいい仕事ができるということだ。
05:34.470 --> 05:35.340
分かった。
05:35.340 --> 05:37.920
それはそれで、 かなり面白かったよ。
05:37.920 --> 05:38.970
かなり露呈している。
05:38.970 --> 05:42.360
スライドに戻ってまとめよう。