WEBVTT 00:00.800 --> 00:01.490 オーケー。 00:01.490 --> 00:02.900 今が正念場だ。 00:02.900 --> 00:06.620 クラステスターを受けたばかりだ。 00:06.620 --> 00:07.940 このクラスを覚えているか? 00:08.090 --> 00:15.560 このクラスは、 テスト・データ・セットの250のデータ・ポイント全体にわたって評価を実行する。 00:15.590 --> 00:17.450 少し違う。 00:17.450 --> 00:24.380 アイテム・オブジェクトを取るわけではないので、 微妙な違いがあることにお気づきだろう。 00:24.380 --> 00:27.980 私たちはデータセットからデータ・ポイントを取っている。 00:27.980 --> 00:29.990 だから、 小さな違いがいくつかある。 00:29.990 --> 00:35.900 しかし、 それ以外の点では、 このテスターは基本的にまったく同じだ。 00:36.050 --> 00:40.760 そしてもちろん、 このシングルラインテスターのテストで終わる。 00:40.790 --> 00:49.130 モデルpredictは先ほど書いた関数で、 250ポイントに対してモデルを試すもので、 テストデータセットを渡す。 00:49.130 --> 00:52.670 もちろん、 すでに実行し、 結果をスクロールさせている。 00:52.670 --> 00:56.240 だから、 すぐそこまで来ている感じがする。 00:56.270 --> 00:57.560 トップに持っていく。 00:57.560 --> 01:05.930 もちろん、 最初の赤い項目は、 374ドルのものが1800ドルと予測されているところだ。 01:05.960 --> 01:08.330 赤もあれば緑もある。 01:08.510 --> 01:12.200 うーん、 確かに、 私たちがそれを得ているのとは違うということを感じさせてくれる。 01:12.230 --> 01:15.500 今回の課題はモデルが理解している。 01:15.500 --> 01:19.070 例えば89ドル。 99. 01:19.070 --> 01:22.040 そして真実は101 79だった。 01:22.040 --> 01:25.310 ドル単位にこだわっていないのが面白い。 01:25.310 --> 01:28.400 今でも0ドルでものを作っている。 99. 01:28.820 --> 01:34.400 ええと、 そうだな、 他にもいくつか問題のあるものがあるが、 緑と赤、 緑と赤、 01:34.430 --> 01:39.980 でもかなりの数の赤、 かなりの数の赤があるのがわかるだろう。 01:39.980 --> 01:44.090 だから、 私は私たちを窮地から救い出し、 チャートに直行する。 01:44.090 --> 01:45.140 来たぞ。 01:45.170 --> 01:46.550 なんてことだ。 01:46.580 --> 01:52.730 395の恐ろしい、 恐ろしい結果だ。 01:52.760 --> 02:03.380 誤差という点では、 395......覚えているだろうが、 ランダムに推測するよりもかなり悪い。 02:03.380 --> 02:07.940 トレーニングデータセットの平均値を取るよりも確実に悪いと思う。 02:07.970 --> 02:10.070 トレーニングデータセットを知っていたわけではない。 02:10.310 --> 02:15.800 ああ、 そうだね、 一般的にはひどい結果だよ。 02:16.070 --> 02:19.210 おそらく、 大きな驚きはないだろう。 02:19.210 --> 02:20.890 小さなモデルだ。 02:20.980 --> 02:26.110 それも非常に量子化されていて、 何をしているのか視覚的にわかる。 02:26.500 --> 02:38.710 最も推測しやすいレベルがいくつかあり、 この3つのレベルのいずれかを最も頻繁に推測していることがわかるだろう。 02:38.710 --> 02:41.950 そして残念なことに、 そのうちのひとつがあまりにも高すぎる。 02:42.070 --> 02:44.710 モデルには1,000ドルを超えるなと言ったことはない。 02:44.710 --> 02:46.210 それが必須条件というわけではない。 02:46.210 --> 02:48.670 GPTの4人と同じように、 好きなように推測することができる。 02:48.910 --> 02:59.830 私たちは......うーん、 それを知るための知性を与えてこなかった。 02:59.890 --> 03:02.230 あー、 それで結果が台無しになった。 03:02.230 --> 03:05.650 つまり、 ベース・モデルのパフォーマンスが低かったということだ。 03:05.650 --> 03:09.160 パラメータの数が少ないことを考えれば、 それほど驚くことではない。 03:09.160 --> 03:22.780 そしてもちろん、 私たちが今直面している課題は、 この性能の低いモデルを微調整し、 トレーニングデータセットを使ってより強くすることができるかということだ。 03:22.780 --> 03:28.990 そして、 1兆個のパラメータを持つモデルが達成できることに近づけるだろうか。 03:28.990 --> 03:32.650 つまり、 これは80億のパラメーターを持つモデルで、 量子化されている。 03:32.650 --> 03:41.080 兆を超える主要なフロンティアモデルのパラメータに近づくことができるだろうか? 03:41.110 --> 03:43.540 これはオープンソースだから無料だ。 03:43.540 --> 03:44.890 APIのコストはかからない。 03:44.920 --> 03:51.250 もし私たちがそのレベルのパフォーマンスを発揮できたら、 いや、 少なくとも人間を打ち負かすことができたら、 素晴らしいと思わない? 03:51.250 --> 03:55.030 今、 人間は訓練されていないラマに勝っている。 03:55.090 --> 03:59.380 少なくとも、 この人間が最後に残した思いである。 03:59.410 --> 04:03.400 これが4ビットに量子化されることを覚えているだろうか。 04:03.400 --> 04:07.480 8ビットに量子化したらどうなるだろうか? 04:07.480 --> 04:13.330 もし、 8ビットのバージョンを維持したまま実行したとしたら、 2倍量子化された4ビットにすることでパフォーマンスにどれだけの影響が出るか、 04:13.330 --> 04:18.490 興味深いところだ。 04:18.490 --> 04:20.020 もちろん、 それは可能だ。 04:20.050 --> 04:25.120 そして、 このフレームワークは、 とてもシンプルで具体的な方法を教えてくれる。 04:25.150 --> 04:26.260 その違いを見てみよう。 04:26.260 --> 04:29.680 だから、 395がどこまで間違っているか覚えておいてほしい。 04:29.680 --> 04:37.920 だから、 この別のタブでは、 8ビットを2つに量子化しただけで実行している。 04:38.040 --> 04:46.050 つまり、 一番上まで行くと、 ここで4つのビットがfalseに設定されていることがわかりますが、 それ以外はまったく同じです。 04:46.410 --> 04:47.310 ノートブック 04:47.310 --> 04:51.060 下までスクロールして、 結果に直行しよう。 04:51.450 --> 04:54.180 この中にあるようだ。 04:56.070 --> 04:57.030 ちょっと待ってくれ。 04:57.030 --> 04:58.200 緊張感を高める。 04:58.200 --> 04:59.670 そして、 これだ。 04:59.670 --> 05:03.030 だから、 パフォーマンスもかなりひどい。 05:03.030 --> 05:06.690 しかし、 395が301になったのは良いことだ。 05:06.990 --> 05:08.520 そして、 それはまったく驚くべきことではない。 05:08.550 --> 05:12.690 情報量が2倍になっているのはご存じでしょう。 05:12.870 --> 05:23.130 つまり、 量子化は精度に影響を与えたが、 8ビットモデルであればもっと良い結果が得られると予想される。 05:23.130 --> 05:27.540 だから、 2人の間にそれほど大きな違いはなかった。 05:28.230 --> 05:33.540 でも、 大きなモデルの方がいい仕事ができるということだ。 05:34.470 --> 05:35.340 分かった。 05:35.340 --> 05:37.920 それはそれで、 かなり面白かったよ。 05:37.920 --> 05:38.970 かなり露呈している。 05:38.970 --> 05:42.360 スライドに戻ってまとめよう。