From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
349 lines
11 KiB
349 lines
11 KiB
WEBVTT |
|
|
|
00:01.940 --> 00:03.290 |
|
お帰りなさい。 |
|
|
|
00:03.320 --> 00:09.020 |
|
というわけで、 GPT4ミニの結果にまだ感動してくれているといいのだが。 |
|
|
|
00:09.260 --> 00:22.820 |
|
フロンティア・モデルは80ドル手前で好調で、 52%のヒットがあり、 緑色のドットの数では50%を超えている。 |
|
|
|
00:22.880 --> 00:29.510 |
|
しかし、 今こそGPT4と対戦するときだ。 |
|
|
|
00:29.540 --> 00:31.250 |
|
ああ、 今やったよ。 |
|
|
|
00:31.280 --> 00:37.520 |
|
ただ、 現時点では、 この種のエラー数について話しているとき、 エラーはすでに、 |
|
|
|
00:37.520 --> 00:42.020 |
|
あー、 それなりに低いということは知っておいてほしい。 |
|
|
|
00:42.050 --> 00:44.810 |
|
あなたは商品の実際の価格を考える。 |
|
|
|
00:44.810 --> 00:45.770 |
|
様々だ。 |
|
|
|
00:45.770 --> 00:48.020 |
|
価格にはボラティリティがある。 |
|
|
|
00:48.020 --> 00:49.310 |
|
セールもある。 |
|
|
|
00:49.340 --> 00:54.170 |
|
ホイールの価格やノートパソコンの価格など、 大きな変動がある。 |
|
|
|
00:54.320 --> 01:05.380 |
|
サイトや店によってかなり違うのは間違いない。 |
|
|
|
01:05.380 --> 01:09.370 |
|
だから我々は、 この数字が小さくなるとは思っていない。 |
|
|
|
01:09.730 --> 01:17.350 |
|
その観点から、 現時点での1ドルの改善は、 それ自体が勝利であると認識してほしい。 |
|
|
|
01:17.380 --> 01:21.670 |
|
できる限りジュースを絞るつもりだが、 今は大きな変化を期待しないでほしい。 |
|
|
|
01:21.670 --> 01:30.910 |
|
私たちは今、 すでに超素晴らしい、 従来の機械学習技術をはるかに凌駕する段階にいる。 |
|
|
|
01:31.390 --> 01:41.290 |
|
それで、 その次にすべきことは、 もちろん、 より大きないとこであるGPT4のお披露目だ。 |
|
|
|
01:41.290 --> 01:47.740 |
|
ああ、 ここにも同じタイプの関数がある。 テスト・プログラムに渡す関数だ。 |
|
|
|
01:47.890 --> 01:51.790 |
|
もちろんOpenAI ChatGPT completions dot createと呼んでいる。 |
|
|
|
01:51.790 --> 01:58.690 |
|
GPT4モデルを使用しているのは8月6日現在で、 ごく最近のことだ。 |
|
|
|
01:58.960 --> 02:06.080 |
|
ええと、 メッセージを渡し、 シードを渡し、 同じ方法で結果を返す。 |
|
|
|
02:06.110 --> 02:09.590 |
|
これには少しコストがかかる。 |
|
|
|
02:09.620 --> 02:14.210 |
|
費用は0ドル。 10ドルと0ドル。 250ポイントに20ドル。 |
|
|
|
02:14.450 --> 02:21.200 |
|
そう、 そう、 銀行を破綻させるようなものではないが、 これを100回実行する前によく考えた方がいいかもしれない。 |
|
|
|
02:21.380 --> 02:24.650 |
|
だから、 少なくとも一度は試してみてほしい。 |
|
|
|
02:24.740 --> 02:26.330 |
|
とても楽しいよ。 |
|
|
|
02:26.510 --> 02:30.170 |
|
うーん、 でも、 そうだね、 必ずしも何度も走る必要はない。 |
|
|
|
02:30.200 --> 02:35.390 |
|
また、 なぜ私がこの試合を "Oh one "と戦おうとしないのか、 不思議に思うかもしれないことにも触れておきたい。 |
|
|
|
02:35.450 --> 02:39.530 |
|
ええと、 それで、 どんな問題があるかというと、 ああいう問題なんだ。 |
|
|
|
02:39.560 --> 02:45.560 |
|
ああ、 もっと深い思考が必要で、 多段階の思考プロセスが必要で、 チャレンジングな問題だ。 |
|
|
|
02:45.560 --> 02:49.100 |
|
そして、 それは私たちがここで取り組んでいる問題には適していない。 |
|
|
|
02:49.160 --> 02:53.090 |
|
しかし、 それだとスピードも遅くなるし、 料金も高くなる。 |
|
|
|
02:53.090 --> 02:56.270 |
|
僕らは数学のパズルを解こうとしているんじゃない。 |
|
|
|
02:56.300 --> 03:02.180 |
|
私たちはただ、 世間的な知識に基づいて、 次に最も可能性の高い価格を推測しようとしているだけなのだ。 |
|
|
|
03:02.330 --> 03:05.750 |
|
だからGPTの4フロンティアがベストショットになるはずだ。 |
|
|
|
03:05.870 --> 03:06.110 |
|
うーん。 |
|
|
|
03:06.110 --> 03:08.570 |
|
そしてもちろん、 私はすでにそれを実行した。 |
|
|
|
03:08.660 --> 03:12.170 |
|
GPT4ミニより少し遅いですね。 |
|
|
|
03:12.170 --> 03:13.070 |
|
ちょっとだけね。 |
|
|
|
03:13.100 --> 03:15.740 |
|
でも、 自分で走れば楽しめると思うよ。 |
|
|
|
03:15.770 --> 03:18.470 |
|
その結果がこれだ。 |
|
|
|
03:18.740 --> 03:23.660 |
|
緑が多いけど、 赤も多いね。 |
|
|
|
03:24.230 --> 03:27.830 |
|
だから、 ここはバラエティに富んでいる。 |
|
|
|
03:28.700 --> 03:33.110 |
|
うーん、 間違いなく賭けているね。 |
|
|
|
03:33.110 --> 03:35.000 |
|
その結果がこれだ。 |
|
|
|
03:35.000 --> 03:37.610 |
|
要するに、 その方がいいということだ。 |
|
|
|
03:37.610 --> 03:39.380 |
|
確かに改善された。 |
|
|
|
03:39.380 --> 03:42.140 |
|
約80から約76になった。 |
|
|
|
03:42.140 --> 03:44.840 |
|
そして52から58までのヒット。 |
|
|
|
03:44.840 --> 03:45.950 |
|
ええと、 緑の点。 |
|
|
|
03:45.950 --> 03:47.990 |
|
大規模な変化ではない。 |
|
|
|
03:47.990 --> 03:53.840 |
|
ミニからGPT4への移籍はもっと期待していたかもしれないが、 GPT4ミニは本当にいいものだということを覚えておいてほしい。 |
|
|
|
03:53.840 --> 04:01.380 |
|
そして、 ずっと安いモデルであるにもかかわらず、 GPT four zeroとほとんど同じような賢さを持っている。 |
|
|
|
04:01.620 --> 04:08.310 |
|
まず第一に、 6ドルも4ドルも安くなったことは喜ばしいことだ。 |
|
|
|
04:08.340 --> 04:08.790 |
|
申し訳ない。 |
|
|
|
04:08.910 --> 04:16.770 |
|
ええと、 でも、 GPT4ミニは本当によくやっていると思う。 |
|
|
|
04:17.040 --> 04:19.050 |
|
ええと、 それで、 ええと。 |
|
|
|
04:19.200 --> 04:22.740 |
|
そう、 これがその結果だ。 |
|
|
|
04:22.770 --> 04:25.170 |
|
見た目はとても印象的だ。 |
|
|
|
04:25.200 --> 04:28.410 |
|
つまり、 人類との比較だ。 |
|
|
|
04:28.440 --> 04:37.980 |
|
この講義の最後には、 恥ずかしながらもう一度チャートを見て、 フロンティア・モデルが達成できることと比較することで終わりにしようと思う。 |
|
|
|
04:38.040 --> 04:41.370 |
|
ええと、 でも、 これでよくわかるよ。 |
|
|
|
04:41.880 --> 04:42.990 |
|
オーケー。 |
|
|
|
04:42.990 --> 04:52.920 |
|
そしてもちろん、 もう1つフロンティア・モデルがあり、 それはクロード3だ。 |
|
|
|
04:52.920 --> 04:52.920 |
|
5ソネット |
|
|
|
04:53.220 --> 05:03.760 |
|
人間工学的なモデルから、 最強のモデルはどれですか? |
|
|
|
05:04.000 --> 05:07.180 |
|
ええと、 クロードがまたメッセージを作ってくれたんだ。 |
|
|
|
05:07.180 --> 05:11.500 |
|
クロードの場合、 シードでパスを出すことはできない。 |
|
|
|
05:11.530 --> 05:12.430 |
|
それは必要ない。 |
|
|
|
05:12.430 --> 05:14.500 |
|
だから結果は毎回違ってくる。 |
|
|
|
05:14.500 --> 05:20.440 |
|
しかし、 私がここで行った最初の試運転を、 私たちの目的のための、 その、 |
|
|
|
05:20.440 --> 05:24.850 |
|
その、 その、 結果として持っているものにした。 |
|
|
|
05:24.880 --> 05:28.990 |
|
そして、 おそらく、 このノートを複製して保存すると思う。 |
|
|
|
05:28.990 --> 05:30.970 |
|
だから、 後世のために持っているんだ。 |
|
|
|
05:31.270 --> 05:37.780 |
|
ええと、 クロードの時間は2、 3の赤から始まり、 次に緑の海だ。 |
|
|
|
05:40.510 --> 05:45.850 |
|
そして、 いくつかの結果につなげたい。 |
|
|
|
05:48.160 --> 05:50.260 |
|
クロードの結果はこうだ。 |
|
|
|
05:50.290 --> 05:53.440 |
|
興味深いことに、 クロードは実際にはもう少し悪い。 |
|
|
|
05:53.560 --> 06:03.990 |
|
このタスクでは、 GPTの4つのミニより悪く、 ランダムフォレストよりも悪い。 |
|
|
|
06:04.020 --> 06:09.300 |
|
もちろん、 今回もランダムフォレストには40万件の学習データがある。 |
|
|
|
06:09.300 --> 06:12.750 |
|
だから、 まったく違う種類のテストなんだ。 |
|
|
|
06:13.200 --> 06:21.180 |
|
その理由のひとつは、 この軸を見れば、 ある程度の予測を立てていることがわかるからだ。 |
|
|
|
06:21.180 --> 06:27.000 |
|
それは小さな小さな赤い点になるだろうから、 私たちにはよく見えないが、 それはもちろんすべてのものに広がっていくだろうが、 |
|
|
|
06:27.000 --> 06:30.690 |
|
何か大きな予測をしたのだ。 |
|
|
|
06:30.690 --> 06:32.730 |
|
だから、 大きな違いはなかっただろう。 |
|
|
|
06:32.730 --> 06:43.320 |
|
しかし、 それでもなお、 1つの推測は、 あまりにも、 あまりにも高すぎただろう。 |
|
|
|
06:43.350 --> 06:47.820 |
|
ここをスキャンしてスパイできるか見てみよう。 |
|
|
|
06:48.000 --> 06:49.950 |
|
どこで間違ったのか? |
|
|
|
06:49.950 --> 06:51.060 |
|
これだ。 |
|
|
|
06:53.550 --> 06:56.940 |
|
Gテクノロジー GスピードESプロ ハイパフォーマンス |
|
|
|
06:56.940 --> 07:02.780 |
|
つまり、 495ドルもするものなのだ。 95. |
|
|
|
07:02.780 --> 07:07.250 |
|
客は4,999ドルと99ドルだった。 |
|
|
|
07:07.550 --> 07:14.510 |
|
つまり、 4500のミスを招いたのは、 非常に大きなゲストだったのだ。 |
|
|
|
07:14.540 --> 07:21.020 |
|
もちろん、 この誤差は250のデータポイントで平均化されるため、 それ自体が物事を大きく歪めることはない。 |
|
|
|
07:21.020 --> 07:26.570 |
|
しかし、 最悪の陣営に押し上げた一例だ。 |
|
|
|
07:27.110 --> 07:30.170 |
|
これがクロードの結果だ。 |
|
|
|
07:30.200 --> 07:43.790 |
|
GPT4、 あるいはフロンティアのGPT4がこのチャレンジの勝者だった。 |
|
|
|
07:43.820 --> 07:50.900 |
|
クロードがコーディング・パフォーマンス・チャレンジで勝ったことを覚えているだろう。 |
|
|
|
07:50.960 --> 07:56.150 |
|
ええと、 でもこの場合、 この特別なチャレンジの勝者はクロードだ。 |
|
|
|
07:56.480 --> 07:59.730 |
|
ええと、 すみません、 GPT4はフロンティアですね。 |
|
|
|
07:59.730 --> 08:04.620 |
|
そしてお約束したように、 もうひとつだけお見せしよう。 |
|
|
|
08:04.650 --> 08:07.200 |
|
この人間の弱々しい試みに。 |
|
|
|
08:07.230 --> 08:16.740 |
|
GPT4がホームランに近いと推測される緑色の点がいくつもある、 エレガントで素敵な図を見てみよう。 |
|
|
|
08:16.740 --> 08:22.620 |
|
そして今度は、 その部屋に常駐している人間のパフォーマンスと比較してみよう。 |
|
|
|
08:22.890 --> 08:26.580 |
|
ええと、 これが私のカルテ。 |
|
|
|
08:28.800 --> 08:30.600 |
|
もう二度と見たくないと。 |
|
|
|
08:30.840 --> 08:31.860 |
|
ああ、 わかったよ。 |
|
|
|
08:31.860 --> 08:36.570 |
|
とにかく、 これがあなたにとって、 えー、 勉強になったことを願っている。 |
|
|
|
08:36.570 --> 08:40.680 |
|
そして、 自分自身のビジネス上の問題に対して、 このような実験をどのように行うかを見るんだ。 |
|
|
|
08:40.680 --> 08:41.430 |
|
どうぞよろしく。 |
|
|
|
08:41.460 --> 08:43.200 |
|
さあ、 これを再現しよう。 |
|
|
|
08:43.200 --> 08:48.750 |
|
これを試してみると、 特にクロードの場合は、 種がないために同じ結果が得られないことがわかるだろう。 |
|
|
|
08:48.930 --> 08:53.430 |
|
うーん、 でも、 何か違うものを手に入れて、 その性能を見てみるんだ。 |
|
|
|
08:53.430 --> 08:55.050 |
|
もしかしたら、 私よりいい結果が出るかもしれない。 |
|
|
|
08:55.230 --> 09:00.060 |
|
ええと、 でも最後にもう少しスライドをお見せしましょう。
|
|
|