WEBVTT 00:01.940 --> 00:03.290 お帰りなさい。 00:03.320 --> 00:09.020 というわけで、 GPT4ミニの結果にまだ感動してくれているといいのだが。 00:09.260 --> 00:22.820 フロンティア・モデルは80ドル手前で好調で、 52%のヒットがあり、 緑色のドットの数では50%を超えている。 00:22.880 --> 00:29.510 しかし、 今こそGPT4と対戦するときだ。 00:29.540 --> 00:31.250 ああ、 今やったよ。 00:31.280 --> 00:37.520 ただ、 現時点では、 この種のエラー数について話しているとき、 エラーはすでに、 00:37.520 --> 00:42.020 あー、 それなりに低いということは知っておいてほしい。 00:42.050 --> 00:44.810 あなたは商品の実際の価格を考える。 00:44.810 --> 00:45.770 様々だ。 00:45.770 --> 00:48.020 価格にはボラティリティがある。 00:48.020 --> 00:49.310 セールもある。 00:49.340 --> 00:54.170 ホイールの価格やノートパソコンの価格など、 大きな変動がある。 00:54.320 --> 01:05.380 サイトや店によってかなり違うのは間違いない。 01:05.380 --> 01:09.370 だから我々は、 この数字が小さくなるとは思っていない。 01:09.730 --> 01:17.350 その観点から、 現時点での1ドルの改善は、 それ自体が勝利であると認識してほしい。 01:17.380 --> 01:21.670 できる限りジュースを絞るつもりだが、 今は大きな変化を期待しないでほしい。 01:21.670 --> 01:30.910 私たちは今、 すでに超素晴らしい、 従来の機械学習技術をはるかに凌駕する段階にいる。 01:31.390 --> 01:41.290 それで、 その次にすべきことは、 もちろん、 より大きないとこであるGPT4のお披露目だ。 01:41.290 --> 01:47.740 ああ、 ここにも同じタイプの関数がある。 テスト・プログラムに渡す関数だ。 01:47.890 --> 01:51.790 もちろんOpenAI ChatGPT completions dot createと呼んでいる。 01:51.790 --> 01:58.690 GPT4モデルを使用しているのは8月6日現在で、 ごく最近のことだ。 01:58.960 --> 02:06.080 ええと、 メッセージを渡し、 シードを渡し、 同じ方法で結果を返す。 02:06.110 --> 02:09.590 これには少しコストがかかる。 02:09.620 --> 02:14.210 費用は0ドル。 10ドルと0ドル。 250ポイントに20ドル。 02:14.450 --> 02:21.200 そう、 そう、 銀行を破綻させるようなものではないが、 これを100回実行する前によく考えた方がいいかもしれない。 02:21.380 --> 02:24.650 だから、 少なくとも一度は試してみてほしい。 02:24.740 --> 02:26.330 とても楽しいよ。 02:26.510 --> 02:30.170 うーん、 でも、 そうだね、 必ずしも何度も走る必要はない。 02:30.200 --> 02:35.390 また、 なぜ私がこの試合を "Oh one "と戦おうとしないのか、 不思議に思うかもしれないことにも触れておきたい。 02:35.450 --> 02:39.530 ええと、 それで、 どんな問題があるかというと、 ああいう問題なんだ。 02:39.560 --> 02:45.560 ああ、 もっと深い思考が必要で、 多段階の思考プロセスが必要で、 チャレンジングな問題だ。 02:45.560 --> 02:49.100 そして、 それは私たちがここで取り組んでいる問題には適していない。 02:49.160 --> 02:53.090 しかし、 それだとスピードも遅くなるし、 料金も高くなる。 02:53.090 --> 02:56.270 僕らは数学のパズルを解こうとしているんじゃない。 02:56.300 --> 03:02.180 私たちはただ、 世間的な知識に基づいて、 次に最も可能性の高い価格を推測しようとしているだけなのだ。 03:02.330 --> 03:05.750 だからGPTの4フロンティアがベストショットになるはずだ。 03:05.870 --> 03:06.110 うーん。 03:06.110 --> 03:08.570 そしてもちろん、 私はすでにそれを実行した。 03:08.660 --> 03:12.170 GPT4ミニより少し遅いですね。 03:12.170 --> 03:13.070 ちょっとだけね。 03:13.100 --> 03:15.740 でも、 自分で走れば楽しめると思うよ。 03:15.770 --> 03:18.470 その結果がこれだ。 03:18.740 --> 03:23.660 緑が多いけど、 赤も多いね。 03:24.230 --> 03:27.830 だから、 ここはバラエティに富んでいる。 03:28.700 --> 03:33.110 うーん、 間違いなく賭けているね。 03:33.110 --> 03:35.000 その結果がこれだ。 03:35.000 --> 03:37.610 要するに、 その方がいいということだ。 03:37.610 --> 03:39.380 確かに改善された。 03:39.380 --> 03:42.140 約80から約76になった。 03:42.140 --> 03:44.840 そして52から58までのヒット。 03:44.840 --> 03:45.950 ええと、 緑の点。 03:45.950 --> 03:47.990 大規模な変化ではない。 03:47.990 --> 03:53.840 ミニからGPT4への移籍はもっと期待していたかもしれないが、 GPT4ミニは本当にいいものだということを覚えておいてほしい。 03:53.840 --> 04:01.380 そして、 ずっと安いモデルであるにもかかわらず、 GPT four zeroとほとんど同じような賢さを持っている。 04:01.620 --> 04:08.310 まず第一に、 6ドルも4ドルも安くなったことは喜ばしいことだ。 04:08.340 --> 04:08.790 申し訳ない。 04:08.910 --> 04:16.770 ええと、 でも、 GPT4ミニは本当によくやっていると思う。 04:17.040 --> 04:19.050 ええと、 それで、 ええと。 04:19.200 --> 04:22.740 そう、 これがその結果だ。 04:22.770 --> 04:25.170 見た目はとても印象的だ。 04:25.200 --> 04:28.410 つまり、 人類との比較だ。 04:28.440 --> 04:37.980 この講義の最後には、 恥ずかしながらもう一度チャートを見て、 フロンティア・モデルが達成できることと比較することで終わりにしようと思う。 04:38.040 --> 04:41.370 ええと、 でも、 これでよくわかるよ。 04:41.880 --> 04:42.990 オーケー。 04:42.990 --> 04:52.920 そしてもちろん、 もう1つフロンティア・モデルがあり、 それはクロード3だ。 04:52.920 --> 04:52.920 5ソネット 04:53.220 --> 05:03.760 人間工学的なモデルから、 最強のモデルはどれですか? 05:04.000 --> 05:07.180 ええと、 クロードがまたメッセージを作ってくれたんだ。 05:07.180 --> 05:11.500 クロードの場合、 シードでパスを出すことはできない。 05:11.530 --> 05:12.430 それは必要ない。 05:12.430 --> 05:14.500 だから結果は毎回違ってくる。 05:14.500 --> 05:20.440 しかし、 私がここで行った最初の試運転を、 私たちの目的のための、 その、 05:20.440 --> 05:24.850 その、 その、 結果として持っているものにした。 05:24.880 --> 05:28.990 そして、 おそらく、 このノートを複製して保存すると思う。 05:28.990 --> 05:30.970 だから、 後世のために持っているんだ。 05:31.270 --> 05:37.780 ええと、 クロードの時間は2、 3の赤から始まり、 次に緑の海だ。 05:40.510 --> 05:45.850 そして、 いくつかの結果につなげたい。 05:48.160 --> 05:50.260 クロードの結果はこうだ。 05:50.290 --> 05:53.440 興味深いことに、 クロードは実際にはもう少し悪い。 05:53.560 --> 06:03.990 このタスクでは、 GPTの4つのミニより悪く、 ランダムフォレストよりも悪い。 06:04.020 --> 06:09.300 もちろん、 今回もランダムフォレストには40万件の学習データがある。 06:09.300 --> 06:12.750 だから、 まったく違う種類のテストなんだ。 06:13.200 --> 06:21.180 その理由のひとつは、 この軸を見れば、 ある程度の予測を立てていることがわかるからだ。 06:21.180 --> 06:27.000 それは小さな小さな赤い点になるだろうから、 私たちにはよく見えないが、 それはもちろんすべてのものに広がっていくだろうが、 06:27.000 --> 06:30.690 何か大きな予測をしたのだ。 06:30.690 --> 06:32.730 だから、 大きな違いはなかっただろう。 06:32.730 --> 06:43.320 しかし、 それでもなお、 1つの推測は、 あまりにも、 あまりにも高すぎただろう。 06:43.350 --> 06:47.820 ここをスキャンしてスパイできるか見てみよう。 06:48.000 --> 06:49.950 どこで間違ったのか? 06:49.950 --> 06:51.060 これだ。 06:53.550 --> 06:56.940 Gテクノロジー GスピードESプロ ハイパフォーマンス 06:56.940 --> 07:02.780 つまり、 495ドルもするものなのだ。 95. 07:02.780 --> 07:07.250 客は4,999ドルと99ドルだった。 07:07.550 --> 07:14.510 つまり、 4500のミスを招いたのは、 非常に大きなゲストだったのだ。 07:14.540 --> 07:21.020 もちろん、 この誤差は250のデータポイントで平均化されるため、 それ自体が物事を大きく歪めることはない。 07:21.020 --> 07:26.570 しかし、 最悪の陣営に押し上げた一例だ。 07:27.110 --> 07:30.170 これがクロードの結果だ。 07:30.200 --> 07:43.790 GPT4、 あるいはフロンティアのGPT4がこのチャレンジの勝者だった。 07:43.820 --> 07:50.900 クロードがコーディング・パフォーマンス・チャレンジで勝ったことを覚えているだろう。 07:50.960 --> 07:56.150 ええと、 でもこの場合、 この特別なチャレンジの勝者はクロードだ。 07:56.480 --> 07:59.730 ええと、 すみません、 GPT4はフロンティアですね。 07:59.730 --> 08:04.620 そしてお約束したように、 もうひとつだけお見せしよう。 08:04.650 --> 08:07.200 この人間の弱々しい試みに。 08:07.230 --> 08:16.740 GPT4がホームランに近いと推測される緑色の点がいくつもある、 エレガントで素敵な図を見てみよう。 08:16.740 --> 08:22.620 そして今度は、 その部屋に常駐している人間のパフォーマンスと比較してみよう。 08:22.890 --> 08:26.580 ええと、 これが私のカルテ。 08:28.800 --> 08:30.600 もう二度と見たくないと。 08:30.840 --> 08:31.860 ああ、 わかったよ。 08:31.860 --> 08:36.570 とにかく、 これがあなたにとって、 えー、 勉強になったことを願っている。 08:36.570 --> 08:40.680 そして、 自分自身のビジネス上の問題に対して、 このような実験をどのように行うかを見るんだ。 08:40.680 --> 08:41.430 どうぞよろしく。 08:41.460 --> 08:43.200 さあ、 これを再現しよう。 08:43.200 --> 08:48.750 これを試してみると、 特にクロードの場合は、 種がないために同じ結果が得られないことがわかるだろう。 08:48.930 --> 08:53.430 うーん、 でも、 何か違うものを手に入れて、 その性能を見てみるんだ。 08:53.430 --> 08:55.050 もしかしたら、 私よりいい結果が出るかもしれない。 08:55.230 --> 09:00.060 ええと、 でも最後にもう少しスライドをお見せしましょう。