You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

349 lines
11 KiB

WEBVTT
00:01.940 --> 00:03.290
お帰りなさい。
00:03.320 --> 00:09.020
というわけで、 GPT4ミニの結果にまだ感動してくれているといいのだが。
00:09.260 --> 00:22.820
フロンティア・モデルは80ドル手前で好調で、 52%のヒットがあり、 緑色のドットの数では50%を超えている。
00:22.880 --> 00:29.510
しかし、 今こそGPT4と対戦するときだ。
00:29.540 --> 00:31.250
ああ、 今やったよ。
00:31.280 --> 00:37.520
ただ、 現時点では、 この種のエラー数について話しているとき、 エラーはすでに、
00:37.520 --> 00:42.020
あー、 それなりに低いということは知っておいてほしい。
00:42.050 --> 00:44.810
あなたは商品の実際の価格を考える。
00:44.810 --> 00:45.770
様々だ。
00:45.770 --> 00:48.020
価格にはボラティリティがある。
00:48.020 --> 00:49.310
セールもある。
00:49.340 --> 00:54.170
ホイールの価格やノートパソコンの価格など、 大きな変動がある。
00:54.320 --> 01:05.380
サイトや店によってかなり違うのは間違いない。
01:05.380 --> 01:09.370
だから我々は、 この数字が小さくなるとは思っていない。
01:09.730 --> 01:17.350
その観点から、 現時点での1ドルの改善は、 それ自体が勝利であると認識してほしい。
01:17.380 --> 01:21.670
できる限りジュースを絞るつもりだが、 今は大きな変化を期待しないでほしい。
01:21.670 --> 01:30.910
私たちは今、 すでに超素晴らしい、 従来の機械学習技術をはるかに凌駕する段階にいる。
01:31.390 --> 01:41.290
それで、 その次にすべきことは、 もちろん、 より大きないとこであるGPT4のお披露目だ。
01:41.290 --> 01:47.740
ああ、 ここにも同じタイプの関数がある。 テスト・プログラムに渡す関数だ。
01:47.890 --> 01:51.790
もちろんOpenAI ChatGPT completions dot createと呼んでいる。
01:51.790 --> 01:58.690
GPT4モデルを使用しているのは8月6日現在で、 ごく最近のことだ。
01:58.960 --> 02:06.080
ええと、 メッセージを渡し、 シードを渡し、 同じ方法で結果を返す。
02:06.110 --> 02:09.590
これには少しコストがかかる。
02:09.620 --> 02:14.210
費用は0ドル。 10ドルと0ドル。 250ポイントに20ドル。
02:14.450 --> 02:21.200
そう、 そう、 銀行を破綻させるようなものではないが、 これを100回実行する前によく考えた方がいいかもしれない。
02:21.380 --> 02:24.650
だから、 少なくとも一度は試してみてほしい。
02:24.740 --> 02:26.330
とても楽しいよ。
02:26.510 --> 02:30.170
うーん、 でも、 そうだね、 必ずしも何度も走る必要はない。
02:30.200 --> 02:35.390
また、 なぜ私がこの試合を "Oh one "と戦おうとしないのか、 不思議に思うかもしれないことにも触れておきたい。
02:35.450 --> 02:39.530
ええと、 それで、 どんな問題があるかというと、 ああいう問題なんだ。
02:39.560 --> 02:45.560
ああ、 もっと深い思考が必要で、 多段階の思考プロセスが必要で、 チャレンジングな問題だ。
02:45.560 --> 02:49.100
そして、 それは私たちがここで取り組んでいる問題には適していない。
02:49.160 --> 02:53.090
しかし、 それだとスピードも遅くなるし、 料金も高くなる。
02:53.090 --> 02:56.270
僕らは数学のパズルを解こうとしているんじゃない。
02:56.300 --> 03:02.180
私たちはただ、 世間的な知識に基づいて、 次に最も可能性の高い価格を推測しようとしているだけなのだ。
03:02.330 --> 03:05.750
だからGPTの4フロンティアがベストショットになるはずだ。
03:05.870 --> 03:06.110
うーん。
03:06.110 --> 03:08.570
そしてもちろん、 私はすでにそれを実行した。
03:08.660 --> 03:12.170
GPT4ミニより少し遅いですね。
03:12.170 --> 03:13.070
ちょっとだけね。
03:13.100 --> 03:15.740
でも、 自分で走れば楽しめると思うよ。
03:15.770 --> 03:18.470
その結果がこれだ。
03:18.740 --> 03:23.660
緑が多いけど、 赤も多いね。
03:24.230 --> 03:27.830
だから、 ここはバラエティに富んでいる。
03:28.700 --> 03:33.110
うーん、 間違いなく賭けているね。
03:33.110 --> 03:35.000
その結果がこれだ。
03:35.000 --> 03:37.610
要するに、 その方がいいということだ。
03:37.610 --> 03:39.380
確かに改善された。
03:39.380 --> 03:42.140
約80から約76になった。
03:42.140 --> 03:44.840
そして52から58までのヒット。
03:44.840 --> 03:45.950
ええと、 緑の点。
03:45.950 --> 03:47.990
大規模な変化ではない。
03:47.990 --> 03:53.840
ミニからGPT4への移籍はもっと期待していたかもしれないが、 GPT4ミニは本当にいいものだということを覚えておいてほしい。
03:53.840 --> 04:01.380
そして、 ずっと安いモデルであるにもかかわらず、 GPT four zeroとほとんど同じような賢さを持っている。
04:01.620 --> 04:08.310
まず第一に、 6ドルも4ドルも安くなったことは喜ばしいことだ。
04:08.340 --> 04:08.790
申し訳ない。
04:08.910 --> 04:16.770
ええと、 でも、 GPT4ミニは本当によくやっていると思う。
04:17.040 --> 04:19.050
ええと、 それで、 ええと。
04:19.200 --> 04:22.740
そう、 これがその結果だ。
04:22.770 --> 04:25.170
見た目はとても印象的だ。
04:25.200 --> 04:28.410
つまり、 人類との比較だ。
04:28.440 --> 04:37.980
この講義の最後には、 恥ずかしながらもう一度チャートを見て、 フロンティア・モデルが達成できることと比較することで終わりにしようと思う。
04:38.040 --> 04:41.370
ええと、 でも、 これでよくわかるよ。
04:41.880 --> 04:42.990
オーケー。
04:42.990 --> 04:52.920
そしてもちろん、 もう1つフロンティア・モデルがあり、 それはクロード3だ。
04:52.920 --> 04:52.920
5ソネット
04:53.220 --> 05:03.760
人間工学的なモデルから、 最強のモデルはどれですか?
05:04.000 --> 05:07.180
ええと、 クロードがまたメッセージを作ってくれたんだ。
05:07.180 --> 05:11.500
クロードの場合、 シードでパスを出すことはできない。
05:11.530 --> 05:12.430
それは必要ない。
05:12.430 --> 05:14.500
だから結果は毎回違ってくる。
05:14.500 --> 05:20.440
しかし、 私がここで行った最初の試運転を、 私たちの目的のための、 その、
05:20.440 --> 05:24.850
その、 その、 結果として持っているものにした。
05:24.880 --> 05:28.990
そして、 おそらく、 このノートを複製して保存すると思う。
05:28.990 --> 05:30.970
だから、 後世のために持っているんだ。
05:31.270 --> 05:37.780
ええと、 クロードの時間は2、 3の赤から始まり、 次に緑の海だ。
05:40.510 --> 05:45.850
そして、 いくつかの結果につなげたい。
05:48.160 --> 05:50.260
クロードの結果はこうだ。
05:50.290 --> 05:53.440
興味深いことに、 クロードは実際にはもう少し悪い。
05:53.560 --> 06:03.990
このタスクでは、 GPTの4つのミニより悪く、 ランダムフォレストよりも悪い。
06:04.020 --> 06:09.300
もちろん、 今回もランダムフォレストには40万件の学習データがある。
06:09.300 --> 06:12.750
だから、 まったく違う種類のテストなんだ。
06:13.200 --> 06:21.180
その理由のひとつは、 この軸を見れば、 ある程度の予測を立てていることがわかるからだ。
06:21.180 --> 06:27.000
それは小さな小さな赤い点になるだろうから、 私たちにはよく見えないが、 それはもちろんすべてのものに広がっていくだろうが、
06:27.000 --> 06:30.690
何か大きな予測をしたのだ。
06:30.690 --> 06:32.730
だから、 大きな違いはなかっただろう。
06:32.730 --> 06:43.320
しかし、 それでもなお、 1つの推測は、 あまりにも、 あまりにも高すぎただろう。
06:43.350 --> 06:47.820
ここをスキャンしてスパイできるか見てみよう。
06:48.000 --> 06:49.950
どこで間違ったのか?
06:49.950 --> 06:51.060
これだ。
06:53.550 --> 06:56.940
Gテクノロジー GスピードESプロ ハイパフォーマンス
06:56.940 --> 07:02.780
つまり、 495ドルもするものなのだ。 95.
07:02.780 --> 07:07.250
客は4,999ドルと99ドルだった。
07:07.550 --> 07:14.510
つまり、 4500のミスを招いたのは、 非常に大きなゲストだったのだ。
07:14.540 --> 07:21.020
もちろん、 この誤差は250のデータポイントで平均化されるため、 それ自体が物事を大きく歪めることはない。
07:21.020 --> 07:26.570
しかし、 最悪の陣営に押し上げた一例だ。
07:27.110 --> 07:30.170
これがクロードの結果だ。
07:30.200 --> 07:43.790
GPT4、 あるいはフロンティアのGPT4がこのチャレンジの勝者だった。
07:43.820 --> 07:50.900
クロードがコーディング・パフォーマンス・チャレンジで勝ったことを覚えているだろう。
07:50.960 --> 07:56.150
ええと、 でもこの場合、 この特別なチャレンジの勝者はクロードだ。
07:56.480 --> 07:59.730
ええと、 すみません、 GPT4はフロンティアですね。
07:59.730 --> 08:04.620
そしてお約束したように、 もうひとつだけお見せしよう。
08:04.650 --> 08:07.200
この人間の弱々しい試みに。
08:07.230 --> 08:16.740
GPT4がホームランに近いと推測される緑色の点がいくつもある、 エレガントで素敵な図を見てみよう。
08:16.740 --> 08:22.620
そして今度は、 その部屋に常駐している人間のパフォーマンスと比較してみよう。
08:22.890 --> 08:26.580
ええと、 これが私のカルテ。
08:28.800 --> 08:30.600
もう二度と見たくないと。
08:30.840 --> 08:31.860
ああ、 わかったよ。
08:31.860 --> 08:36.570
とにかく、 これがあなたにとって、 えー、 勉強になったことを願っている。
08:36.570 --> 08:40.680
そして、 自分自身のビジネス上の問題に対して、 このような実験をどのように行うかを見るんだ。
08:40.680 --> 08:41.430
どうぞよろしく。
08:41.460 --> 08:43.200
さあ、 これを再現しよう。
08:43.200 --> 08:48.750
これを試してみると、 特にクロードの場合は、 種がないために同じ結果が得られないことがわかるだろう。
08:48.930 --> 08:53.430
うーん、 でも、 何か違うものを手に入れて、 その性能を見てみるんだ。
08:53.430 --> 08:55.050
もしかしたら、 私よりいい結果が出るかもしれない。
08:55.230 --> 09:00.060
ええと、 でも最後にもう少しスライドをお見せしましょう。