From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
409 lines
13 KiB
409 lines
13 KiB
WEBVTT |
|
|
|
00:00.770 --> 00:01.910 |
|
まあ、 とても安心したよ。 |
|
|
|
00:01.910 --> 00:03.050 |
|
それはもう過去のことだ。 |
|
|
|
00:03.080 --> 00:05.120 |
|
もう人体実験はいらない。 |
|
|
|
00:05.150 --> 00:09.500 |
|
最後にもう一度、 私のひどい成績を見て、 速やかに次に進むことにしよう。 |
|
|
|
00:09.530 --> 00:13.760 |
|
フロンティアとともに仕事をする時が来たのだ。 |
|
|
|
00:13.910 --> 00:18.560 |
|
まずはGPT4ミニ(ミニチュア版)から。 |
|
|
|
00:18.650 --> 00:20.810 |
|
うーん、 でもそんなに多くないよ。 |
|
|
|
00:20.840 --> 00:22.400 |
|
まだまだ未開の地だ。 |
|
|
|
00:22.430 --> 00:23.210 |
|
LLM。 |
|
|
|
00:23.420 --> 00:28.310 |
|
私たちがこれまで手掛けてきた他のモデルと比べてどうなのか、 楽しみだね。 |
|
|
|
00:28.490 --> 00:33.380 |
|
だからまず、 GPT4のプロンプトを作る必要がある。 |
|
|
|
00:33.680 --> 00:46.070 |
|
フロンティア・モデルを使って、 このような実際の商業的な問題をどのように解決していくかを学ぶのですから。 |
|
|
|
00:46.100 --> 00:53.210 |
|
しかし、 この作業の多くは、 私たちがこれまで行ってきた多くの作業と似ているため、 あなたにとってはごく自然なことだろう。 |
|
|
|
00:53.240 --> 00:57.590 |
|
最初にやることは、 itemに対するメッセージ関数を書くことだ。 |
|
|
|
00:57.590 --> 01:03.680 |
|
このデータ・ポイントをGPT |
|
|
|
01:03.680 --> 01:10.490 |
|
4のプロンプトに変えたい。 |
|
|
|
01:10.670 --> 01:13.880 |
|
こうして辞書のリストを作っていく。 |
|
|
|
01:13.880 --> 01:21.170 |
|
システム・メッセージで始まり、 私たちの場合は商品の価格を見積もり、 価格だけを返信し、 |
|
|
|
01:21.200 --> 01:24.350 |
|
説明はしない。 |
|
|
|
01:24.500 --> 01:32.900 |
|
そしてユーザー・プロンプトには、 何度も見てきたこの項目のテスト・プロンプトを使う。 |
|
|
|
01:33.140 --> 01:36.500 |
|
でも、 これから少しデータを加工するんだ。 |
|
|
|
01:36.500 --> 01:41.090 |
|
そこでまず、 このテキストを1ドル単位で切り取ってみる。 |
|
|
|
01:41.120 --> 01:46.250 |
|
というのも、 オープンソースのモデルで作業する場合、 |
|
|
|
01:46.250 --> 02:01.890 |
|
彼らは学ぶべきことがたくさんあるのに、 80億というわずかなパラメータしかないからだ。 |
|
|
|
02:01.920 --> 02:07.170 |
|
これらのフロンティアモデルに関しては、 明らかに能力が高く、 はるかにパワフルであり、 |
|
|
|
02:07.170 --> 02:09.750 |
|
同じようなガードレールは必要ない。 |
|
|
|
02:09.840 --> 02:17.280 |
|
GPT4やミニは、 セントも含めて価格を予測することができ、 非常に満足している。 |
|
|
|
02:17.280 --> 02:20.790 |
|
だから、 このケースでは不必要なガードレールだった。 |
|
|
|
02:20.790 --> 02:21.990 |
|
だから外したんだ。 |
|
|
|
02:22.440 --> 02:27.540 |
|
また、 プロンプトの一番最後の、 価格がドルであることを示す箇所も削除した。 |
|
|
|
02:27.570 --> 02:38.100 |
|
なぜこれを外したかというと、 メッセージのリストを作るときに、 まずシステム役割の下にシステム・プロンプトを入れたからだ。 |
|
|
|
02:38.130 --> 02:45.840 |
|
次にユーザーを追加し、 ユーザー・プロンプトを入力し、 さらにアシスタントからのメッセージを入力する。 |
|
|
|
02:45.840 --> 02:50.070 |
|
つまり、 GPTフォーミニからの返信のようなものだ。 |
|
|
|
02:50.310 --> 02:50.610 |
|
ええと。 |
|
|
|
02:50.610 --> 02:56.700 |
|
そしてその返事は、 値段はドルで、 あとは何もない。 |
|
|
|
02:57.300 --> 03:08.550 |
|
そのため、 次のトークンに値段を記入するのに耐えがたいほど必死になる。 |
|
|
|
03:08.610 --> 03:15.630 |
|
そうすると、 次のトークン、 つまり、 この製品の最もありそうな価格で、 |
|
|
|
03:15.630 --> 03:23.010 |
|
それを埋めなければならないように感じるんだ。 |
|
|
|
03:23.010 --> 03:31.890 |
|
だから、 アシスタントの反応になるようなトリックを試してみるのはいいことだよ。 |
|
|
|
03:32.280 --> 03:35.430 |
|
そう、 それが僕らの仕事なんだ。 |
|
|
|
03:35.460 --> 03:38.850 |
|
さっそく、 ええと、 これを試して見ましょう。 |
|
|
|
03:38.880 --> 03:47.430 |
|
最初のテスト・データ・ポイントにメッセージを入力し、 どのように表示されるかを確認すると、 "Roll |
|
|
|
03:47.430 --> 03:52.890 |
|
System "と表示され、 これがシステム・プロンプトです。 |
|
|
|
03:52.980 --> 03:55.320 |
|
それがまったく意味のあることであればいいのだが。 |
|
|
|
03:55.380 --> 04:00.120 |
|
そして、 ユーザーとコンテンツは、 いくらかかるのか? |
|
|
|
04:00.120 --> 04:11.310 |
|
そして、 ある品物を見て、 ああ、 これらの品物の値段を当てなければならなかったという恐ろしい思い出があるんだ。 |
|
|
|
04:11.310 --> 04:13.740 |
|
それを見るだけで、 私は恐怖でいっぱいになる。 |
|
|
|
04:13.800 --> 04:15.780 |
|
ああ、 でも今回は僕の問題じゃない。 |
|
|
|
04:15.780 --> 04:17.760 |
|
GPT4かミニの問題になるだろう。 |
|
|
|
04:17.760 --> 04:23.910 |
|
だから、 ユーザー・プロンプトの一部としてそれを受け取り、 アシスタンス・レスポンスが与えられる。 |
|
|
|
04:23.910 --> 04:26.850 |
|
それ自身の反応価格はドルだ。 |
|
|
|
04:27.390 --> 04:31.620 |
|
そしてこの会話を続けようとする。 |
|
|
|
04:31.890 --> 04:36.810 |
|
ええと、 だからこれは、 GPT4を送るための素晴らしい、 ええと、 プロンプトなんだ。 |
|
|
|
04:36.840 --> 04:51.840 |
|
これは文字列sを受け取り、 その文字列から浮動小数点数を抽出する。 |
|
|
|
04:51.930 --> 05:04.840 |
|
例えば、 GPT4からストリングが戻ってきたとすると、 その価格は99ドル。 |
|
|
|
05:04.840 --> 05:04.840 |
|
99. |
|
|
|
05:05.290 --> 05:08.110 |
|
うーん、 なぜならブラブラだからだ。 |
|
|
|
05:09.610 --> 05:16.120 |
|
もし、 私の指示に従わず、 ただ饒舌になることを決めたとしても、 私たちはそれを剥奪する。 |
|
|
|
05:16.150 --> 05:16.420 |
|
おっと。 |
|
|
|
05:16.420 --> 05:17.680 |
|
表に出すな。 |
|
|
|
05:17.740 --> 05:23.260 |
|
それでも99番を外す。 そこに99人。 |
|
|
|
05:23.560 --> 05:24.250 |
|
だから、 そうなるだろう。 |
|
|
|
05:24.280 --> 05:25.390 |
|
うまくいくだろう。 |
|
|
|
05:26.290 --> 05:27.280 |
|
ああ、 わかった。 |
|
|
|
05:27.280 --> 05:30.520 |
|
ということで、 慎重に下にスクロールしていく。 |
|
|
|
05:30.550 --> 05:33.880 |
|
それが、 大きな、 ええと、 機能につながる。 |
|
|
|
05:33.910 --> 05:34.930 |
|
これがそうだ。 |
|
|
|
05:34.930 --> 05:36.280 |
|
これが本物だ。 |
|
|
|
05:36.310 --> 05:42.970 |
|
GPT4ミニをアイテムで呼び出すんだ。 |
|
|
|
05:43.000 --> 05:47.830 |
|
もちろん、 OpenAI ChatGPT completions dot createと言っている。 |
|
|
|
05:48.190 --> 05:51.940 |
|
ええと、 GPT4ミニというモデルでパスするんだ。 |
|
|
|
05:52.150 --> 05:59.290 |
|
このシードは、 GPT4に、 同じ入力で同じ答えを出すように、 |
|
|
|
05:59.480 --> 06:11.060 |
|
再現性を持たせたいことを伝えるためのものだ。 |
|
|
|
06:11.420 --> 06:16.250 |
|
現在、 我々のGPTであるオープンAIは、 モデルを変更するため、 常にこれを尊重することはできない。 |
|
|
|
06:16.250 --> 06:19.310 |
|
だから、 モデルが変わることもある。 |
|
|
|
06:19.310 --> 06:21.710 |
|
だから、 この数字は変わるだろう。 |
|
|
|
06:21.830 --> 06:24.200 |
|
しかし、 ベストを尽くしている。 |
|
|
|
06:24.200 --> 06:27.860 |
|
同じシードで2回コールすれば、 同じ答えが返ってくるはずだ。 |
|
|
|
06:28.220 --> 06:29.630 |
|
だから、 それはいいことだ。 |
|
|
|
06:30.110 --> 06:36.890 |
|
そして、 最大トークンの数を少なめにしているのは、 私たちがこのように素晴らしいティーアップを施したことを知っているからで、 実際にそうであるように、 |
|
|
|
06:36.890 --> 06:40.400 |
|
本当に価格が埋まることを期待しているんだ。 |
|
|
|
06:40.550 --> 06:44.690 |
|
だから、 無駄なお金を使う必要はないんだ。 |
|
|
|
06:44.690 --> 06:52.520 |
|
そして言っておくが、 我々はこれをやっているので、 この作戦全体は250のデータポイントすべてにわたってとてもとても安いのだ。 |
|
|
|
06:52.610 --> 06:55.760 |
|
うーん、 とにかくアメリカではまだ僕のためにあるんだ。 |
|
|
|
06:55.790 --> 06:58.870 |
|
を買うよりずっと安い。 |
|
|
|
06:58.870 --> 07:03.470 |
|
まあ、 ユーザーインターフェイスに表示されないほどわずかな上昇だ。 |
|
|
|
07:03.470 --> 07:05.300 |
|
1セントにも満たない。 |
|
|
|
07:05.480 --> 07:14.120 |
|
つまり、 短い入力トークンとaと5つの出力トークンなので、 実に使い安い。 |
|
|
|
07:14.690 --> 07:18.140 |
|
その前に、 何が起こっているのかを明かさないように注意したい。 |
|
|
|
07:18.260 --> 07:22.280 |
|
ええと、 ええと、 その前に、 ちょっと試してみましょう。 |
|
|
|
07:22.280 --> 07:24.470 |
|
GPT4を実行しよう。 |
|
|
|
07:24.470 --> 07:32.510 |
|
ああ、 ミニ、 そしてテスト・オブ・ゼロと呼んで、 そのパフォーマンスを確かめよう。 |
|
|
|
07:32.570 --> 07:38.210 |
|
それを実行すると、 260という答えが返ってくる。 0. |
|
|
|
07:38.360 --> 07:42.140 |
|
GPT4ミニというのを使っている。 |
|
|
|
07:42.170 --> 07:44.480 |
|
その後、 何かを送ってきた。 |
|
|
|
07:44.510 --> 07:53.870 |
|
そして、 この関数を通し、 260を最初の商品の価格として取り出した。 |
|
|
|
07:54.140 --> 07:59.060 |
|
ええと、 最初の商品の値段を調べた方がいいんじゃない? |
|
|
|
07:59.060 --> 07:59.810 |
|
いくつか、 ええと。 |
|
|
|
08:02.000 --> 08:05.360 |
|
それで60になり、 数字は3、 7、 4となる。 |
|
|
|
08:05.360 --> 08:07.220 |
|
だから、 あれはかなり遠回りだった。 |
|
|
|
08:07.580 --> 08:08.030 |
|
うーん。 |
|
|
|
08:08.060 --> 08:14.690 |
|
よし、 じゃあ、 GPTのテスター・ドット・テスト・パッシングにミニとテストを依頼する時が来た。 |
|
|
|
08:14.690 --> 08:20.720 |
|
もう何回か見てもらってると思うんだけど、 かなり早く終わるんだけど、 それでも全部やるのに2、 |
|
|
|
08:20.720 --> 08:22.910 |
|
3分はかかるんだ。 |
|
|
|
08:22.940 --> 08:27.620 |
|
だから、 その間にあなたがそこに座っている必要はないと思ったし、 結果をスクロールできるようにしたんだ。 |
|
|
|
08:27.620 --> 08:33.410 |
|
でもその前に、 GPT 4ミニがどうなるか、 あなたの推測を聞かせてください。 |
|
|
|
08:33.410 --> 08:36.380 |
|
オリジナルとの対決はどうなる? |
|
|
|
08:36.410 --> 08:37.730 |
|
平均的な数字に対して? |
|
|
|
08:37.730 --> 08:42.440 |
|
あなたのような人類を相手にどう戦うのか? |
|
|
|
08:42.440 --> 08:50.990 |
|
そして、 40万もの例を使ってトレーニングした最先端の伝統的なモデルに対して、 どのような結果をもたらすのだろうか? |
|
|
|
08:50.990 --> 08:51.860 |
|
見てみよう。 |
|
|
|
08:51.860 --> 08:55.580 |
|
それで、 これを実行した結果がこれだ。 |
|
|
|
08:55.580 --> 09:07.640 |
|
だから、 いくつかの黄色と赤色は確かに再現性がある。 |
|
|
|
09:08.210 --> 09:12.680 |
|
うーん、 緑と赤が見えるね。 |
|
|
|
09:12.710 --> 09:17.480 |
|
緑が多いが、 黄色や赤もある。 |
|
|
|
09:18.710 --> 09:20.240 |
|
スピードを上げるよ。 |
|
|
|
09:20.270 --> 09:22.400 |
|
うわぁ、 緑がいっぱいだ。 |
|
|
|
09:23.360 --> 09:24.710 |
|
もっと赤もあれば、 緑もある。 |
|
|
|
09:24.710 --> 09:33.320 |
|
そして、 これがGPTの4つのミニ・フロンティア・モデルの結果である。 |
|
|
|
09:33.740 --> 09:36.110 |
|
他を押しつぶした。 |
|
|
|
09:36.110 --> 09:37.250 |
|
潰した。 |
|
|
|
09:37.250 --> 09:42.770 |
|
79ドルになっているのがわかるだろう。 58. |
|
|
|
09:42.920 --> 09:52.400 |
|
人類よりも、 他の、 ええと、 ええと、 他のすべてのモデルよりも、 ええと、 ええと、 他のすべてのモデルよりも、 ええと、 |
|
|
|
09:52.400 --> 09:58.550 |
|
ええと、 他のすべてのモデルよりも、 ええと、 ええと、 ええと、 ええと、 ランダムフォレストを含めて、 |
|
|
|
09:58.550 --> 10:03.540 |
|
圧倒的に優れている。 |
|
|
|
10:03.540 --> 10:09.360 |
|
また、 トレーニングデータのテストが汚染されるリスクはあるが、 それが正確に行われるケースはほとんどないので、 |
|
|
|
10:09.360 --> 10:13.650 |
|
その可能性は低いと思う。 |
|
|
|
10:13.650 --> 10:17.730 |
|
だから、 すでに知っていることを再確認したわけではない。 |
|
|
|
10:17.880 --> 10:25.560 |
|
そのために訓練されているんだ。 |
|
|
|
10:25.560 --> 10:34.860 |
|
タイヤがいくらで、 ヘッドランプがいくらで、 シャワーの蛇口がいくらで、 その他もろもろ、 素晴らしい視点を持っている。 |
|
|
|
10:34.860 --> 10:37.620 |
|
そのことは、 私にはまったく分からないので、 とてつもない問題になった。 |
|
|
|
10:37.710 --> 10:40.260 |
|
でも、 実にいいヒントがあったよ。 |
|
|
|
10:40.350 --> 10:46.260 |
|
そして、 その手がかりは、 これまで取り組んできたすべてのモデルを打ち負かすほどだった。 |
|
|
|
10:46.260 --> 10:47.910 |
|
とてもクールだよ。 |
|
|
|
10:47.910 --> 10:50.940 |
|
これを見るのはとても楽しかった。 |
|
|
|
10:51.060 --> 10:59.370 |
|
そして、 次のビデオでは、 さらにステップアップして、 より大きな従兄弟がどうなるか見てみよう。
|
|
|