From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
250 lines
8.6 KiB
250 lines
8.6 KiB
WEBVTT |
|
|
|
00:00.740 --> 00:01.910 |
|
お帰りなさい。 |
|
|
|
00:01.910 --> 00:04.220 |
|
フルエージェントの枠組みを作る時が来た。 |
|
|
|
00:04.220 --> 00:05.630 |
|
すごく楽しみだよ。 |
|
|
|
00:05.660 --> 00:11.510 |
|
私たちがこれまでやってきたことをすべてまとめている。 |
|
|
|
00:11.720 --> 00:13.730 |
|
ええと、 簡単にまとめると |
|
|
|
00:13.730 --> 00:14.870 |
|
エージェントのフレームワーク。 |
|
|
|
00:14.960 --> 00:17.840 |
|
エージェントという言葉は......さっきも言ったように、 包括的な言葉なんだ。 |
|
|
|
00:17.840 --> 00:20.120 |
|
さまざまなテクニックを指すことがある。 |
|
|
|
00:20.240 --> 00:23.060 |
|
例えば、 この5つのうちのどれでもいい。 |
|
|
|
00:23.090 --> 00:29.420 |
|
それは、 複雑な問題をより小さなステップに分割し、 複数のモデルが異なる専門的なタスクを実行することである。 |
|
|
|
00:29.420 --> 00:33.890 |
|
それは、 LLMが特別な能力を与えるツールを持つ能力である。 |
|
|
|
00:33.890 --> 00:43.160 |
|
エージェント環境、 つまりエージェントが協力できるようにするためのセットアップやエージェントのフレームワークのことです。 |
|
|
|
00:43.190 --> 00:50.270 |
|
つまり、 1人のLLMがプランナーとして機能し、 タスクをより小さなものに分割し、 それ自身がLLMやソフトウェアの一部となりうるスペシャリストがそれを実行する、 |
|
|
|
00:50.270 --> 00:55.100 |
|
というアイデアだ。 |
|
|
|
00:55.280 --> 01:00.210 |
|
それは、 エージェントが、 単にプロンプトに応答するだけでなく、 独自の自律的なエージェンシーを持ち、 |
|
|
|
01:00.210 --> 01:19.110 |
|
例えば、 記憶力を持ち、 ニュース情報をウェブにかき集め、 それを使って株の売り買いを判断するようなことができるようなエージェントを考えているときに、 人々はエージェント型AIについて話すということです。 |
|
|
|
01:19.110 --> 01:26.670 |
|
それは、 リクエスト・レスポンス・チャットという文脈の外側に存在するものだ。 |
|
|
|
01:26.670 --> 01:34.890 |
|
つまり、 エージェント型AIやエージェントの利用について語るとき、 人々が言及するのはこうした種類の方法ばかりなのだ。 |
|
|
|
01:34.890 --> 01:39.510 |
|
そして、 私たちがここでやろうとしていることは、 1番と2番、 |
|
|
|
01:39.510 --> 01:42.210 |
|
そして3番と5番についてだ。 |
|
|
|
01:42.300 --> 01:45.090 |
|
しかし、 我々はプランニングを行うLLMを構築しているわけではない。 |
|
|
|
01:45.090 --> 01:47.280 |
|
それはこのセッションでやることではない。 |
|
|
|
01:47.280 --> 01:57.000 |
|
というわけで、 これは以前使っていたものにかなり近いチャット方法なので、 多少はなじみがあるはずだ。 |
|
|
|
01:57.000 --> 01:59.710 |
|
だから、 これについてはいくつか知っていることがあるだろう。 |
|
|
|
01:59.710 --> 02:07.210 |
|
このセクションは、 私たちがよく知っているいつものチャットラジオ機能だ。 |
|
|
|
02:07.210 --> 02:16.180 |
|
メッセージと履歴を受け取り、 その履歴をOpenAIが期待するフォーマットに展開し、 |
|
|
|
02:16.210 --> 02:20.200 |
|
レスポンスを呼び出す。 |
|
|
|
02:20.440 --> 02:26.080 |
|
この部分は、 私たちの道具の使い方なので、 皆さんも見覚えがあるだろう。 |
|
|
|
02:26.080 --> 02:32.860 |
|
モデルがツールを呼び出したいかどうかを調べ、 呼び出したい場合はそのツールを処理する。 |
|
|
|
02:33.010 --> 02:44.710 |
|
その行は、 もし人が、 もしモデルがチケットの値段を調べるためにツールを実行する必要があると判断した場合、 |
|
|
|
02:44.710 --> 02:56.200 |
|
アーティストに、 調べられる都市を表す画像を生成させるというものです。 |
|
|
|
02:56.200 --> 02:58.160 |
|
そうだ。 |
|
|
|
02:58.220 --> 03:00.050 |
|
ああ、 それは......いいね。 |
|
|
|
03:00.050 --> 03:04.940 |
|
それに、 私がバックシティをパスしたのには理由があるんだ。 |
|
|
|
03:04.970 --> 03:05.690 |
|
これだ。 |
|
|
|
03:05.690 --> 03:09.800 |
|
だから、 アーティストに渡すために市が必要だったんだ。 |
|
|
|
03:10.130 --> 03:13.880 |
|
ええと、 それから、 これは全部まったく同じなんだ。 |
|
|
|
03:13.880 --> 03:16.040 |
|
もうひとつ、 小さな変更がある。 |
|
|
|
03:16.040 --> 03:26.840 |
|
つまり、 モデルからの反応を収集したら、 トーカーを呼び出して反応を確認する。 |
|
|
|
03:26.840 --> 03:29.780 |
|
これが私たちのチャットだ。 |
|
|
|
03:29.960 --> 03:32.270 |
|
ええと、 それを実行しよう。 |
|
|
|
03:33.920 --> 03:41.420 |
|
さて、 Gradioがいかに簡単かをいつも自慢してきたので、 このコードはもう少し複雑だと言っておく。 |
|
|
|
03:41.420 --> 03:46.970 |
|
お気づきの方もいらっしゃるかもしれませんが、 その理由は、 私たちが今、 もう少し、 画像を見せたいからです。 |
|
|
|
03:46.970 --> 03:55.550 |
|
私たちは、 Gradioが私たちのために提供してくれるデフォルトの、 ある種の既製品の、 えー、 チャット・ユーザー・インターフェースの外に出ようとしています。 |
|
|
|
03:55.550 --> 03:58.120 |
|
そして、 自分たちでインターフェースを構築しなければならない。 |
|
|
|
03:58.150 --> 04:07.090 |
|
その結果、 入力やボタンのような様々なコンポーネントをまとめたインターフェースを作らなければならなくなった。 |
|
|
|
04:07.300 --> 04:10.180 |
|
しかし、 私が言いたいのは、 これでも実は超簡単だということだ。 |
|
|
|
04:10.180 --> 04:11.470 |
|
まだ英語のように読める。 |
|
|
|
04:11.470 --> 04:13.030 |
|
何が起こっているかははっきりしている。 |
|
|
|
04:13.030 --> 04:19.330 |
|
ここで起こっていることがすべてわかるだろうし、 願わくば、 これがあなたにとってかなり読みやすいものになることを願っている。 |
|
|
|
04:19.330 --> 04:26.740 |
|
そしてこれを利用して、 より洗練されたチャットやより洗練されたUIを自分で構築することができる。 |
|
|
|
04:26.740 --> 04:36.850 |
|
このような背景を踏まえて、 これからこれを実行に移し、 それを表示させる。 |
|
|
|
04:37.240 --> 04:41.650 |
|
そしてここで、 新しいアシスタントとのおしゃべりが始まった。 |
|
|
|
04:41.680 --> 04:43.300 |
|
試してみよう。 |
|
|
|
04:47.740 --> 04:48.280 |
|
こんにちは。 |
|
|
|
04:48.280 --> 04:49.630 |
|
今日はどのようなご用件でしょうか? |
|
|
|
04:51.040 --> 04:52.090 |
|
気に入ったかい? |
|
|
|
04:52.240 --> 04:53.650 |
|
それは私たちに語りかけてきた。 |
|
|
|
04:53.740 --> 04:54.520 |
|
これでよし。 |
|
|
|
04:54.520 --> 04:56.620 |
|
それがエージェントの最初の使い方だ。 |
|
|
|
04:56.620 --> 05:07.510 |
|
私たちは、 音声を作成できるスペシャリスト・モデルを持っていて、 それをチャットボットに統合して、 チャットボットが私たちに話しかけられるようにしたんだ。 |
|
|
|
05:15.760 --> 05:17.020 |
|
素晴らしい選択だ。 |
|
|
|
05:17.080 --> 05:20.410 |
|
ロンドンへの往復航空券の料金をお知りになりたいですか? |
|
|
|
05:22.930 --> 05:24.220 |
|
これでよし。 |
|
|
|
05:24.250 --> 05:27.220 |
|
それはエンターテインメントだ。 |
|
|
|
05:34.240 --> 05:35.710 |
|
間があるのは分かっている。 |
|
|
|
05:43.090 --> 05:44.080 |
|
さあ、 始めよう。 |
|
|
|
05:48.040 --> 05:51.220 |
|
ロンドンまでの往復航空券は799ドル。 |
|
|
|
05:53.120 --> 05:54.920 |
|
そうだ。 |
|
|
|
05:54.950 --> 05:58.340 |
|
ロンドンまでの往復チケットは7ドル。 99. |
|
|
|
05:58.340 --> 06:00.290 |
|
そして、 そこにはイメージがある。 |
|
|
|
06:00.290 --> 06:04.220 |
|
そして、 その画像は壮大に見える。 |
|
|
|
06:04.370 --> 06:06.290 |
|
真ん中にロンドンバス。 |
|
|
|
06:06.290 --> 06:07.700 |
|
ビッグベンがある。 |
|
|
|
06:07.700 --> 06:10.400 |
|
ブリッジがある。 |
|
|
|
06:10.400 --> 06:11.690 |
|
これは... |
|
|
|
06:11.720 --> 06:14.420 |
|
ああ、 タクシーが見えるね。 |
|
|
|
06:14.450 --> 06:18.950 |
|
素晴らしいモンタージュ映像だ。 |
|
|
|
06:19.160 --> 06:28.280 |
|
ほんの少しのコードで実現できることの素晴らしい例だ。 |
|
|
|
06:28.520 --> 06:37.550 |
|
そこで、 航空会社のAIアシスタントと会話するためのマルチモーダル・エージェント・フレームワークの一部として、 |
|
|
|
06:37.550 --> 06:48.050 |
|
音声と画像を含むマルチモーダル・アプリを紹介しよう。 |
|
|
|
06:48.140 --> 06:49.280 |
|
素晴らしい仕事だ。 |
|
|
|
06:49.310 --> 06:52.790 |
|
また今週のチャレンジと総括でお会いしましょう。
|
|
|