From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
127 lines
5.2 KiB
127 lines
5.2 KiB
WEBVTT |
|
|
|
00:00.860 --> 00:04.520 |
|
そして、 フラグとの旅を続けることを歓迎する。 |
|
|
|
00:04.520 --> 00:08.120 |
|
そして今日はリャン・チェンのお披露目だ。 |
|
|
|
00:08.120 --> 00:12.410 |
|
そこでまず、 Hragに関してすでにできることを簡単に覚えておこう。 |
|
|
|
00:12.410 --> 00:16.280 |
|
さて、 前回はHragのシンプルなアイデアについてお話した。 |
|
|
|
00:16.280 --> 00:21.380 |
|
ただ、 関連するコンテクストを検索して、 それをプロンプトに含めることができるというアイデアだ。 |
|
|
|
00:21.380 --> 00:27.380 |
|
そして、 ベクトルについて少し話をし、 テキストがどのようにその意味を表すベクトルにマッピングされるのかについて話した。 |
|
|
|
00:27.380 --> 00:34.340 |
|
そして、 これらのベクトルを使って、 プロンプトに関連するコンテクストをどのように選択するかについて、 よりインテリジェントになろうとすることができる。 |
|
|
|
00:34.520 --> 00:37.220 |
|
そこで今日は、 ラング・チェーンについて話そう。 |
|
|
|
00:37.220 --> 00:40.400 |
|
フレームワークとその長所と短所について説明しよう。 |
|
|
|
00:40.400 --> 00:47.060 |
|
ラングチェーンを使って知識ベースを読み込み、 関連する情報の塊に分割し、 |
|
|
|
00:47.060 --> 00:51.590 |
|
後でベクターデータベースに入れて検索する。 |
|
|
|
00:51.830 --> 00:54.830 |
|
ラング・チェーンの裏話をしよう。 |
|
|
|
00:54.830 --> 00:56.810 |
|
比較的最近のフレームワークだ。 |
|
|
|
00:56.810 --> 01:11.840 |
|
LLMは2022年後半に創設され、 その主な目的は、 人々がLLMアプリケーションを素早く構築できるようにすることである。 |
|
|
|
01:11.930 --> 01:19.860 |
|
ラング・チェーン表現言語と呼ばれる独自の宣言言語がある。 |
|
|
|
01:19.890 --> 01:23.280 |
|
LCLを使うつもりはない。 |
|
|
|
01:23.280 --> 01:29.820 |
|
特にその一部をお見せしますが、 Pythonのコードを使うだけで、 もっと簡単にラング・チェインを使う方法があります。 |
|
|
|
01:30.330 --> 01:31.980 |
|
では、 長所と短所は何か? |
|
|
|
01:31.980 --> 01:40.890 |
|
そのため、 アシストやラグといった一般的なことを行うアプリケーションの作成が大幅に簡素化される。 |
|
|
|
01:40.920 --> 01:44.310 |
|
これからわかるように、 これは文字通り数行のコードである。 |
|
|
|
01:44.310 --> 01:46.800 |
|
そのため、 市場投入までの時間が非常に短い。 |
|
|
|
01:46.800 --> 01:50.190 |
|
ボロ布のようなものに特別な魔法はない。 |
|
|
|
01:50.190 --> 01:55.470 |
|
プロンプトに追加することでベクターデータベースを検索し、 総当たり的に行うこともできる。 |
|
|
|
01:55.500 --> 02:01.260 |
|
ラングチェーンは標準化され、 単純化され、 すべてを簡単かつ迅速にする。 |
|
|
|
02:01.290 --> 02:08.520 |
|
また、 一般的なモデルのラッパーコードとしても便利で、 一度コードを書いてしまえば、 OpenAIやClaudeのような異なるモデルに切り替えても、 |
|
|
|
02:08.520 --> 02:17.400 |
|
APIのわずかな違いに対処する必要がない。 |
|
|
|
02:17.400 --> 02:19.680 |
|
自分たちでもできると想像できるだろう。 |
|
|
|
02:19.680 --> 02:26.040 |
|
Gradioを使って2つの異なるllmを呼び出したときと同じように、 小さなラッパー関数を書くことができる。 |
|
|
|
02:26.040 --> 02:28.470 |
|
それがラング・チェーンの本質的なやり方だ。 |
|
|
|
02:28.470 --> 02:32.140 |
|
彼らは共通のAPIの周りにラッパーを作った。 |
|
|
|
02:32.770 --> 02:39.730 |
|
LMSのAPIが成熟し、 ますます似たようなものになり、 これを実行するためのコードスクリプトがますます広まるにつれ、 |
|
|
|
02:39.760 --> 02:51.130 |
|
ラング・チェインのような基礎となるフレームワークの必要性は、 おそらく1年前よりも低くなっていると言わざるを得ない。 |
|
|
|
02:51.370 --> 02:53.020 |
|
だからニーズは少し減っている。 |
|
|
|
02:53.050 --> 03:00.880 |
|
ラグのようなもののためにパイプラインを独自に構築している人はたくさんいる。 |
|
|
|
03:01.000 --> 03:04.810 |
|
しかし、 ラング・チェーンはそれでもあなたに圧倒的な先手を与えてくれる。 |
|
|
|
03:04.810 --> 03:08.620 |
|
だから、 今日見てもらうように、 とても便利なフレームワークなんだ。 |
|
|
|
03:09.670 --> 03:14.050 |
|
これからやることは、 ラングチェーンを使ってナレッジベースを読み込むことだ。 |
|
|
|
03:14.050 --> 03:20.950 |
|
まず、 いくつかのツールを使って、 フォルダに保存されているドキュメントをすべて読み込む。 |
|
|
|
03:21.340 --> 03:28.150 |
|
そして、 その文書がどのような文書であるかを示すメタデータを文書に追加する。 |
|
|
|
03:28.180 --> 03:34.750 |
|
そして、 ラングチェーンを使って、 ドキュメントを有用なチャンクに分解します。 チャンクは、 テキストがうまくまとまっていて、 |
|
|
|
03:34.750 --> 03:41.500 |
|
ベクトル化してデータベースに入れる準備が整っているものを表します。 |
|
|
|
03:42.010 --> 03:45.490 |
|
それではJupyterLabに戻りましょう。
|
|
|