From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
106 lines
4.5 KiB
106 lines
4.5 KiB
WEBVTT |
|
|
|
00:00.110 --> 00:07.760 |
|
ここで、 コンテキスト・ウィンドウと呼ばれるLMSの極めて重要な特性について、 明確に説明したい。 |
|
|
|
00:07.760 --> 00:20.300 |
|
コンテキスト・ウィンドウは、 LLMが次のトークンを生成しようとしているときに、 その時点で検査できるトークンの総数を示している。 |
|
|
|
00:20.300 --> 00:26.150 |
|
LLMの仕事は、 前に来たトークンの数が与えられたときに、 次に来る可能性の高いトークンを生成することです。 |
|
|
|
00:26.150 --> 00:31.190 |
|
その予測をするために調べることのできるトークンの数は、 コンテキスト・ウィンドウによって制限されます。 |
|
|
|
00:31.190 --> 00:40.910 |
|
コンテキスト・ウィンドウは、 LLMのサイズ、 パラメータの数、 LLMのアーキテクチャによって制限されます。 |
|
|
|
00:40.910 --> 00:42.380 |
|
つまり、 どういうことなのか? |
|
|
|
00:42.380 --> 00:47.030 |
|
入力トークンがいくつあれば、 出力トークンを作ることができるということですか? |
|
|
|
00:47.030 --> 00:47.660 |
|
そういうことだ。 |
|
|
|
00:47.690 --> 00:51.080 |
|
しかし、 それが実際に何を意味するのかを明確にする価値はある。 |
|
|
|
00:51.320 --> 01:00.800 |
|
最初のLLM、 つまり最初のOpenAIの呼び出しに取り組んだとき、 システムプロンプトとユーザープロンプトがあったのを覚えているだろう。 |
|
|
|
01:00.800 --> 01:07.730 |
|
これはすべてLLMへの入力の一部であり、 LLMは入力プロンプトの中で最も可能性の高い次のトークンを予測する。 |
|
|
|
01:07.760 --> 01:11.150 |
|
私たちはあるウェブサイトを見た。 |
|
|
|
01:11.150 --> 01:15.800 |
|
そして、 最も可能性の高い次のトークンは、 そのウェブサイトの要約だった。 |
|
|
|
01:15.830 --> 01:22.220 |
|
さて、 ChatGPTのようなものでチャットをする場合、 いくつかの入力を渡すと、 出力を生成し、 |
|
|
|
01:22.250 --> 01:25.400 |
|
また別の質問をするかもしれません。 |
|
|
|
01:25.430 --> 01:31.640 |
|
実際、 ChatGPTはあなたが話していることを記憶しているようです。 |
|
|
|
01:31.670 --> 01:36.710 |
|
スレッド間の文脈は保たれるが、 これは幻想のようなものだ。 |
|
|
|
01:36.710 --> 01:38.360 |
|
ちょっとした呪術的なトリックだ。 |
|
|
|
01:38.360 --> 01:45.410 |
|
実際に起こっていることは、 ChatGPTと会話するたびに、 これまでの会話全体、 |
|
|
|
01:45.410 --> 01:53.300 |
|
ユーザーが入力を促し、 その応答が長いプロンプトのように再び渡されるということです。 |
|
|
|
01:53.300 --> 02:00.170 |
|
そして、 ここまでの話を踏まえて、 次に何が起こる可能性が高いか? |
|
|
|
02:00.380 --> 02:05.450 |
|
つまり、 コンテキスト・ウィンドウが教えてくれるのは、 これがトークンの総量だということだ。 |
|
|
|
02:05.480 --> 02:09.750 |
|
おそらくオリジナルのプロンプト、 システムプロンプトを含む情報の総量。 |
|
|
|
02:09.780 --> 02:12.990 |
|
ユーザはあなたがその応答をした質問を促した。 |
|
|
|
02:12.990 --> 02:18.960 |
|
あなたの次の質問、 それに対する返答、 その時と今のあなたの次の質問。 |
|
|
|
02:18.960 --> 02:27.180 |
|
新たな人脈、 新たな人脈、 新たなトークンを生み出さなければならないのだ。 |
|
|
|
02:27.180 --> 02:38.130 |
|
つまり、 コンテキスト・ウィンドウは、 これまでのすべての会話、 入力、 そして次のトークンを予測するまでの後続の会話の合計となる。 |
|
|
|
02:38.370 --> 02:43.590 |
|
だから、 最初に会話を始めるときには、 それを念頭に置くことが重要なんだ。 |
|
|
|
02:43.590 --> 02:47.130 |
|
コンテキストウィンドウは、 現在のプロンプトだけにフィットすればよい。 |
|
|
|
02:47.130 --> 02:54.990 |
|
しかし、 会話が続くにつれて、 その文脈を維持できるように、 前に言われたことをどんどん合わせていく必要がある。 |
|
|
|
02:55.200 --> 02:59.070 |
|
マルチショット・プロンプトなどでは特に重要です。 |
|
|
|
02:59.070 --> 03:03.180 |
|
例えば、 シェークスピア全集について質問したい場合、 |
|
|
|
03:03.180 --> 03:09.060 |
|
コンテキストウィンドウに1. 一度に200万トークンを獲得。 |
|
|
|
03:09.060 --> 03:10.560 |
|
そういうことだ。 |
|
|
|
03:10.560 --> 03:13.770 |
|
要するに、 これがコンテキスト・ウィンドウだ。
|
|
|