You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

106 lines
4.5 KiB

WEBVTT
00:00.110 --> 00:07.760
ここで、 コンテキスト・ウィンドウと呼ばれるLMSの極めて重要な特性について、 明確に説明したい。
00:07.760 --> 00:20.300
コンテキスト・ウィンドウは、 LLMが次のトークンを生成しようとしているときに、 その時点で検査できるトークンの総数を示している。
00:20.300 --> 00:26.150
LLMの仕事は、 前に来たトークンの数が与えられたときに、 次に来る可能性の高いトークンを生成することです。
00:26.150 --> 00:31.190
その予測をするために調べることのできるトークンの数は、 コンテキスト・ウィンドウによって制限されます。
00:31.190 --> 00:40.910
コンテキスト・ウィンドウは、 LLMのサイズ、 パラメータの数、 LLMのアーキテクチャによって制限されます。
00:40.910 --> 00:42.380
つまり、 どういうことなのか?
00:42.380 --> 00:47.030
入力トークンがいくつあれば、 出力トークンを作ることができるということですか?
00:47.030 --> 00:47.660
そういうことだ。
00:47.690 --> 00:51.080
しかし、 それが実際に何を意味するのかを明確にする価値はある。
00:51.320 --> 01:00.800
最初のLLM、 つまり最初のOpenAIの呼び出しに取り組んだとき、 システムプロンプトとユーザープロンプトがあったのを覚えているだろう。
01:00.800 --> 01:07.730
これはすべてLLMへの入力の一部であり、 LLMは入力プロンプトの中で最も可能性の高い次のトークンを予測する。
01:07.760 --> 01:11.150
私たちはあるウェブサイトを見た。
01:11.150 --> 01:15.800
そして、 最も可能性の高い次のトークンは、 そのウェブサイトの要約だった。
01:15.830 --> 01:22.220
さて、 ChatGPTのようなものでチャットをする場合、 いくつかの入力を渡すと、 出力を生成し、
01:22.250 --> 01:25.400
また別の質問をするかもしれません。
01:25.430 --> 01:31.640
実際、 ChatGPTはあなたが話していることを記憶しているようです。
01:31.670 --> 01:36.710
スレッド間の文脈は保たれるが、 これは幻想のようなものだ。
01:36.710 --> 01:38.360
ちょっとした呪術的なトリックだ。
01:38.360 --> 01:45.410
実際に起こっていることは、 ChatGPTと会話するたびに、 これまでの会話全体、
01:45.410 --> 01:53.300
ユーザーが入力を促し、 その応答が長いプロンプトのように再び渡されるということです。
01:53.300 --> 02:00.170
そして、 ここまでの話を踏まえて、 次に何が起こる可能性が高いか?
02:00.380 --> 02:05.450
つまり、 コンテキスト・ウィンドウが教えてくれるのは、 これがトークンの総量だということだ。
02:05.480 --> 02:09.750
おそらくオリジナルのプロンプト、 システムプロンプトを含む情報の総量。
02:09.780 --> 02:12.990
ユーザはあなたがその応答をした質問を促した。
02:12.990 --> 02:18.960
あなたの次の質問、 それに対する返答、 その時と今のあなたの次の質問。
02:18.960 --> 02:27.180
新たな人脈、 新たな人脈、 新たなトークンを生み出さなければならないのだ。
02:27.180 --> 02:38.130
つまり、 コンテキスト・ウィンドウは、 これまでのすべての会話、 入力、 そして次のトークンを予測するまでの後続の会話の合計となる。
02:38.370 --> 02:43.590
だから、 最初に会話を始めるときには、 それを念頭に置くことが重要なんだ。
02:43.590 --> 02:47.130
コンテキストウィンドウは、 現在のプロンプトだけにフィットすればよい。
02:47.130 --> 02:54.990
しかし、 会話が続くにつれて、 その文脈を維持できるように、 前に言われたことをどんどん合わせていく必要がある。
02:55.200 --> 02:59.070
マルチショット・プロンプトなどでは特に重要です。
02:59.070 --> 03:03.180
例えば、 シェークスピア全集について質問したい場合、
03:03.180 --> 03:09.060
コンテキストウィンドウに1. 一度に200万トークンを獲得。
03:09.060 --> 03:10.560
そういうことだ。
03:10.560 --> 03:13.770
要するに、 これがコンテキスト・ウィンドウだ。