WEBVTT 00:00.110 --> 00:07.760 ここで、 コンテキスト・ウィンドウと呼ばれるLMSの極めて重要な特性について、 明確に説明したい。 00:07.760 --> 00:20.300 コンテキスト・ウィンドウは、 LLMが次のトークンを生成しようとしているときに、 その時点で検査できるトークンの総数を示している。 00:20.300 --> 00:26.150 LLMの仕事は、 前に来たトークンの数が与えられたときに、 次に来る可能性の高いトークンを生成することです。 00:26.150 --> 00:31.190 その予測をするために調べることのできるトークンの数は、 コンテキスト・ウィンドウによって制限されます。 00:31.190 --> 00:40.910 コンテキスト・ウィンドウは、 LLMのサイズ、 パラメータの数、 LLMのアーキテクチャによって制限されます。 00:40.910 --> 00:42.380 つまり、 どういうことなのか? 00:42.380 --> 00:47.030 入力トークンがいくつあれば、 出力トークンを作ることができるということですか? 00:47.030 --> 00:47.660 そういうことだ。 00:47.690 --> 00:51.080 しかし、 それが実際に何を意味するのかを明確にする価値はある。 00:51.320 --> 01:00.800 最初のLLM、 つまり最初のOpenAIの呼び出しに取り組んだとき、 システムプロンプトとユーザープロンプトがあったのを覚えているだろう。 01:00.800 --> 01:07.730 これはすべてLLMへの入力の一部であり、 LLMは入力プロンプトの中で最も可能性の高い次のトークンを予測する。 01:07.760 --> 01:11.150 私たちはあるウェブサイトを見た。 01:11.150 --> 01:15.800 そして、 最も可能性の高い次のトークンは、 そのウェブサイトの要約だった。 01:15.830 --> 01:22.220 さて、 ChatGPTのようなものでチャットをする場合、 いくつかの入力を渡すと、 出力を生成し、 01:22.250 --> 01:25.400 また別の質問をするかもしれません。 01:25.430 --> 01:31.640 実際、 ChatGPTはあなたが話していることを記憶しているようです。 01:31.670 --> 01:36.710 スレッド間の文脈は保たれるが、 これは幻想のようなものだ。 01:36.710 --> 01:38.360 ちょっとした呪術的なトリックだ。 01:38.360 --> 01:45.410 実際に起こっていることは、 ChatGPTと会話するたびに、 これまでの会話全体、 01:45.410 --> 01:53.300 ユーザーが入力を促し、 その応答が長いプロンプトのように再び渡されるということです。 01:53.300 --> 02:00.170 そして、 ここまでの話を踏まえて、 次に何が起こる可能性が高いか? 02:00.380 --> 02:05.450 つまり、 コンテキスト・ウィンドウが教えてくれるのは、 これがトークンの総量だということだ。 02:05.480 --> 02:09.750 おそらくオリジナルのプロンプト、 システムプロンプトを含む情報の総量。 02:09.780 --> 02:12.990 ユーザはあなたがその応答をした質問を促した。 02:12.990 --> 02:18.960 あなたの次の質問、 それに対する返答、 その時と今のあなたの次の質問。 02:18.960 --> 02:27.180 新たな人脈、 新たな人脈、 新たなトークンを生み出さなければならないのだ。 02:27.180 --> 02:38.130 つまり、 コンテキスト・ウィンドウは、 これまでのすべての会話、 入力、 そして次のトークンを予測するまでの後続の会話の合計となる。 02:38.370 --> 02:43.590 だから、 最初に会話を始めるときには、 それを念頭に置くことが重要なんだ。 02:43.590 --> 02:47.130 コンテキストウィンドウは、 現在のプロンプトだけにフィットすればよい。 02:47.130 --> 02:54.990 しかし、 会話が続くにつれて、 その文脈を維持できるように、 前に言われたことをどんどん合わせていく必要がある。 02:55.200 --> 02:59.070 マルチショット・プロンプトなどでは特に重要です。 02:59.070 --> 03:03.180 例えば、 シェークスピア全集について質問したい場合、 03:03.180 --> 03:09.060 コンテキストウィンドウに1. 一度に200万トークンを獲得。 03:09.060 --> 03:10.560 そういうことだ。 03:10.560 --> 03:13.770 要するに、 これがコンテキスト・ウィンドウだ。