From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
127 lines
4.0 KiB
127 lines
4.0 KiB
WEBVTT |
|
|
|
00:00.110 --> 00:06.650 |
|
이제 LMS의 아주 중요한 속성을 살펴보죠 컨텍스트 창이라고 하는데 자세히 |
|
|
|
00:06.680 --> 00:07.760 |
|
설명할게요 |
|
|
|
00:07.760 --> 00:16.640 |
|
컨텍스트 창은 토큰의 총수를 알려줍니다 LLM이 어느 시점에서든 살펴볼 수 있는 것이죠 |
|
|
|
00:16.640 --> 00:20.300 |
|
다음 토큰을 생성하려고 할 때요 |
|
|
|
00:20.300 --> 00:26.150 |
|
가장 가능성이 높은 다음 토큰을 생성하는 일을 합니다 이전에 온 토큰의 개수와 조사할 수 |
|
|
|
00:26.150 --> 00:31.190 |
|
있는 토큰의 개수를 부여받습니다 그 예측을 하기 위해 살펴볼 수 있는 토큰은 |
|
|
|
00:31.190 --> 00:37.070 |
|
컨텍스트 창에 의해 제한됩니다 컨텍스트 창은 크기, LLM의 매개 변수의 수, 그리고 |
|
|
|
00:37.070 --> 00:40.910 |
|
그것이 만들어진 방식과 LLM의 구조에 의해 제한되죠 |
|
|
|
00:40.910 --> 00:42.380 |
|
그게 무슨 뜻이죠? |
|
|
|
00:42.380 --> 00:47.030 |
|
출력 토큰을 생성하기 위해 입력 토큰을 얼마나 가질 수 있는지에 대한 것인가요? |
|
|
|
00:47.030 --> 00:47.660 |
|
그런 셈이죠 |
|
|
|
00:47.690 --> 00:51.080 |
|
하지만 실생활에서 그 의미를 명확히 할 필요가 있어요 |
|
|
|
00:51.320 --> 00:56.450 |
|
우리가 처음 작업했던 첫 번째 LLM, 첫 번째 OpenAI 호출을 기억하시나요? |
|
|
|
00:56.450 --> 01:00.800 |
|
시스템 프롬프트와 사용자 프롬프트가 있었죠 |
|
|
|
01:00.800 --> 01:07.730 |
|
모두 LLM에 대한 입력의 일부로 입력 프롬프트에서 가장 유력한 다음 토큰을 예측했죠 |
|
|
|
01:07.760 --> 01:11.150 |
|
웹사이트에서 전달한 다음 요약해 보라고 했죠 |
|
|
|
01:11.150 --> 01:15.800 |
|
다음 토큰은 해당 웹사이트의 요약이고요 |
|
|
|
01:15.830 --> 01:22.220 |
|
챗GPT와 같은 것과 채팅을 할 때 입력값을 입력하면 입력값이 출력되고 |
|
|
|
01:22.250 --> 01:25.400 |
|
그러면 다른 질문을 하게 되죠 |
|
|
|
01:25.430 --> 01:31.640 |
|
실제로 챗GPT는 당신이 하는 말을 일종의 메모리로 기억하는 것 같아요 |
|
|
|
01:31.670 --> 01:36.710 |
|
토론의 맥락이 유지되지만 이건 일종의 환상이죠 |
|
|
|
01:36.710 --> 01:38.360 |
|
일종의 비트를 쓰는 거죠 |
|
|
|
01:38.360 --> 01:45.410 |
|
실제로 일어난 일은 챗GPT와 대화할 때마다 지금까지의 대화 전체에서 |
|
|
|
01:45.410 --> 01:53.300 |
|
사용자가 입력을 프롬프트하면 그 응답은 다시 넘겨집니다 긴 프롬프트처럼요 |
|
|
|
01:53.300 --> 02:00.170 |
|
지금까지의 대화를 종합해 보면 다음 단계는 무엇일까?로 끝나죠 |
|
|
|
02:00.380 --> 02:05.450 |
|
컨텍스트 창이 말하는 것은 이것이 토큰의 총량이라는 것이죠 |
|
|
|
02:05.480 --> 02:09.750 |
|
원본 프롬프트를 포함한 총 정보량이죠 시스템 프롬프트요 |
|
|
|
02:09.780 --> 02:12.990 |
|
사용자가 반응을 유도하죠 |
|
|
|
02:12.990 --> 02:18.960 |
|
그에 대한 반응과 과거와 현재에 대한 반응이죠 |
|
|
|
02:18.960 --> 02:25.350 |
|
새 연락처, 새 연락처, 새 토큰을 생성해야 합니다 이 끝에서 오기 위해서요 |
|
|
|
02:25.380 --> 02:27.180 |
|
앞뒤로 긴 사슬이죠 |
|
|
|
02:27.180 --> 02:33.870 |
|
컨텍스트 창은 지금까지의 모든 대화와 입력, 그리고 다음 토큰을 예측할 |
|
|
|
02:33.870 --> 02:38.130 |
|
때까지의 대화들을 모두 담은 것이죠 |
|
|
|
02:38.370 --> 02:43.590 |
|
그래서 대화를 시작할 때 그걸 염두에 두는 게 중요해요 |
|
|
|
02:43.590 --> 02:47.130 |
|
컨텍스트 창은 현재 프롬프트에만 맞으면 돼요 |
|
|
|
02:47.130 --> 02:52.530 |
|
하지만 대화가 계속될수록 전에 나온 내용과 더 잘 맞아떨어져야 해요 |
|
|
|
02:52.530 --> 02:54.990 |
|
그 맥락을 유지하려면요 |
|
|
|
02:55.200 --> 02:59.070 |
|
이건 특히 멀티샷 프롬프트 같은 면에서 중요해요 |
|
|
|
02:59.070 --> 03:03.180 |
|
예를 들어 셰익스피어 작품에 관해 질문하고 싶다면 |
|
|
|
03:03.180 --> 03:09.060 |
|
컨텍스트 창 1을 눌러야 해요 한 번에 200만 토큰을 모으는 거죠 |
|
|
|
03:09.060 --> 03:10.560 |
|
그렇게 하는 거예요 |
|
|
|
03:10.560 --> 03:13.770 |
|
간단히 말하면 그게 컨텍스트 창이에요
|
|
|