From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
214 lines
5.6 KiB
214 lines
5.6 KiB
WEBVTT |
|
|
|
00:00.410 --> 00:01.670 |
|
콜랍에 잘 오셨어요 |
|
|
|
00:01.670 --> 00:04.910 |
|
콜랍 일주일째입니다 이틀째죠 |
|
|
|
00:04.910 --> 00:10.760 |
|
기본 모델을 시도하기 전에 토큰라이저가 작동하는 걸 볼 수 있어요 |
|
|
|
00:10.820 --> 00:15.410 |
|
평소처럼 Pip 설치와 외부에서 작업하세요 |
|
|
|
00:15.560 --> 00:23.120 |
|
이제 상수 섹션에서 4개의 다른 토큰라이저를 설정하겠습니다 잠깐 살펴보죠 |
|
|
|
00:23.120 --> 00:27.830 |
|
그 다음에는 베이스 모델 라마를 보고 데이터로 작업을 좀 할 거예요 |
|
|
|
00:27.830 --> 00:33.800 |
|
그리고 색상 출력에 작성을 위한 상수도 있어요 과거에 결과를 시각화할 때 기억하실지도 |
|
|
|
00:33.800 --> 00:35.930 |
|
모르겠네요 |
|
|
|
00:36.440 --> 00:37.850 |
|
좋아요, 실행해 보죠 |
|
|
|
00:37.880 --> 00:43.070 |
|
얼굴을 껴안는 데 로그인합니다 여러분이 잘 아는 일반적인 스닙 조각으로요 |
|
|
|
00:43.070 --> 00:49.100 |
|
그래서 모델 이름을 가진 토큰라이저 조사하기라는 유용한 함수를 만들었어요 |
|
|
|
00:49.460 --> 00:58.790 |
|
그러면 모델 이름을 위한 토큰라이저를 로드하고 이 6개의 숫자를 반복합니다 |
|
|
|
00:58.790 --> 01:06.030 |
|
0, 1, 10 100, 999, 1000이죠 |
|
|
|
01:06.090 --> 01:12.180 |
|
각각의 숫자에 대해 문자열로 변환합니다 그런 다음 토큰라이저에게 그 문자열을 토큰으로 |
|
|
|
01:12.180 --> 01:14.160 |
|
변환하라고 하죠 |
|
|
|
01:14.160 --> 01:20.130 |
|
문자열 100을 텍스트로 나타내는 토큰은 무엇일까요? |
|
|
|
01:20.520 --> 01:24.660 |
|
이 특별한 추가 토큰을 가짜 매개 변수로 사용하고 있어요 |
|
|
|
01:24.660 --> 01:29.940 |
|
문장의 시작 토큰과 끝 토큰 같은 것을 추가해서 다른 |
|
|
|
01:29.940 --> 01:33.510 |
|
것을 방해하지 말라는 뜻이죠 |
|
|
|
01:33.600 --> 01:38.760 |
|
단순히 이 텍스트를 해당 텍스트를 나타내는 토큰으로 변환하세요 |
|
|
|
01:38.970 --> 01:40.260 |
|
그게 이 기계의 역할이죠 |
|
|
|
01:40.260 --> 01:41.730 |
|
그럼 그걸 프린트하죠 |
|
|
|
01:41.730 --> 01:50.520 |
|
실행해서 보여드리기 위해 토큰라이저를 조사할게요 |
|
|
|
01:51.450 --> 01:59.460 |
|
라마 3 모델로 시작하도록 하죠 |
|
|
|
01:59.460 --> 02:00.950 |
|
Get in get을 해 보죠 |
|
|
|
02:02.390 --> 02:06.200 |
|
문자열 0이 나오죠 get |
|
|
|
02:06.200 --> 02:09.710 |
|
텍스트 0은 토큰 넘버 15로 변환되죠 |
|
|
|
02:09.740 --> 02:12.230 |
|
하나는 16번 토큰으로 가요 |
|
|
|
02:12.260 --> 02:15.380 |
|
10은 605번 토큰에 있어요 |
|
|
|
02:15.410 --> 02:16.190 |
|
공교롭게도요 |
|
|
|
02:16.190 --> 02:21.380 |
|
109도 비슷하게 생겼고요 99개씩 토큰 하나에 매핑됐어요 |
|
|
|
02:21.890 --> 02:25.310 |
|
1,000달러면 토큰 2개와 같아요 |
|
|
|
02:25.340 --> 02:28.580 |
|
숫자 100의 토큰과 매핑이 되죠 |
|
|
|
02:28.610 --> 02:33.230 |
|
0과 다른 숫자가 적힌 토큰이 보이시죠? |
|
|
|
02:33.230 --> 02:41.030 |
|
여러분이 상상하시는 것처럼 텍스트 100의 토큰과 0의 텍스트죠 |
|
|
|
02:41.090 --> 02:47.480 |
|
여기서 명확하게 볼 수 있듯이 3자리 숫자에만 초점을 맞춘다면 |
|
|
|
02:47.480 --> 02:53.690 |
|
어떤 값을 가지고 있든 토큰 하나에 대응할 수 있는 유용한 속성이 |
|
|
|
02:53.690 --> 02:55.130 |
|
생기죠 |
|
|
|
02:55.160 --> 03:02.330 |
|
즉 제품의 가격을 예측하는 모델의 작업은 결국 토큰 하나를 예측해서 올바른 토큰을 얻는 것이 됩니다. |
|
|
|
03:02.330 --> 03:05.930 |
|
그렇게 되면 제품의 가격이 올바른 것이죠. |
|
|
|
03:06.110 --> 03:08.690 |
|
그래서 필수적인 자산이 아니에요 |
|
|
|
03:08.720 --> 03:15.470 |
|
이 모델들이 토큰의 배열을 생성할 수 있어야 하는 것은 아니지만 이 토큰 하나만 제대로 |
|
|
|
03:15.470 --> 03:20.270 |
|
만들어도 문제를 간단하게 해결할 수 있어서 편리하죠 |
|
|
|
03:20.720 --> 03:26.270 |
|
K-125 같은 다른 모델도 이렇게 생겼는지 알 수 있죠 |
|
|
|
03:28.280 --> 03:30.350 |
|
이제 다른 게 보여요 |
|
|
|
03:30.380 --> 03:38.450 |
|
0과 1은 토큰 하나에 매핑되지만 10은 토큰 2개에 매핑되죠 |
|
|
|
03:38.450 --> 03:50.990 |
|
1에 대한 토큰과 0, 100을 합치면 100999고 999이고 1,000은 1,000이죠 거기서 사용된 |
|
|
|
03:50.990 --> 03:53.210 |
|
토큰의 값이에요 |
|
|
|
03:53.210 --> 03:54.830 |
|
다른 속성을 볼 수 있죠 |
|
|
|
03:54.830 --> 03:59.930 |
|
라마31이 왜 유리한지 이번 일로 명확해졌으면 좋겠어요 |
|
|
|
04:00.290 --> 04:00.590 |
|
네 |
|
|
|
04:00.630 --> 04:01.230 |
|
제마요 |
|
|
|
04:01.230 --> 04:02.670 |
|
제마는 두 개예요 |
|
|
|
04:02.700 --> 04:03.450 |
|
미안해요 |
|
|
|
04:03.630 --> 04:04.290 |
|
제마요 |
|
|
|
04:04.290 --> 04:08.280 |
|
권 회장과 비슷한 두 가지 특성이 있어요 |
|
|
|
04:08.460 --> 04:11.880 |
|
흥미롭게도 완전히 다른 어휘예요 |
|
|
|
04:11.880 --> 04:14.670 |
|
훨씬 큰 숫자지만 놀랍진 않아요 |
|
|
|
04:14.670 --> 04:17.610 |
|
같은 단어를 쓸 이유가 없죠 |
|
|
|
04:17.940 --> 04:19.860 |
|
음, 음요 |
|
|
|
04:19.890 --> 04:26.640 |
|
네, 토큰이 하나가 아니라 세 자리 숫자네요 |
|
|
|
04:26.910 --> 04:30.660 |
|
피3도 아까 말했듯이 비슷해요 |
|
|
|
04:30.990 --> 04:37.230 |
|
사실 파이3에도 다른 변종이 있어요 라마가 가진 더 작은 변종이지만 라마의 3-1과 같은 멋진 특성을 |
|
|
|
04:37.230 --> 04:38.220 |
|
갖고 있죠 |
|
|
|
04:38.220 --> 04:42.420 |
|
그것도 시도해 볼 만한 가치가 있어요 |
|
|
|
04:42.480 --> 04:44.040 |
|
이 중 어떤 것도 시도할 수 없었겠죠? |
|
|
|
04:44.040 --> 04:48.270 |
|
여러 패를 만든다고 해서 자격이 없는 건 아니에요 |
|
|
|
04:48.450 --> 04:49.020 |
|
좋아요 |
|
|
|
04:49.020 --> 04:54.420 |
|
자, 이제 토큰라이저에 대해 알아봤고 왜 그 모델을 선택했는지도 |
|
|
|
04:54.420 --> 04:55.680 |
|
알게 되었네요 |
|
|
|
04:55.740 --> 05:01.410 |
|
다음 영상에서는 데이터를 불러와서 모델을 테스트해 볼게요
|
|
|