WEBVTT 00:00.410 --> 00:01.670 콜랍에 잘 오셨어요 00:01.670 --> 00:04.910 콜랍 일주일째입니다 이틀째죠 00:04.910 --> 00:10.760 기본 모델을 시도하기 전에 토큰라이저가 작동하는 걸 볼 수 있어요 00:10.820 --> 00:15.410 평소처럼 Pip 설치와 외부에서 작업하세요 00:15.560 --> 00:23.120 이제 상수 섹션에서 4개의 다른 토큰라이저를 설정하겠습니다 잠깐 살펴보죠 00:23.120 --> 00:27.830 그 다음에는 베이스 모델 라마를 보고 데이터로 작업을 좀 할 거예요 00:27.830 --> 00:33.800 그리고 색상 출력에 작성을 위한 상수도 있어요 과거에 결과를 시각화할 때 기억하실지도 00:33.800 --> 00:35.930 모르겠네요 00:36.440 --> 00:37.850 좋아요, 실행해 보죠 00:37.880 --> 00:43.070 얼굴을 껴안는 데 로그인합니다 여러분이 잘 아는 일반적인 스닙 조각으로요 00:43.070 --> 00:49.100 그래서 모델 이름을 가진 토큰라이저 조사하기라는 유용한 함수를 만들었어요 00:49.460 --> 00:58.790 그러면 모델 이름을 위한 토큰라이저를 로드하고 이 6개의 숫자를 반복합니다 00:58.790 --> 01:06.030 0, 1, 10 100, 999, 1000이죠 01:06.090 --> 01:12.180 각각의 숫자에 대해 문자열로 변환합니다 그런 다음 토큰라이저에게 그 문자열을 토큰으로 01:12.180 --> 01:14.160 변환하라고 하죠 01:14.160 --> 01:20.130 문자열 100을 텍스트로 나타내는 토큰은 무엇일까요? 01:20.520 --> 01:24.660 이 특별한 추가 토큰을 가짜 매개 변수로 사용하고 있어요 01:24.660 --> 01:29.940 문장의 시작 토큰과 끝 토큰 같은 것을 추가해서 다른 01:29.940 --> 01:33.510 것을 방해하지 말라는 뜻이죠 01:33.600 --> 01:38.760 단순히 이 텍스트를 해당 텍스트를 나타내는 토큰으로 변환하세요 01:38.970 --> 01:40.260 그게 이 기계의 역할이죠 01:40.260 --> 01:41.730 그럼 그걸 프린트하죠 01:41.730 --> 01:50.520 실행해서 보여드리기 위해 토큰라이저를 조사할게요 01:51.450 --> 01:59.460 라마 3 모델로 시작하도록 하죠 01:59.460 --> 02:00.950 Get in get을 해 보죠 02:02.390 --> 02:06.200 문자열 0이 나오죠 get 02:06.200 --> 02:09.710 텍스트 0은 토큰 넘버 15로 변환되죠 02:09.740 --> 02:12.230 하나는 16번 토큰으로 가요 02:12.260 --> 02:15.380 10은 605번 토큰에 있어요 02:15.410 --> 02:16.190 공교롭게도요 02:16.190 --> 02:21.380 109도 비슷하게 생겼고요 99개씩 토큰 하나에 매핑됐어요 02:21.890 --> 02:25.310 1,000달러면 토큰 2개와 같아요 02:25.340 --> 02:28.580 숫자 100의 토큰과 매핑이 되죠 02:28.610 --> 02:33.230 0과 다른 숫자가 적힌 토큰이 보이시죠? 02:33.230 --> 02:41.030 여러분이 상상하시는 것처럼 텍스트 100의 토큰과 0의 텍스트죠 02:41.090 --> 02:47.480 여기서 명확하게 볼 수 있듯이 3자리 숫자에만 초점을 맞춘다면 02:47.480 --> 02:53.690 어떤 값을 가지고 있든 토큰 하나에 대응할 수 있는 유용한 속성이 02:53.690 --> 02:55.130 생기죠 02:55.160 --> 03:02.330 즉 제품의 가격을 예측하는 모델의 작업은 결국 토큰 하나를 예측해서 올바른 토큰을 얻는 것이 됩니다. 03:02.330 --> 03:05.930 그렇게 되면 제품의 가격이 올바른 것이죠. 03:06.110 --> 03:08.690 그래서 필수적인 자산이 아니에요 03:08.720 --> 03:15.470 이 모델들이 토큰의 배열을 생성할 수 있어야 하는 것은 아니지만 이 토큰 하나만 제대로 03:15.470 --> 03:20.270 만들어도 문제를 간단하게 해결할 수 있어서 편리하죠 03:20.720 --> 03:26.270 K-125 같은 다른 모델도 이렇게 생겼는지 알 수 있죠 03:28.280 --> 03:30.350 이제 다른 게 보여요 03:30.380 --> 03:38.450 0과 1은 토큰 하나에 매핑되지만 10은 토큰 2개에 매핑되죠 03:38.450 --> 03:50.990 1에 대한 토큰과 0, 100을 합치면 100999고 999이고 1,000은 1,000이죠 거기서 사용된 03:50.990 --> 03:53.210 토큰의 값이에요 03:53.210 --> 03:54.830 다른 속성을 볼 수 있죠 03:54.830 --> 03:59.930 라마31이 왜 유리한지 이번 일로 명확해졌으면 좋겠어요 04:00.290 --> 04:00.590 네 04:00.630 --> 04:01.230 제마요 04:01.230 --> 04:02.670 제마는 두 개예요 04:02.700 --> 04:03.450 미안해요 04:03.630 --> 04:04.290 제마요 04:04.290 --> 04:08.280 권 회장과 비슷한 두 가지 특성이 있어요 04:08.460 --> 04:11.880 흥미롭게도 완전히 다른 어휘예요 04:11.880 --> 04:14.670 훨씬 큰 숫자지만 놀랍진 않아요 04:14.670 --> 04:17.610 같은 단어를 쓸 이유가 없죠 04:17.940 --> 04:19.860 음, 음요 04:19.890 --> 04:26.640 네, 토큰이 하나가 아니라 세 자리 숫자네요 04:26.910 --> 04:30.660 피3도 아까 말했듯이 비슷해요 04:30.990 --> 04:37.230 사실 파이3에도 다른 변종이 있어요 라마가 가진 더 작은 변종이지만 라마의 3-1과 같은 멋진 특성을 04:37.230 --> 04:38.220 갖고 있죠 04:38.220 --> 04:42.420 그것도 시도해 볼 만한 가치가 있어요 04:42.480 --> 04:44.040 이 중 어떤 것도 시도할 수 없었겠죠? 04:44.040 --> 04:48.270 여러 패를 만든다고 해서 자격이 없는 건 아니에요 04:48.450 --> 04:49.020 좋아요 04:49.020 --> 04:54.420 자, 이제 토큰라이저에 대해 알아봤고 왜 그 모델을 선택했는지도 04:54.420 --> 04:55.680 알게 되었네요 04:55.740 --> 05:01.410 다음 영상에서는 데이터를 불러와서 모델을 테스트해 볼게요