You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

214 lines
5.6 KiB

WEBVTT
00:00.410 --> 00:01.670
콜랍에 잘 오셨어요
00:01.670 --> 00:04.910
콜랍 일주일째입니다 이틀째죠
00:04.910 --> 00:10.760
기본 모델을 시도하기 전에 토큰라이저가 작동하는 걸 볼 수 있어요
00:10.820 --> 00:15.410
평소처럼 Pip 설치와 외부에서 작업하세요
00:15.560 --> 00:23.120
이제 상수 섹션에서 4개의 다른 토큰라이저를 설정하겠습니다 잠깐 살펴보죠
00:23.120 --> 00:27.830
그 다음에는 베이스 모델 라마를 보고 데이터로 작업을 좀 할 거예요
00:27.830 --> 00:33.800
그리고 색상 출력에 작성을 위한 상수도 있어요 과거에 결과를 시각화할 때 기억하실지도
00:33.800 --> 00:35.930
모르겠네요
00:36.440 --> 00:37.850
좋아요, 실행해 보죠
00:37.880 --> 00:43.070
얼굴을 껴안는 데 로그인합니다 여러분이 잘 아는 일반적인 스닙 조각으로요
00:43.070 --> 00:49.100
그래서 모델 이름을 가진 토큰라이저 조사하기라는 유용한 함수를 만들었어요
00:49.460 --> 00:58.790
그러면 모델 이름을 위한 토큰라이저를 로드하고 이 6개의 숫자를 반복합니다
00:58.790 --> 01:06.030
0, 1, 10 100, 999, 1000이죠
01:06.090 --> 01:12.180
각각의 숫자에 대해 문자열로 변환합니다 그런 다음 토큰라이저에게 그 문자열을 토큰으로
01:12.180 --> 01:14.160
변환하라고 하죠
01:14.160 --> 01:20.130
문자열 100을 텍스트로 나타내는 토큰은 무엇일까요?
01:20.520 --> 01:24.660
이 특별한 추가 토큰을 가짜 매개 변수로 사용하고 있어요
01:24.660 --> 01:29.940
문장의 시작 토큰과 끝 토큰 같은 것을 추가해서 다른
01:29.940 --> 01:33.510
것을 방해하지 말라는 뜻이죠
01:33.600 --> 01:38.760
단순히 이 텍스트를 해당 텍스트를 나타내는 토큰으로 변환하세요
01:38.970 --> 01:40.260
그게 이 기계의 역할이죠
01:40.260 --> 01:41.730
그럼 그걸 프린트하죠
01:41.730 --> 01:50.520
실행해서 보여드리기 위해 토큰라이저를 조사할게요
01:51.450 --> 01:59.460
라마 3 모델로 시작하도록 하죠
01:59.460 --> 02:00.950
Get in get을 해 보죠
02:02.390 --> 02:06.200
문자열 0이 나오죠 get
02:06.200 --> 02:09.710
텍스트 0은 토큰 넘버 15로 변환되죠
02:09.740 --> 02:12.230
하나는 16번 토큰으로 가요
02:12.260 --> 02:15.380
10은 605번 토큰에 있어요
02:15.410 --> 02:16.190
공교롭게도요
02:16.190 --> 02:21.380
109도 비슷하게 생겼고요 99개씩 토큰 하나에 매핑됐어요
02:21.890 --> 02:25.310
1,000달러면 토큰 2개와 같아요
02:25.340 --> 02:28.580
숫자 100의 토큰과 매핑이 되죠
02:28.610 --> 02:33.230
0과 다른 숫자가 적힌 토큰이 보이시죠?
02:33.230 --> 02:41.030
여러분이 상상하시는 것처럼 텍스트 100의 토큰과 0의 텍스트죠
02:41.090 --> 02:47.480
여기서 명확하게 볼 수 있듯이 3자리 숫자에만 초점을 맞춘다면
02:47.480 --> 02:53.690
어떤 값을 가지고 있든 토큰 하나에 대응할 수 있는 유용한 속성이
02:53.690 --> 02:55.130
생기죠
02:55.160 --> 03:02.330
즉 제품의 가격을 예측하는 모델의 작업은 결국 토큰 하나를 예측해서 올바른 토큰을 얻는 것이 됩니다.
03:02.330 --> 03:05.930
그렇게 되면 제품의 가격이 올바른 것이죠.
03:06.110 --> 03:08.690
그래서 필수적인 자산이 아니에요
03:08.720 --> 03:15.470
이 모델들이 토큰의 배열을 생성할 수 있어야 하는 것은 아니지만 이 토큰 하나만 제대로
03:15.470 --> 03:20.270
만들어도 문제를 간단하게 해결할 수 있어서 편리하죠
03:20.720 --> 03:26.270
K-125 같은 다른 모델도 이렇게 생겼는지 알 수 있죠
03:28.280 --> 03:30.350
이제 다른 게 보여요
03:30.380 --> 03:38.450
0과 1은 토큰 하나에 매핑되지만 10은 토큰 2개에 매핑되죠
03:38.450 --> 03:50.990
1에 대한 토큰과 0, 100을 합치면 100999고 999이고 1,000은 1,000이죠 거기서 사용된
03:50.990 --> 03:53.210
토큰의 값이에요
03:53.210 --> 03:54.830
다른 속성을 볼 수 있죠
03:54.830 --> 03:59.930
라마31이 왜 유리한지 이번 일로 명확해졌으면 좋겠어요
04:00.290 --> 04:00.590
04:00.630 --> 04:01.230
제마요
04:01.230 --> 04:02.670
제마는 두 개예요
04:02.700 --> 04:03.450
미안해요
04:03.630 --> 04:04.290
제마요
04:04.290 --> 04:08.280
권 회장과 비슷한 두 가지 특성이 있어요
04:08.460 --> 04:11.880
흥미롭게도 완전히 다른 어휘예요
04:11.880 --> 04:14.670
훨씬 큰 숫자지만 놀랍진 않아요
04:14.670 --> 04:17.610
같은 단어를 쓸 이유가 없죠
04:17.940 --> 04:19.860
음, 음요
04:19.890 --> 04:26.640
네, 토큰이 하나가 아니라 세 자리 숫자네요
04:26.910 --> 04:30.660
피3도 아까 말했듯이 비슷해요
04:30.990 --> 04:37.230
사실 파이3에도 다른 변종이 있어요 라마가 가진 더 작은 변종이지만 라마의 3-1과 같은 멋진 특성을
04:37.230 --> 04:38.220
갖고 있죠
04:38.220 --> 04:42.420
그것도 시도해 볼 만한 가치가 있어요
04:42.480 --> 04:44.040
이 중 어떤 것도 시도할 수 없었겠죠?
04:44.040 --> 04:48.270
여러 패를 만든다고 해서 자격이 없는 건 아니에요
04:48.450 --> 04:49.020
좋아요
04:49.020 --> 04:54.420
자, 이제 토큰라이저에 대해 알아봤고 왜 그 모델을 선택했는지도
04:54.420 --> 04:55.680
알게 되었네요
04:55.740 --> 05:01.410
다음 영상에서는 데이터를 불러와서 모델을 테스트해 볼게요