You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

181 lines
5.3 KiB

WEBVTT
00:00.740 --> 00:07.340
LLM의 아주 근본적인 것에 대해 잠시 얘기하고 싶습니다 LLM 매개
00:07.340 --> 00:13.190
변수 안에 있는 매개 변수의 수입니다 웨이트라고도 하죠
00:13.310 --> 00:16.100
보통 매개변수와 무게는 동의어예요
00:16.250 --> 00:19.850
어떤 상황에서는 완전히 다른 세부 사항이 있어요
00:19.850 --> 00:23.060
하지만 기본적으로 중량과 매개 변수는 같아요
00:23.090 --> 00:23.900
모델 웨이트예요
00:23.900 --> 00:33.140
이건 모델 안에 있는 레버로 입력을 받았을 때 출력을 생성하는 것을 통제하죠
00:33.140 --> 00:37.040
다음에 나올 단어를 어떻게 예측하시나요?
00:37.040 --> 00:41.840
이 웨이트는 LLM 훈련 때 쓰는 거예요
00:41.840 --> 00:47.330
수많은 예시를 보고 그 예시를 이용해 무게를 움직입니다 상태가
00:47.330 --> 00:52.820
더 좋아져서 다음 토큰에서 나올 것을 예측할 수 있을 때까지요
00:52.820 --> 00:56.000
토큰에 대해 곧 얘기하겠지만 점점 더 재미있어지죠
00:56.000 --> 00:59.420
모든 무게를 조정하면 더 좋아지죠
00:59.420 --> 01:04.160
데이터 과학을 하는 분들은 처음 보시는 분들에겐 아주 잘 아는
01:04.160 --> 01:04.970
것들이죠
01:04.970 --> 01:09.440
과정을 진행하는 동안 다양한 방식으로 살펴볼 겁니다 보다 나은 직관력을
01:09.440 --> 01:15.710
갖게 될 거예요 getput을 제어하는 매개 변수와 저울이 어떤 의미인지를요
01:15.710 --> 01:22.370
하지만 우선 얼마나 많은 중량이 있는지 알아야 합니다 기존의
01:22.370 --> 01:28.940
데이터 과학이나 머신 러닝에서는 단순하게 접근했기 때문에
01:28.940 --> 01:35.180
선형 회귀 모델이라는 모델을 개발해야 했습니다 가중된 평균을
01:35.180 --> 01:40.110
가지고 20에서 200 정도의 매개 변수를 갖습니다
01:40.110 --> 01:47.630
보통 20에서 200 정도의 중량으로 접근하죠
01:47.750 --> 01:54.470
LMS가 특이한 점 중 하나는 무게의 수가 다르다는
01:54.470 --> 01:56.570
거예요
01:56.600 --> 02:05.280
2018년에 출시된 GPT 1은 1억 1,700만 명이 기다렸어요
02:05.310 --> 02:10.230
개인적으로 좀 화가 났던 부분인데요 LMS@타입의
02:10.230 --> 02:16.740
딥 신경망이 있었을 때 제 스타트업에 하나 있었는데 딥 신경망에 200,000
02:16.740 --> 02:24.210
매개 변수가 있다고 자랑하곤 했어요 엄청나게 큰 숫자라고 생각했죠 200,000
02:24.210 --> 02:31.230
매개 변수가 넘는 모델은 상상할 수도 없었어요
02:31.230 --> 02:35.880
그래서 GPT 1이 매개 변수를 1억 1,700만 개 제시했을 때 당황했죠
02:36.120 --> 02:41.610
GPT 1의 중요성을 절실히 깨닫게 됐죠
02:41.970 --> 02:47.580
그런데 보다시피 여기 보이는 이 범위는 로그식 범위예요 틱을 켤 때마다
02:47.580 --> 02:51.000
한 단계씩 더 올라가는 게 아니죠
02:51.030 --> 02:56.940
매개 변수의 10배를 앞의 체크보다 더 많이 입력해야 해요
02:57.000 --> 02:59.550
이 다이어그램에 레이어를 겹쳐보죠
02:59.610 --> 03:06.720
GPT 2의 후속 버전인 1을 추가했죠 50억 개의 매개 변수가 있어요
03:06.750 --> 03:10.680
GPT 3,750억 매개 변수예요
03:10.710 --> 03:12.600
말로 표현이 안 돼요
03:12.600 --> 03:14.160
변수가 많아요
03:14.190 --> 03:20.670
GPT 41요 7조 6천억 매개 변수예요
03:20.970 --> 03:24.000
최신 개척 시대 모델도 있죠
03:24.000 --> 03:27.210
매개 변수가 몇 개인지 아직 발표하지 않았어요
03:27.240 --> 03:32.520
약 10조 매개 변수가 있는 것으로 추정되죠
03:32.520 --> 03:37.710
이 추의 숫자는 상상할 수 없을 정도예요
03:37.920 --> 03:43.350
이제 이 위에 오픈 소스 모델을 레이어하죠
03:43.500 --> 03:46.110
제마는 20억 달러예요
03:46.140 --> 03:47.580
가벼운 모델이에요
03:47.580 --> 03:55.260
라마 3도 기억하실 거예요 라마를 사용할 때 작업했던 2개의 데이터에도 20억 개의 매개
03:55.320 --> 03:56.670
변수가 있었어요
03:56.820 --> 04:04.450
그럼 라마 3요 1번, 그러니까 더 큰 사촌은 세 종류가 있어요
04:04.480 --> 04:14.470
80억 개, 700억 개 그리고 라마 3이죠 1 405B는 현재 오픈 소스 모델 중 가장 큰
04:14.470 --> 04:21.040
것으로 일부 비공개 소스 모델과 비슷한 기능을 갖고 있죠
04:21.040 --> 04:24.970
혼합 레일도 언급했었죠 전문가들의 혼합 모델이요
04:25.420 --> 04:33.040
이 모델들이 얼마나 거대한지 통찰력을 주는 거예요
04:33.040 --> 04:39.190
10조 개의 무게와 다양한 지렛대 다양한 숫자가 있다는 게 어떤 의미인지 이해하기조차
04:39.220 --> 04:40.870
어려워요
04:40.870 --> 04:49.060
입력된 출력을 조절하는 이 거대한 모델 안의 작은 손잡이라고 생각하면 돼요
04:49.060 --> 04:54.740
그리고 다시 한 번 구식 선형 회귀 모델과 비교해 보세요 20에서 200
04:54.740 --> 04:57.280
매개 변수가 있을 거예요
04:57.280 --> 05:00.970
Get in get 이 거대한 언어 모델의 방대함을 느껴보려고요