From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
181 lines
5.3 KiB
181 lines
5.3 KiB
WEBVTT |
|
|
|
00:00.740 --> 00:07.340 |
|
LLM의 아주 근본적인 것에 대해 잠시 얘기하고 싶습니다 LLM 매개 |
|
|
|
00:07.340 --> 00:13.190 |
|
변수 안에 있는 매개 변수의 수입니다 웨이트라고도 하죠 |
|
|
|
00:13.310 --> 00:16.100 |
|
보통 매개변수와 무게는 동의어예요 |
|
|
|
00:16.250 --> 00:19.850 |
|
어떤 상황에서는 완전히 다른 세부 사항이 있어요 |
|
|
|
00:19.850 --> 00:23.060 |
|
하지만 기본적으로 중량과 매개 변수는 같아요 |
|
|
|
00:23.090 --> 00:23.900 |
|
모델 웨이트예요 |
|
|
|
00:23.900 --> 00:33.140 |
|
이건 모델 안에 있는 레버로 입력을 받았을 때 출력을 생성하는 것을 통제하죠 |
|
|
|
00:33.140 --> 00:37.040 |
|
다음에 나올 단어를 어떻게 예측하시나요? |
|
|
|
00:37.040 --> 00:41.840 |
|
이 웨이트는 LLM 훈련 때 쓰는 거예요 |
|
|
|
00:41.840 --> 00:47.330 |
|
수많은 예시를 보고 그 예시를 이용해 무게를 움직입니다 상태가 |
|
|
|
00:47.330 --> 00:52.820 |
|
더 좋아져서 다음 토큰에서 나올 것을 예측할 수 있을 때까지요 |
|
|
|
00:52.820 --> 00:56.000 |
|
토큰에 대해 곧 얘기하겠지만 점점 더 재미있어지죠 |
|
|
|
00:56.000 --> 00:59.420 |
|
모든 무게를 조정하면 더 좋아지죠 |
|
|
|
00:59.420 --> 01:04.160 |
|
데이터 과학을 하는 분들은 처음 보시는 분들에겐 아주 잘 아는 |
|
|
|
01:04.160 --> 01:04.970 |
|
것들이죠 |
|
|
|
01:04.970 --> 01:09.440 |
|
과정을 진행하는 동안 다양한 방식으로 살펴볼 겁니다 보다 나은 직관력을 |
|
|
|
01:09.440 --> 01:15.710 |
|
갖게 될 거예요 getput을 제어하는 매개 변수와 저울이 어떤 의미인지를요 |
|
|
|
01:15.710 --> 01:22.370 |
|
하지만 우선 얼마나 많은 중량이 있는지 알아야 합니다 기존의 |
|
|
|
01:22.370 --> 01:28.940 |
|
데이터 과학이나 머신 러닝에서는 단순하게 접근했기 때문에 |
|
|
|
01:28.940 --> 01:35.180 |
|
선형 회귀 모델이라는 모델을 개발해야 했습니다 가중된 평균을 |
|
|
|
01:35.180 --> 01:40.110 |
|
가지고 20에서 200 정도의 매개 변수를 갖습니다 |
|
|
|
01:40.110 --> 01:47.630 |
|
보통 20에서 200 정도의 중량으로 접근하죠 |
|
|
|
01:47.750 --> 01:54.470 |
|
LMS가 특이한 점 중 하나는 무게의 수가 다르다는 |
|
|
|
01:54.470 --> 01:56.570 |
|
거예요 |
|
|
|
01:56.600 --> 02:05.280 |
|
2018년에 출시된 GPT 1은 1억 1,700만 명이 기다렸어요 |
|
|
|
02:05.310 --> 02:10.230 |
|
개인적으로 좀 화가 났던 부분인데요 LMS@타입의 |
|
|
|
02:10.230 --> 02:16.740 |
|
딥 신경망이 있었을 때 제 스타트업에 하나 있었는데 딥 신경망에 200,000 |
|
|
|
02:16.740 --> 02:24.210 |
|
매개 변수가 있다고 자랑하곤 했어요 엄청나게 큰 숫자라고 생각했죠 200,000 |
|
|
|
02:24.210 --> 02:31.230 |
|
매개 변수가 넘는 모델은 상상할 수도 없었어요 |
|
|
|
02:31.230 --> 02:35.880 |
|
그래서 GPT 1이 매개 변수를 1억 1,700만 개 제시했을 때 당황했죠 |
|
|
|
02:36.120 --> 02:41.610 |
|
GPT 1의 중요성을 절실히 깨닫게 됐죠 |
|
|
|
02:41.970 --> 02:47.580 |
|
그런데 보다시피 여기 보이는 이 범위는 로그식 범위예요 틱을 켤 때마다 |
|
|
|
02:47.580 --> 02:51.000 |
|
한 단계씩 더 올라가는 게 아니죠 |
|
|
|
02:51.030 --> 02:56.940 |
|
매개 변수의 10배를 앞의 체크보다 더 많이 입력해야 해요 |
|
|
|
02:57.000 --> 02:59.550 |
|
이 다이어그램에 레이어를 겹쳐보죠 |
|
|
|
02:59.610 --> 03:06.720 |
|
GPT 2의 후속 버전인 1을 추가했죠 50억 개의 매개 변수가 있어요 |
|
|
|
03:06.750 --> 03:10.680 |
|
GPT 3,750억 매개 변수예요 |
|
|
|
03:10.710 --> 03:12.600 |
|
말로 표현이 안 돼요 |
|
|
|
03:12.600 --> 03:14.160 |
|
변수가 많아요 |
|
|
|
03:14.190 --> 03:20.670 |
|
GPT 41요 7조 6천억 매개 변수예요 |
|
|
|
03:20.970 --> 03:24.000 |
|
최신 개척 시대 모델도 있죠 |
|
|
|
03:24.000 --> 03:27.210 |
|
매개 변수가 몇 개인지 아직 발표하지 않았어요 |
|
|
|
03:27.240 --> 03:32.520 |
|
약 10조 매개 변수가 있는 것으로 추정되죠 |
|
|
|
03:32.520 --> 03:37.710 |
|
이 추의 숫자는 상상할 수 없을 정도예요 |
|
|
|
03:37.920 --> 03:43.350 |
|
이제 이 위에 오픈 소스 모델을 레이어하죠 |
|
|
|
03:43.500 --> 03:46.110 |
|
제마는 20억 달러예요 |
|
|
|
03:46.140 --> 03:47.580 |
|
가벼운 모델이에요 |
|
|
|
03:47.580 --> 03:55.260 |
|
라마 3도 기억하실 거예요 라마를 사용할 때 작업했던 2개의 데이터에도 20억 개의 매개 |
|
|
|
03:55.320 --> 03:56.670 |
|
변수가 있었어요 |
|
|
|
03:56.820 --> 04:04.450 |
|
그럼 라마 3요 1번, 그러니까 더 큰 사촌은 세 종류가 있어요 |
|
|
|
04:04.480 --> 04:14.470 |
|
80억 개, 700억 개 그리고 라마 3이죠 1 405B는 현재 오픈 소스 모델 중 가장 큰 |
|
|
|
04:14.470 --> 04:21.040 |
|
것으로 일부 비공개 소스 모델과 비슷한 기능을 갖고 있죠 |
|
|
|
04:21.040 --> 04:24.970 |
|
혼합 레일도 언급했었죠 전문가들의 혼합 모델이요 |
|
|
|
04:25.420 --> 04:33.040 |
|
이 모델들이 얼마나 거대한지 통찰력을 주는 거예요 |
|
|
|
04:33.040 --> 04:39.190 |
|
10조 개의 무게와 다양한 지렛대 다양한 숫자가 있다는 게 어떤 의미인지 이해하기조차 |
|
|
|
04:39.220 --> 04:40.870 |
|
어려워요 |
|
|
|
04:40.870 --> 04:49.060 |
|
입력된 출력을 조절하는 이 거대한 모델 안의 작은 손잡이라고 생각하면 돼요 |
|
|
|
04:49.060 --> 04:54.740 |
|
그리고 다시 한 번 구식 선형 회귀 모델과 비교해 보세요 20에서 200 |
|
|
|
04:54.740 --> 04:57.280 |
|
매개 변수가 있을 거예요 |
|
|
|
04:57.280 --> 05:00.970 |
|
Get in get 이 거대한 언어 모델의 방대함을 느껴보려고요
|
|
|