From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
214 lines
6.3 KiB
214 lines
6.3 KiB
WEBVTT |
|
|
|
00:00.770 --> 00:06.050 |
|
더 고급 지표로 넘어가기 전에 친칠라 스케일링 법칙을 |
|
|
|
00:06.050 --> 00:12.410 |
|
언급하고 싶습니다 구글 딥마인드 팀이 만든 멋진 이름의 법이죠 친칠라 |
|
|
|
00:12.410 --> 00:15.200 |
|
모델 이름을 따서요 |
|
|
|
00:15.590 --> 00:22.640 |
|
모델에서 필요한 매개 변수의 개수와 신경망의 무게에 |
|
|
|
00:22.640 --> 00:28.580 |
|
관한 거죠 법에 따르면 매개 변수의 개수는 |
|
|
|
00:28.580 --> 00:35.630 |
|
훈련 데이터와 훈련 토큰의 개수에 비례해요 |
|
|
|
00:35.960 --> 00:42.290 |
|
그 말은 모델이 있다고 가정해 봅시다. 예를 들어 80억 개의 매개 변수 모델이 있다고 합시다. |
|
|
|
00:42.290 --> 00:47.000 |
|
그리고 어느 지점에 도달하면 반환률이 감소하기 시작할 거예요. |
|
|
|
00:47.030 --> 00:50.660 |
|
훈련 데이터를 추가한다고 모델에 큰 영향을 주진 않아요 |
|
|
|
00:50.660 --> 00:56.720 |
|
그래서 여러분은 이 크기의 모델에 대한 트레이닝 데이터가 적당하다고 느끼죠 |
|
|
|
00:56.720 --> 00:58.430 |
|
좋은 대결이 될 거예요 |
|
|
|
00:58.430 --> 01:06.170 |
|
훈련 데이터를 성공적으로 활용해 이 모델을 최대한의 학습 능력으로 끌어올렸죠 |
|
|
|
01:06.500 --> 01:08.450 |
|
괜찮은 질문일 수도 있어요 |
|
|
|
01:08.450 --> 01:15.240 |
|
매개 변수를 더 추가하고 싶다면 모델에 더 유연하게 학습할 수 있고 더 강력하고 미묘한 |
|
|
|
01:15.240 --> 01:16.740 |
|
차이를 줄 수 있죠 |
|
|
|
01:16.770 --> 01:20.910 |
|
훈련용 데이터가 얼마나 더 필요하죠? |
|
|
|
01:20.940 --> 01:26.310 |
|
답은 이겁니다. 훈련 데이터를 두 배로 늘린다면 그 시점에서 수익이 |
|
|
|
01:26.310 --> 01:31.920 |
|
감소할 테고 무게는 두 배가 될 겁니다. 80억에서 160억 매개 변수가 |
|
|
|
01:31.950 --> 01:39.330 |
|
필요할 거예요. 훈련 데이터를 두 배로 쓰고 효과적으로 학습하려면요. 결과적으로 더 강력하고 |
|
|
|
01:39.330 --> 01:42.720 |
|
미묘하게 표현되려면요. |
|
|
|
01:42.990 --> 01:50.130 |
|
훈련 데이터를 효과적으로 흡수하려면 매개 변수가 얼마나 더 필요한지 알 수 있죠 |
|
|
|
01:50.340 --> 01:58.050 |
|
그리고 그 이면에는 정반대의 관계도 있어요 |
|
|
|
01:58.050 --> 02:02.970 |
|
여러분이 80억 모델로 작업했는데 누군가 160억 매개 변수 모델로 |
|
|
|
02:02.970 --> 02:07.440 |
|
업그레이드하고 싶다고 하면 그걸 대신 사용하세요 |
|
|
|
02:07.650 --> 02:11.820 |
|
이렇게 생각할 수 있죠 이런 추가적인 유연성과 |
|
|
|
02:11.820 --> 02:20.170 |
|
예측력을 이용하려면 더 큰 모델에 다이얼과 추를 더 많이 적용해야 한다고요 |
|
|
|
02:20.440 --> 02:25.270 |
|
이를 이용하기 위해 얼마나 더 많은 훈련 데이터가 필요할까요? |
|
|
|
02:25.270 --> 02:30.070 |
|
그 대답은 훈련 데이터 집합의 두 배가 필요하단 거죠 |
|
|
|
02:30.070 --> 02:36.220 |
|
훈련 토큰과 매개 변수의 관계는 몇 년 전에 제안된 것으로 |
|
|
|
02:36.250 --> 02:38.920 |
|
지금까지도 유효하죠 |
|
|
|
02:38.920 --> 02:46.330 |
|
변압기 구조에서 변압기 규격 법칙이 적용되는 것으로 밝혀졌죠 |
|
|
|
02:46.330 --> 02:46.990 |
|
글쎄요 |
|
|
|
02:46.990 --> 02:49.780 |
|
상황에 따라 행동하는 게 경험에서 나온 법칙이죠 |
|
|
|
02:50.710 --> 02:51.580 |
|
좋아요 |
|
|
|
02:51.610 --> 02:56.050 |
|
이제 벤치마크로 넘어가죠 |
|
|
|
02:56.050 --> 03:04.630 |
|
벤치마크는 사람들이 흔히 말하는 측정 기준입니다 다양한 모델을 재는 데 사용되죠 |
|
|
|
03:04.660 --> 03:12.670 |
|
일련의 테스트가 적용되고 다양한 leaderboard에서 사용됩니다 다양한 LMS의 |
|
|
|
03:12.670 --> 03:18.400 |
|
순위를 매기는 곳이죠 다양한 모델의 장단점을 보는 거예요 |
|
|
|
03:18.430 --> 03:22.270 |
|
이제 다양한 벤치마크 테이블이 있어요 |
|
|
|
03:22.270 --> 03:28.320 |
|
하나씩 살펴보면서 감을 잡을 거예요 get it get it |
|
|
|
03:28.350 --> 03:32.850 |
|
이런 벤치마크가 뭔지 기억할 필요는 없어요 언제든 찾아보면 되니까요 |
|
|
|
03:32.850 --> 03:36.810 |
|
그런 걸 느끼는 게 도움이 돼요 빨리 돌아오니까요 |
|
|
|
03:36.810 --> 03:41.940 |
|
그러니 집중해서 잘 보고 조사도 좀 하세요 |
|
|
|
03:41.940 --> 03:42.870 |
|
궁금한 게 있으면요 |
|
|
|
03:42.870 --> 03:47.160 |
|
이 숫자들은 나중에 다른 모델을 비교할 때 분석할 때 볼 |
|
|
|
03:47.160 --> 03:47.940 |
|
거예요 |
|
|
|
03:48.030 --> 03:54.300 |
|
첫 번째로 말씀드릴 것은 가장 흔한 벤치마크 7가지입니다 어디서나 볼 수 있죠 |
|
|
|
03:54.300 --> 04:00.510 |
|
첫 번째는 Arc입니다 과학적 추론을 측정하는 척도죠 |
|
|
|
04:00.510 --> 04:03.030 |
|
객관식 문제인 셈이죠 |
|
|
|
04:03.060 --> 04:11.310 |
|
Drop은 언어 이해력 테스트로 텍스트를 보고 정제한 다음 텍스트를 추가하거나 |
|
|
|
04:11.310 --> 04:14.760 |
|
정렬하거나 세는 작업을 하죠 |
|
|
|
04:14.880 --> 04:21.270 |
|
더 어려운 암호화, 긴 컨텍스트 저가 활동의 약자인 헬 스웨그는 상식적 |
|
|
|
04:21.300 --> 04:23.790 |
|
추론 테스트의 일종이에요 |
|
|
|
04:24.240 --> 04:26.820 |
|
MLU는 엄청 유명해요 |
|
|
|
04:26.820 --> 04:28.860 |
|
어디서나 볼 수 있어요 |
|
|
|
04:28.860 --> 04:35.340 |
|
57개 피험자를 추론하는 아주 흔한 측정법이었어요 |
|
|
|
04:35.800 --> 04:42.760 |
|
질문이 얼마나 잘 구성됐는지에 대해 의문이 제기되기도 했어요 |
|
|
|
04:42.760 --> 04:46.000 |
|
효과적인지 의심하는 사람들도 있어요 |
|
|
|
04:46.030 --> 04:47.680 |
|
루, 너무 많이 쓴 것 같아요 |
|
|
|
04:47.680 --> 04:53.860 |
|
나중에 루의 변형 버전이 나오는데 지금은 MLU Pro라고 불리죠 |
|
|
|
04:54.130 --> 04:55.930 |
|
이건 대체된 거예요 |
|
|
|
04:55.930 --> 05:05.140 |
|
진실한 QA는 정확성과 견고성을 요구합니다 특히 적대적인 상황에서 진실을 말하지 말라고 |
|
|
|
05:05.140 --> 05:07.720 |
|
부추기는 모델에서는요 |
|
|
|
05:08.290 --> 05:19.600 |
|
위노그랜드는 모델이 더 혼란스러운 상황에서 모호함을 해결할 수 있다는 걸 시험합니다 GSM |
|
|
|
05:19.600 --> 05:27.670 |
|
8K 수준의 초등학교 수학은 수학이자 초등학교와 중학교의 단어 문제이기도 |
|
|
|
05:27.670 --> 05:30.010 |
|
하죠 |
|
|
|
05:30.010 --> 05:35.110 |
|
이게 자주 보이는 7가지 공통 벤치마크예요 |
|
|
|
05:35.200 --> 05:36.760 |
|
잘 기억해 두세요 |
|
|
|
05:36.790 --> 05:38.470 |
|
자원부에 있어요 |
|
|
|
05:38.470 --> 05:42.910 |
|
앞으로 이런 걸 많이 보게 될 거예요 |
|
|
|
05:42.940 --> 05:44.770 |
|
이제 알아보실 수 있을 거예요
|
|
|