You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

214 lines
6.3 KiB

WEBVTT
00:00.770 --> 00:06.050
더 고급 지표로 넘어가기 전에 친칠라 스케일링 법칙을
00:06.050 --> 00:12.410
언급하고 싶습니다 구글 딥마인드 팀이 만든 멋진 이름의 법이죠 친칠라
00:12.410 --> 00:15.200
모델 이름을 따서요
00:15.590 --> 00:22.640
모델에서 필요한 매개 변수의 개수와 신경망의 무게에
00:22.640 --> 00:28.580
관한 거죠 법에 따르면 매개 변수의 개수는
00:28.580 --> 00:35.630
훈련 데이터와 훈련 토큰의 개수에 비례해요
00:35.960 --> 00:42.290
그 말은 모델이 있다고 가정해 봅시다. 예를 들어 80억 개의 매개 변수 모델이 있다고 합시다.
00:42.290 --> 00:47.000
그리고 어느 지점에 도달하면 반환률이 감소하기 시작할 거예요.
00:47.030 --> 00:50.660
훈련 데이터를 추가한다고 모델에 큰 영향을 주진 않아요
00:50.660 --> 00:56.720
그래서 여러분은 이 크기의 모델에 대한 트레이닝 데이터가 적당하다고 느끼죠
00:56.720 --> 00:58.430
좋은 대결이 될 거예요
00:58.430 --> 01:06.170
훈련 데이터를 성공적으로 활용해 이 모델을 최대한의 학습 능력으로 끌어올렸죠
01:06.500 --> 01:08.450
괜찮은 질문일 수도 있어요
01:08.450 --> 01:15.240
매개 변수를 더 추가하고 싶다면 모델에 더 유연하게 학습할 수 있고 더 강력하고 미묘한
01:15.240 --> 01:16.740
차이를 줄 수 있죠
01:16.770 --> 01:20.910
훈련용 데이터가 얼마나 더 필요하죠?
01:20.940 --> 01:26.310
답은 이겁니다. 훈련 데이터를 두 배로 늘린다면 그 시점에서 수익이
01:26.310 --> 01:31.920
감소할 테고 무게는 두 배가 될 겁니다. 80억에서 160억 매개 변수가
01:31.950 --> 01:39.330
필요할 거예요. 훈련 데이터를 두 배로 쓰고 효과적으로 학습하려면요. 결과적으로 더 강력하고
01:39.330 --> 01:42.720
미묘하게 표현되려면요.
01:42.990 --> 01:50.130
훈련 데이터를 효과적으로 흡수하려면 매개 변수가 얼마나 더 필요한지 알 수 있죠
01:50.340 --> 01:58.050
그리고 그 이면에는 정반대의 관계도 있어요
01:58.050 --> 02:02.970
여러분이 80억 모델로 작업했는데 누군가 160억 매개 변수 모델로
02:02.970 --> 02:07.440
업그레이드하고 싶다고 하면 그걸 대신 사용하세요
02:07.650 --> 02:11.820
이렇게 생각할 수 있죠 이런 추가적인 유연성과
02:11.820 --> 02:20.170
예측력을 이용하려면 더 큰 모델에 다이얼과 추를 더 많이 적용해야 한다고요
02:20.440 --> 02:25.270
이를 이용하기 위해 얼마나 더 많은 훈련 데이터가 필요할까요?
02:25.270 --> 02:30.070
그 대답은 훈련 데이터 집합의 두 배가 필요하단 거죠
02:30.070 --> 02:36.220
훈련 토큰과 매개 변수의 관계는 몇 년 전에 제안된 것으로
02:36.250 --> 02:38.920
지금까지도 유효하죠
02:38.920 --> 02:46.330
변압기 구조에서 변압기 규격 법칙이 적용되는 것으로 밝혀졌죠
02:46.330 --> 02:46.990
글쎄요
02:46.990 --> 02:49.780
상황에 따라 행동하는 게 경험에서 나온 법칙이죠
02:50.710 --> 02:51.580
좋아요
02:51.610 --> 02:56.050
이제 벤치마크로 넘어가죠
02:56.050 --> 03:04.630
벤치마크는 사람들이 흔히 말하는 측정 기준입니다 다양한 모델을 재는 데 사용되죠
03:04.660 --> 03:12.670
일련의 테스트가 적용되고 다양한 leaderboard에서 사용됩니다 다양한 LMS의
03:12.670 --> 03:18.400
순위를 매기는 곳이죠 다양한 모델의 장단점을 보는 거예요
03:18.430 --> 03:22.270
이제 다양한 벤치마크 테이블이 있어요
03:22.270 --> 03:28.320
하나씩 살펴보면서 감을 잡을 거예요 get it get it
03:28.350 --> 03:32.850
이런 벤치마크가 뭔지 기억할 필요는 없어요 언제든 찾아보면 되니까요
03:32.850 --> 03:36.810
그런 걸 느끼는 게 도움이 돼요 빨리 돌아오니까요
03:36.810 --> 03:41.940
그러니 집중해서 잘 보고 조사도 좀 하세요
03:41.940 --> 03:42.870
궁금한 게 있으면요
03:42.870 --> 03:47.160
이 숫자들은 나중에 다른 모델을 비교할 때 분석할 때 볼
03:47.160 --> 03:47.940
거예요
03:48.030 --> 03:54.300
첫 번째로 말씀드릴 것은 가장 흔한 벤치마크 7가지입니다 어디서나 볼 수 있죠
03:54.300 --> 04:00.510
첫 번째는 Arc입니다 과학적 추론을 측정하는 척도죠
04:00.510 --> 04:03.030
객관식 문제인 셈이죠
04:03.060 --> 04:11.310
Drop은 언어 이해력 테스트로 텍스트를 보고 정제한 다음 텍스트를 추가하거나
04:11.310 --> 04:14.760
정렬하거나 세는 작업을 하죠
04:14.880 --> 04:21.270
더 어려운 암호화, 긴 컨텍스트 저가 활동의 약자인 헬 스웨그는 상식적
04:21.300 --> 04:23.790
추론 테스트의 일종이에요
04:24.240 --> 04:26.820
MLU는 엄청 유명해요
04:26.820 --> 04:28.860
어디서나 볼 수 있어요
04:28.860 --> 04:35.340
57개 피험자를 추론하는 아주 흔한 측정법이었어요
04:35.800 --> 04:42.760
질문이 얼마나 잘 구성됐는지에 대해 의문이 제기되기도 했어요
04:42.760 --> 04:46.000
효과적인지 의심하는 사람들도 있어요
04:46.030 --> 04:47.680
루, 너무 많이 쓴 것 같아요
04:47.680 --> 04:53.860
나중에 루의 변형 버전이 나오는데 지금은 MLU Pro라고 불리죠
04:54.130 --> 04:55.930
이건 대체된 거예요
04:55.930 --> 05:05.140
진실한 QA는 정확성과 견고성을 요구합니다 특히 적대적인 상황에서 진실을 말하지 말라고
05:05.140 --> 05:07.720
부추기는 모델에서는요
05:08.290 --> 05:19.600
위노그랜드는 모델이 더 혼란스러운 상황에서 모호함을 해결할 수 있다는 걸 시험합니다 GSM
05:19.600 --> 05:27.670
8K 수준의 초등학교 수학은 수학이자 초등학교와 중학교의 단어 문제이기도
05:27.670 --> 05:30.010
하죠
05:30.010 --> 05:35.110
이게 자주 보이는 7가지 공통 벤치마크예요
05:35.200 --> 05:36.760
잘 기억해 두세요
05:36.790 --> 05:38.470
자원부에 있어요
05:38.470 --> 05:42.910
앞으로 이런 걸 많이 보게 될 거예요
05:42.940 --> 05:44.770
이제 알아보실 수 있을 거예요