You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

148 lines
3.8 KiB

WEBVTT
00:00.920 --> 00:06.260
이번에도 시상대에 올랐습니다 모델들의 퍼포먼스를 감상해 보죠
00:06.260 --> 00:12.050
이미 답을 아시지만 그래도 한번 보고 웃어야겠어요
00:12.320 --> 00:18.590
먼저 훈련 데이터 세트에서 평균 값을 추측하는 상수 모델을 살펴보죠
00:18.950 --> 00:22.880
그 숫자를 보면 146이었죠
00:23.000 --> 00:26.150
확실히 더 낮아 보여요
00:26.150 --> 00:28.070
이유는 아실 거예요
00:28.370 --> 00:34.100
그리고 전통적인 머신 러닝 모델을 살펴봤는데 평균을 넘을 수 있었어요 그러길
00:34.100 --> 00:36.260
바라지만 대다수는 아니었죠
00:36.470 --> 00:42.050
무작위 숲 접근법을 살펴봤는데 97년에 나온 전통적인 머신
00:42.050 --> 00:44.510
러닝 접근법 중 최고였어요
00:44.510 --> 00:51.140
인간과 비교해 보니 인간은 단순한 기본 특징을 이길 수 있었지만
00:51.140 --> 00:53.870
숲의 모델에 지고 말았죠
00:54.140 --> 01:00.290
GPT 40은 다양한 프런티어 모델 중 최고였어요 인간을
01:00.290 --> 01:04.610
76배나 능가하며 완벽하게 해냈죠
01:04.820 --> 01:15.310
오늘은 미세하게 조율된 베이스 라마 3을 살펴봤어요 180억 매개 변수가 4분의 1로 양분화됐어요
01:15.430 --> 01:21.190
396도라는 걸 확인했는데 정말 심각했어요
01:21.280 --> 01:29.950
8비트로 양자화했을 때가 약간 더 나았습니다 오차가 301달러로 늘었죠
01:30.160 --> 01:36.550
라마 3은 시작이 안 좋네요 1점이지만 도전이 시작됐으니 어떤 면에선
01:36.550 --> 01:37.780
신나죠
01:37.870 --> 01:45.640
이 모델을 가지고 어떻게 개선할지 시험해 볼 거예요
01:45.640 --> 01:53.410
저희 목표는 GPT 4 같은 모델과 경쟁하는 겁니다 매개 변수가 수조 개나
01:53.410 --> 01:54.460
되죠
01:54.460 --> 01:59.530
이 특정 작업에서 경쟁력을 갖추고 무료 오픈 소스 모델로
01:59.530 --> 02:04.240
작업할 수 있다면 우린 대단한 걸 이룬 거죠
02:04.240 --> 02:05.080
02:05.110 --> 02:11.690
요약하자면, 이 시점에서 여러분은 80%의 여정을 마쳤는데
02:11.690 --> 02:14.120
정말 대단한 거예요
02:14.120 --> 02:15.260
정말 기뻐요
02:15.290 --> 02:16.190
계속 물고 늘어져요
02:16.190 --> 02:17.660
와줘서 정말 기뻐요
02:17.660 --> 02:20.690
아직 20%가 안 왔어요
02:20.690 --> 02:21.740
최고예요
02:21.740 --> 02:23.060
그게 최고죠
02:23.090 --> 02:25.820
가장 맛있는 콘텐츠는 다음에 나올 거예요
02:25.820 --> 02:27.860
이 모델을 훈련할 때요
02:27.860 --> 02:32.540
다음 주 결승전에선 모든 걸 합쳤어요 TUZ TUZ TOZ TUZ
02:32.540 --> 02:35.210
점점 더 커질 거예요
02:35.210 --> 02:37.160
Get it, get it, get it, get it, get 갈수록 더 좋아질 거예요
02:37.160 --> 02:38.300
조금만 참아요
02:38.330 --> 02:40.250
좋은 건 다 나올 거예요
02:40.250 --> 02:44.870
다음 시간에는 hyperperameter를 더 할 거예요
02:44.870 --> 02:50.390
하이퍼파라미터는 좀 힘들 수도 있지만 정말 중요한 걸 배우는 비트예요
02:50.390 --> 02:54.530
hyperperameter가 있어요 컨트롤 훈련이죠 설명해 드릴게요
02:54.560 --> 03:00.020
그런 다음 감독자 미세 조정 SFT 트레이너를 설치할 거예요 여기서 모든 게
03:00.020 --> 03:00.830
이뤄지죠
03:00.830 --> 03:03.650
그리고 훈련을 시작할 거예요
03:03.650 --> 03:11.720
여러분은 독자적인 대형 언어 모델을 훈련하게 될 겁니다 라마 3을 기반으로요 1단계 모델이죠
03:11.720 --> 03:15.320
다음 세션에서 그걸 할 거예요
03:15.320 --> 03:17.210
그럼 거기서 봐요