You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

271 lines
6.6 KiB

WEBVTT
00:00.800 --> 00:01.490
00:01.490 --> 00:02.900
진실의 순간이에요
00:02.900 --> 00:06.620
방금 시험지를 먹었어요
00:06.620 --> 00:07.940
이 수업 기억나요?
00:08.090 --> 00:15.560
전체적인 평가를 수행하는 수업이에요 시험 데이터 세트에서 250개의 데이터 포인트를 통틀어서요
00:15.590 --> 00:17.450
약간 달라요
00:17.450 --> 00:22.610
여길 보시면 아주 미묘한 차이가 있는 걸 아실 겁니다 왜냐하면 우린 아이템 객체를
00:22.610 --> 00:24.380
가져가지 않으니까요
00:24.380 --> 00:27.980
데이터셋에서 데이터 포인트를 가져오는 거죠
00:27.980 --> 00:29.990
몇 가지 작은 차이가 있어요
00:29.990 --> 00:35.900
하지만 그 외에는 이 테스터는 기본적으로 똑같아요
00:36.050 --> 00:40.760
물론 이 단선 테스터 테스트로 끝나죠
00:40.790 --> 00:47.630
모델 예측은 방금 작성한 함수로 250점 대 모델을 테스트해보고 테스트 데이터 세트에서
00:47.630 --> 00:49.130
통과하는 거죠
00:49.130 --> 00:52.670
물론 이미 실행했죠 결과를 스크롤해 볼게요
00:52.670 --> 00:56.240
느낌으로 알 수 있죠 바로 위∙∙∙ get 됐네요
00:56.270 --> 00:57.560
정상까지 올라갈 거예요
00:57.560 --> 01:04.610
보시다시피 첫 번째 빨간 항목은 374달러짜리 물건이 1,800달러로
01:04.610 --> 01:05.930
예상됐어요
01:05.960 --> 01:08.330
붉은색과 녹색도 있어요
01:08.510 --> 01:12.200
우리가 그걸 못 느낀다는 걸 확실히 느낄 수 있죠
01:12.230 --> 01:15.500
이 모델은 이 작업을 이해하죠
01:15.500 --> 01:19.070
예를 들어, 89달러를 게스트하죠 99살요
01:19.070 --> 01:22.040
진실은 101-79였어요
01:22.040 --> 01:25.310
가장 가까운 금액이 아닌 게 흥미롭네요
01:25.310 --> 01:28.400
0달러로 뭔가를 만드는 거예요 99살요
01:28.820 --> 01:34.400
보시면 문제가 되는 색도 몇 개 있어요 녹색과
01:34.430 --> 01:39.980
붉은색이 있는데 붉은색이 꽤 많아요
01:39.980 --> 01:44.090
이 고통을 끝내고 곧장 차트에 오를 거예요 Put it up Put it
01:44.090 --> 01:45.140
나오네요
01:45.170 --> 01:46.550
말도 안 돼요
01:46.580 --> 01:52.730
395의 끔찍한 결과예요
01:52.760 --> 02:02.300
오차로 따지면 395%는 기억하시겠지만 무작위로 추측하는 것보다 훨씬 심각한
02:02.300 --> 02:03.380
수치죠
02:03.380 --> 02:07.940
훈련 데이터의 평균 수보다 확실히 더 나쁜 것 같아요
02:07.970 --> 02:10.070
훈련 데이터는 몰랐지만요
02:10.310 --> 02:15.800
네, 보통 끔찍한 결과죠
02:16.070 --> 02:19.210
그렇게 놀랍진 않아요
02:19.210 --> 02:20.890
작은 모형이에요
02:20.980 --> 02:26.110
양자화도 잘 돼 있어서 눈으로 확인할 수 있어요
02:26.500 --> 02:35.290
몇 가지 단계가 있는데 가장 쉽게 추측할 수 있는 단계죠 대부분 이 세 단계
02:35.290 --> 02:38.710
중 하나에서 추측해요
02:38.710 --> 02:41.950
안타깝게도 한 마리는 너무 높죠
02:42.070 --> 02:44.710
모델에게 1,000달러 이상은 안 된다고 한 적이 없어요
02:44.710 --> 02:46.210
꼭 그래야 하는 건 아니에요
02:46.210 --> 02:48.670
GPT 4처럼 원하는 건 뭐든 추측할 수 있죠
02:48.910 --> 02:57.310
우리는 그걸 알 수 있는 지식을 주지 않았어요 그래서 너무 자주 너무
02:57.310 --> 02:59.830
높이 올라갔죠
02:59.890 --> 03:02.230
그래서 결과가 엉망이 됐죠
03:02.230 --> 03:05.650
기본 모델의 성능이 낮았어요
03:05.650 --> 03:09.160
변수가 적은 걸 보면 그리 놀랍진 않네요
03:09.160 --> 03:16.720
물론 이제 우리가 해결해야 할 과제는 성능이 떨어지는 모델을 미세
03:16.720 --> 03:22.780
튜닝과 훈련 데이터를 이용해 더 강하게 만드는 거죠
03:22.780 --> 03:28.990
그리고 1조 매개 변수 모델이 달성할 수 있는 것에 근접할 수 있을까요? Get it
03:28.990 --> 03:32.650
80억 매개 변수 모델로 수량화되었어요
03:32.650 --> 03:41.080
주요 개척 모델의 get 1조 이상의 모델 변수에 근접할 수 있을까요?
03:41.110 --> 03:43.540
오픈 소스라서 무료예요
03:43.540 --> 03:44.890
API 비용이 없어요
03:44.920 --> 03:51.250
그 수준으로 경기를 펼치거나 최소한 인간을 이기면 굉장하겠죠?
03:51.250 --> 03:55.030
훈련받지 않은 라마를 인간이 이기고 있어요
03:55.090 --> 03:59.380
적어도 이 인간은 당신에게 마지막으로 남길 존재죠
03:59.410 --> 04:03.400
이건 4분의 1로 퀀화되는 거 아시죠?
04:03.400 --> 04:07.480
여러분은 궁금하실 거예요 우리가 8분의 1로 양자화되면 어떻게 보일까요?
04:07.480 --> 04:13.330
8비트 버전을 유지하고 실행하면 성능이 얼마나 영향을 미치는지 알 수
04:13.330 --> 04:18.490
있을 거예요 이중 퀀타이즈 된 4비트 버전까지 살펴보면요
04:18.490 --> 04:20.020
물론 그럴 수 있죠
04:20.050 --> 04:25.120
이 프레임워크가 아주 간단하고 실재하는 방법을 제공하죠
04:25.150 --> 04:26.260
차이를 보세요
04:26.260 --> 04:29.680
395까지 세면 얼마나 잘못된 건지 아시겠죠
04:29.680 --> 04:37.920
다른 탭에서 유일한 8비트로 퀀타이즈 된 걸 실행했어요
04:38.040 --> 04:44.880
위로 가면 4bit가 false로 설정된 게 보이시죠? 아니면 완전히
04:44.880 --> 04:46.050
똑같아요
04:46.410 --> 04:47.310
공책이에요
04:47.310 --> 04:51.060
스크롤을 쭉 내려서 결과를 보죠
04:51.450 --> 04:54.180
여기 있는 것 같아요
04:56.070 --> 04:57.030
잠깐만요
04:57.030 --> 04:58.200
긴장감을 조성해요
04:58.200 --> 04:59.670
자, 보세요
04:59.670 --> 05:03.030
그러니 연기도 형편없죠
05:03.030 --> 05:06.690
395가 301이 된 게 더 낫죠
05:06.990 --> 05:08.520
놀랄 일도 아니죠
05:08.550 --> 05:12.690
정보가 두 배나 많거든요
05:12.870 --> 05:20.370
다시 말씀드리지만 퀀타이즈는 정확도에 영향을 미쳤습니다 하지만 8비트 모델은
05:20.490 --> 05:23.130
더 잘했을지도 모르겠네요
05:23.130 --> 05:27.540
그래서 두 사람 사이에 큰 차이는 없었어요
05:28.230 --> 05:33.540
물론 더 큰 모델이 더 잘한다는 걸 보여주죠
05:34.470 --> 05:35.340
좋아요
05:35.340 --> 05:37.920
그게 참 흥미로웠어요
05:37.920 --> 05:38.970
노출이 심하네요
05:38.970 --> 05:42.360
슬라이드로 돌아가서 마무리하고 요약해보죠