From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
271 lines
6.6 KiB
271 lines
6.6 KiB
WEBVTT |
|
|
|
00:00.800 --> 00:01.490 |
|
네 |
|
|
|
00:01.490 --> 00:02.900 |
|
진실의 순간이에요 |
|
|
|
00:02.900 --> 00:06.620 |
|
방금 시험지를 먹었어요 |
|
|
|
00:06.620 --> 00:07.940 |
|
이 수업 기억나요? |
|
|
|
00:08.090 --> 00:15.560 |
|
전체적인 평가를 수행하는 수업이에요 시험 데이터 세트에서 250개의 데이터 포인트를 통틀어서요 |
|
|
|
00:15.590 --> 00:17.450 |
|
약간 달라요 |
|
|
|
00:17.450 --> 00:22.610 |
|
여길 보시면 아주 미묘한 차이가 있는 걸 아실 겁니다 왜냐하면 우린 아이템 객체를 |
|
|
|
00:22.610 --> 00:24.380 |
|
가져가지 않으니까요 |
|
|
|
00:24.380 --> 00:27.980 |
|
데이터셋에서 데이터 포인트를 가져오는 거죠 |
|
|
|
00:27.980 --> 00:29.990 |
|
몇 가지 작은 차이가 있어요 |
|
|
|
00:29.990 --> 00:35.900 |
|
하지만 그 외에는 이 테스터는 기본적으로 똑같아요 |
|
|
|
00:36.050 --> 00:40.760 |
|
물론 이 단선 테스터 테스트로 끝나죠 |
|
|
|
00:40.790 --> 00:47.630 |
|
모델 예측은 방금 작성한 함수로 250점 대 모델을 테스트해보고 테스트 데이터 세트에서 |
|
|
|
00:47.630 --> 00:49.130 |
|
통과하는 거죠 |
|
|
|
00:49.130 --> 00:52.670 |
|
물론 이미 실행했죠 결과를 스크롤해 볼게요 |
|
|
|
00:52.670 --> 00:56.240 |
|
느낌으로 알 수 있죠 바로 위∙∙∙ get 됐네요 |
|
|
|
00:56.270 --> 00:57.560 |
|
정상까지 올라갈 거예요 |
|
|
|
00:57.560 --> 01:04.610 |
|
보시다시피 첫 번째 빨간 항목은 374달러짜리 물건이 1,800달러로 |
|
|
|
01:04.610 --> 01:05.930 |
|
예상됐어요 |
|
|
|
01:05.960 --> 01:08.330 |
|
붉은색과 녹색도 있어요 |
|
|
|
01:08.510 --> 01:12.200 |
|
우리가 그걸 못 느낀다는 걸 확실히 느낄 수 있죠 |
|
|
|
01:12.230 --> 01:15.500 |
|
이 모델은 이 작업을 이해하죠 |
|
|
|
01:15.500 --> 01:19.070 |
|
예를 들어, 89달러를 게스트하죠 99살요 |
|
|
|
01:19.070 --> 01:22.040 |
|
진실은 101-79였어요 |
|
|
|
01:22.040 --> 01:25.310 |
|
가장 가까운 금액이 아닌 게 흥미롭네요 |
|
|
|
01:25.310 --> 01:28.400 |
|
0달러로 뭔가를 만드는 거예요 99살요 |
|
|
|
01:28.820 --> 01:34.400 |
|
보시면 문제가 되는 색도 몇 개 있어요 녹색과 |
|
|
|
01:34.430 --> 01:39.980 |
|
붉은색이 있는데 붉은색이 꽤 많아요 |
|
|
|
01:39.980 --> 01:44.090 |
|
이 고통을 끝내고 곧장 차트에 오를 거예요 Put it up Put it |
|
|
|
01:44.090 --> 01:45.140 |
|
나오네요 |
|
|
|
01:45.170 --> 01:46.550 |
|
말도 안 돼요 |
|
|
|
01:46.580 --> 01:52.730 |
|
395의 끔찍한 결과예요 |
|
|
|
01:52.760 --> 02:02.300 |
|
오차로 따지면 395%는 기억하시겠지만 무작위로 추측하는 것보다 훨씬 심각한 |
|
|
|
02:02.300 --> 02:03.380 |
|
수치죠 |
|
|
|
02:03.380 --> 02:07.940 |
|
훈련 데이터의 평균 수보다 확실히 더 나쁜 것 같아요 |
|
|
|
02:07.970 --> 02:10.070 |
|
훈련 데이터는 몰랐지만요 |
|
|
|
02:10.310 --> 02:15.800 |
|
네, 보통 끔찍한 결과죠 |
|
|
|
02:16.070 --> 02:19.210 |
|
그렇게 놀랍진 않아요 |
|
|
|
02:19.210 --> 02:20.890 |
|
작은 모형이에요 |
|
|
|
02:20.980 --> 02:26.110 |
|
양자화도 잘 돼 있어서 눈으로 확인할 수 있어요 |
|
|
|
02:26.500 --> 02:35.290 |
|
몇 가지 단계가 있는데 가장 쉽게 추측할 수 있는 단계죠 대부분 이 세 단계 |
|
|
|
02:35.290 --> 02:38.710 |
|
중 하나에서 추측해요 |
|
|
|
02:38.710 --> 02:41.950 |
|
안타깝게도 한 마리는 너무 높죠 |
|
|
|
02:42.070 --> 02:44.710 |
|
모델에게 1,000달러 이상은 안 된다고 한 적이 없어요 |
|
|
|
02:44.710 --> 02:46.210 |
|
꼭 그래야 하는 건 아니에요 |
|
|
|
02:46.210 --> 02:48.670 |
|
GPT 4처럼 원하는 건 뭐든 추측할 수 있죠 |
|
|
|
02:48.910 --> 02:57.310 |
|
우리는 그걸 알 수 있는 지식을 주지 않았어요 그래서 너무 자주 너무 |
|
|
|
02:57.310 --> 02:59.830 |
|
높이 올라갔죠 |
|
|
|
02:59.890 --> 03:02.230 |
|
그래서 결과가 엉망이 됐죠 |
|
|
|
03:02.230 --> 03:05.650 |
|
기본 모델의 성능이 낮았어요 |
|
|
|
03:05.650 --> 03:09.160 |
|
변수가 적은 걸 보면 그리 놀랍진 않네요 |
|
|
|
03:09.160 --> 03:16.720 |
|
물론 이제 우리가 해결해야 할 과제는 성능이 떨어지는 모델을 미세 |
|
|
|
03:16.720 --> 03:22.780 |
|
튜닝과 훈련 데이터를 이용해 더 강하게 만드는 거죠 |
|
|
|
03:22.780 --> 03:28.990 |
|
그리고 1조 매개 변수 모델이 달성할 수 있는 것에 근접할 수 있을까요? Get it |
|
|
|
03:28.990 --> 03:32.650 |
|
80억 매개 변수 모델로 수량화되었어요 |
|
|
|
03:32.650 --> 03:41.080 |
|
주요 개척 모델의 get 1조 이상의 모델 변수에 근접할 수 있을까요? |
|
|
|
03:41.110 --> 03:43.540 |
|
오픈 소스라서 무료예요 |
|
|
|
03:43.540 --> 03:44.890 |
|
API 비용이 없어요 |
|
|
|
03:44.920 --> 03:51.250 |
|
그 수준으로 경기를 펼치거나 최소한 인간을 이기면 굉장하겠죠? |
|
|
|
03:51.250 --> 03:55.030 |
|
훈련받지 않은 라마를 인간이 이기고 있어요 |
|
|
|
03:55.090 --> 03:59.380 |
|
적어도 이 인간은 당신에게 마지막으로 남길 존재죠 |
|
|
|
03:59.410 --> 04:03.400 |
|
이건 4분의 1로 퀀화되는 거 아시죠? |
|
|
|
04:03.400 --> 04:07.480 |
|
여러분은 궁금하실 거예요 우리가 8분의 1로 양자화되면 어떻게 보일까요? |
|
|
|
04:07.480 --> 04:13.330 |
|
8비트 버전을 유지하고 실행하면 성능이 얼마나 영향을 미치는지 알 수 |
|
|
|
04:13.330 --> 04:18.490 |
|
있을 거예요 이중 퀀타이즈 된 4비트 버전까지 살펴보면요 |
|
|
|
04:18.490 --> 04:20.020 |
|
물론 그럴 수 있죠 |
|
|
|
04:20.050 --> 04:25.120 |
|
이 프레임워크가 아주 간단하고 실재하는 방법을 제공하죠 |
|
|
|
04:25.150 --> 04:26.260 |
|
차이를 보세요 |
|
|
|
04:26.260 --> 04:29.680 |
|
395까지 세면 얼마나 잘못된 건지 아시겠죠 |
|
|
|
04:29.680 --> 04:37.920 |
|
다른 탭에서 유일한 8비트로 퀀타이즈 된 걸 실행했어요 |
|
|
|
04:38.040 --> 04:44.880 |
|
위로 가면 4bit가 false로 설정된 게 보이시죠? 아니면 완전히 |
|
|
|
04:44.880 --> 04:46.050 |
|
똑같아요 |
|
|
|
04:46.410 --> 04:47.310 |
|
공책이에요 |
|
|
|
04:47.310 --> 04:51.060 |
|
스크롤을 쭉 내려서 결과를 보죠 |
|
|
|
04:51.450 --> 04:54.180 |
|
여기 있는 것 같아요 |
|
|
|
04:56.070 --> 04:57.030 |
|
잠깐만요 |
|
|
|
04:57.030 --> 04:58.200 |
|
긴장감을 조성해요 |
|
|
|
04:58.200 --> 04:59.670 |
|
자, 보세요 |
|
|
|
04:59.670 --> 05:03.030 |
|
그러니 연기도 형편없죠 |
|
|
|
05:03.030 --> 05:06.690 |
|
395가 301이 된 게 더 낫죠 |
|
|
|
05:06.990 --> 05:08.520 |
|
놀랄 일도 아니죠 |
|
|
|
05:08.550 --> 05:12.690 |
|
정보가 두 배나 많거든요 |
|
|
|
05:12.870 --> 05:20.370 |
|
다시 말씀드리지만 퀀타이즈는 정확도에 영향을 미쳤습니다 하지만 8비트 모델은 |
|
|
|
05:20.490 --> 05:23.130 |
|
더 잘했을지도 모르겠네요 |
|
|
|
05:23.130 --> 05:27.540 |
|
그래서 두 사람 사이에 큰 차이는 없었어요 |
|
|
|
05:28.230 --> 05:33.540 |
|
물론 더 큰 모델이 더 잘한다는 걸 보여주죠 |
|
|
|
05:34.470 --> 05:35.340 |
|
좋아요 |
|
|
|
05:35.340 --> 05:37.920 |
|
그게 참 흥미로웠어요 |
|
|
|
05:37.920 --> 05:38.970 |
|
노출이 심하네요 |
|
|
|
05:38.970 --> 05:42.360 |
|
슬라이드로 돌아가서 마무리하고 요약해보죠
|
|
|