From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
508 lines
13 KiB
508 lines
13 KiB
WEBVTT |
|
|
|
00:00.770 --> 00:05.690 |
|
개척지 실험에 오신 걸 환영해요 |
|
|
|
00:05.690 --> 00:12.290 |
|
그래서 새로운 모델을 시험해 보려고 합니다 GPT 4와 |
|
|
|
00:12.290 --> 00:18.590 |
|
클로드를 조합해서 제품 가격을 예측하는 거죠 |
|
|
|
00:18.800 --> 00:21.980 |
|
이와 관련해 몇 가지 지적하고 싶어요 |
|
|
|
00:21.980 --> 00:26.900 |
|
우선, 이건 훈련이 아니란 걸 강조해야 해요 |
|
|
|
00:26.900 --> 00:31.070 |
|
개척지 모델에는 훈련 데이터의 혜택을 주지 않을 거예요 |
|
|
|
00:31.070 --> 00:36.350 |
|
테스트 데이터를 주고 결과를 예측하도록 요청할 뿐이죠 |
|
|
|
00:36.350 --> 00:41.930 |
|
전통적인 머신 러닝을 살펴볼 때 400,000개의 훈련 데이터 포인트를 주고 |
|
|
|
00:41.930 --> 00:44.510 |
|
그걸 기반으로 모델을 배우게 했어요 |
|
|
|
00:44.690 --> 00:51.440 |
|
이 경우에는 테스트 데이터를 주는 거죠 세상에 대해 알고 있는 경이로운 |
|
|
|
00:51.440 --> 00:56.690 |
|
모든 지식 수조 개의 매개 변수에 저장된 모든 정보를 가지고 |
|
|
|
00:56.690 --> 01:03.180 |
|
제품의 가격을 예측해 보세요 그리고 이 문장을 끝내세요 이 제품은 |
|
|
|
01:03.180 --> 01:10.890 |
|
달러 가치가 있다 그러면 모델은 가장 그럴듯한 다음 토큰이 그 제품의 가격이 될 것이라고 |
|
|
|
01:10.890 --> 01:13.590 |
|
확신하죠 |
|
|
|
01:13.590 --> 01:16.470 |
|
그래서 그 세계의 지식을 이용하는 거죠 |
|
|
|
01:16.950 --> 01:21.240 |
|
한편으로는 이 작업에 대한 훈련을 받지 않았어요 |
|
|
|
01:21.240 --> 01:25.080 |
|
한편으로는 이미 생각하셨을지 모르지만 언급할 |
|
|
|
01:25.080 --> 01:32.160 |
|
만한 다른 주제가 있습니다. 훈련의 일환으로 이런 모델로 만들어진 어마어마하게 방대한 |
|
|
|
01:32.160 --> 01:39.120 |
|
훈련 데이터셋을 보면 이런 제품들을 이미 봤을 가능성이 충분히 있다는 거죠. |
|
|
|
01:39.150 --> 01:41.910 |
|
아마존에서 가져온 걸 수도 있죠 |
|
|
|
01:41.910 --> 01:45.540 |
|
포옹하는 얼굴 데이터 세트를 제공했을지도 모르죠 |
|
|
|
01:45.750 --> 01:48.570 |
|
이제 가능하대요 |
|
|
|
01:48.570 --> 01:49.980 |
|
이젠 아니에요 |
|
|
|
01:50.010 --> 01:54.240 |
|
결과가 의심스러울 정도로 정확하진 않아요 |
|
|
|
01:54.240 --> 02:00.210 |
|
그렇다면 정확한 가격의 혜택을 누릴 수 있겠지만 부당한 이점이 있을 수 |
|
|
|
02:00.210 --> 02:02.490 |
|
있다는 걸 명심해야 해요 |
|
|
|
02:02.490 --> 02:07.250 |
|
그런 증거는 못 봤지만 확실히 걱정해야 할 문제인 건 분명해요 |
|
|
|
02:07.250 --> 02:10.490 |
|
테스타타 오염이라고 하죠 |
|
|
|
02:10.490 --> 02:16.910 |
|
테스트 데이터가 목격되거나 훈련 중에 그 측면이 보였을 가능성이 |
|
|
|
02:16.910 --> 02:18.710 |
|
있을 때요 |
|
|
|
02:19.070 --> 02:20.390 |
|
그걸 명심하세요 |
|
|
|
02:20.390 --> 02:22.190 |
|
그건 여담으로 남겨둘게요 |
|
|
|
02:22.190 --> 02:24.530 |
|
그 얘기는 그만하죠 |
|
|
|
02:24.530 --> 02:27.320 |
|
그게 관련됐다는 중요한 증거는 못 봤어요 |
|
|
|
02:27.890 --> 02:30.500 |
|
수입 작업을 할 거예요 |
|
|
|
02:31.130 --> 02:32.150 |
|
저기 가네요 |
|
|
|
02:32.240 --> 02:36.980 |
|
오픈AI와 인류애를 다시 수입하고 있어요 그걸 활용할 거예요 |
|
|
|
02:36.980 --> 02:42.890 |
|
제가 만든 테스터 수업 기억하시죠? 제가 좋아하는 건데 여러분께 아주 유용할 |
|
|
|
02:42.890 --> 02:43.520 |
|
거예요 |
|
|
|
02:43.520 --> 02:49.820 |
|
가능한 많은 비즈니스 지표를 사용해 결과를 검증하기 위한 여러분의 프로젝트를 |
|
|
|
02:49.850 --> 02:55.250 |
|
위해 유사한 테스트 하니스 프레임워크를 작성하시길 권장해요 |
|
|
|
02:55.700 --> 03:00.650 |
|
파이썬 을 가지고 있는 분리된 모듈로 옮겼어요 |
|
|
|
03:00.650 --> 03:05.760 |
|
이런 모듈에 있는 것과 같은 코드예요 그 말은 Jupyter 노트북에 이게 |
|
|
|
03:05.760 --> 03:10.020 |
|
있을 필요가 없다는 거죠 앞으로 꽤 많이 사용할 테니까요 |
|
|
|
03:10.050 --> 03:13.710 |
|
이렇게 불러오기만 하면 돼요 |
|
|
|
03:13.710 --> 03:16.140 |
|
서명이 아주 약간 바뀌었어요 |
|
|
|
03:16.170 --> 03:22.410 |
|
테슬라 put test라고 적고 함수 이름을 넣고 시험 데이터 세트에도 통과시켜야 |
|
|
|
03:22.410 --> 03:26.760 |
|
해요 250개의 요소 데이터 포인트를 취할 거예요 |
|
|
|
03:26.790 --> 03:27.210 |
|
좋아요 |
|
|
|
03:27.210 --> 03:30.270 |
|
이제 환경 변수를 로드할 거예요 |
|
|
|
03:30.270 --> 03:32.730 |
|
얼굴 포옹에 로그인할게요 |
|
|
|
03:33.000 --> 03:36.150 |
|
다시 말씀드리지만 그건 안 쓸 것 같아요 |
|
|
|
03:36.150 --> 03:39.870 |
|
어쨌든 get it의 실천을 시작해 보죠. |
|
|
|
03:40.080 --> 03:42.360 |
|
포옹하는 얼굴 로그인하면 늘 좋죠 |
|
|
|
03:42.390 --> 03:45.420 |
|
두 모델을 초기화할 거예요 |
|
|
|
03:45.420 --> 03:51.840 |
|
Mattplotlib에 우리가 차트를 만들 거라고 말할 거예요. 그리고 우리가 출력한 |
|
|
|
03:51.840 --> 03:56.580 |
|
트레이닝과 테스트 데이터 세트를 위해 피클 파일을 로드할 거예요. |
|
|
|
03:56.670 --> 03:58.350 |
|
장전도 됐고요 |
|
|
|
03:58.380 --> 04:04.260 |
|
개척지로 곧장 간다고 말씀드렸지만 잠시 멈춰 보겠습니다 개척지로 |
|
|
|
04:04.260 --> 04:09.320 |
|
가기 전에 보여 드릴 모델이 하나 더 있거든요 |
|
|
|
04:09.320 --> 04:14.120 |
|
서구 시대라고 하셨지만 이것도 재미있을 거예요 |
|
|
|
04:14.120 --> 04:17.030 |
|
제가 그 대가를 치렀죠 |
|
|
|
04:17.120 --> 04:22.970 |
|
그래서 오늘 영상을 시작할 때 너무 피곤하다고 한 거예요 |
|
|
|
04:22.970 --> 04:31.610 |
|
하지만 우리 모델을 비교해 봐야 할 또 다른 대상은 제품 가격을 예측하려는 |
|
|
|
04:31.610 --> 04:36.620 |
|
인류의 노력일 거라는 생각이 들었죠 |
|
|
|
04:36.680 --> 04:42.500 |
|
기준선도 있어야 할 것 같습니다 모델의 성능과 인간의 성능을 |
|
|
|
04:42.500 --> 04:44.330 |
|
비교할 수 있게요 |
|
|
|
04:44.510 --> 04:52.040 |
|
250개의 제품 설명을 읽고 가격을 계산하는 등의 공포를 감당할 수 있는 사람을 |
|
|
|
04:52.040 --> 04:54.380 |
|
찾을 수가 없었어요 |
|
|
|
04:54.380 --> 04:58.850 |
|
그래서 스스로를 고문했어요 정말 고문이 따로 없었죠 |
|
|
|
04:58.850 --> 05:02.660 |
|
제가 예상했던 것보다 훨씬 어렵네요 |
|
|
|
05:02.660 --> 05:08.030 |
|
전에 꽤 힘들 거라고 말씀드렸는데 생각했던 것보다 훨씬 힘들어요 |
|
|
|
05:08.310 --> 05:11.070 |
|
제가 전혀 몰랐던 것들이 있어요 |
|
|
|
05:11.070 --> 05:16.560 |
|
바퀴 하나에 얼마인지 몰랐는데 바퀴가 몇 개 있네요 |
|
|
|
05:16.710 --> 05:22.950 |
|
컴퓨터의 순서를 알아야 하는데도 복원한 컴퓨터의 디스크 |
|
|
|
05:22.950 --> 05:28.770 |
|
공간이 400GB나 돼서 고민하게 되더라고요 |
|
|
|
05:28.920 --> 05:31.560 |
|
네, 정말 힘들었어요 |
|
|
|
05:31.560 --> 05:32.820 |
|
샹들리에도요 |
|
|
|
05:32.820 --> 05:34.740 |
|
샹들리에가 얼마인지 모르겠어요 |
|
|
|
05:34.740 --> 05:36.360 |
|
본론에서 벗어났네요 |
|
|
|
05:36.390 --> 05:47.130 |
|
코드를 작성해서 CSV파일 250 테스트 프롬프트에 출력합니다. 이것을 실행한 후에는, 실행해 볼게요. |
|
|
|
05:47.130 --> 05:51.450 |
|
이제 파일을 생성합니다 사람 입력 .csv |
|
|
|
05:51.450 --> 05:53.790 |
|
여기 사람 입력 .CSV가 있네요 |
|
|
|
05:53.790 --> 06:04.140 |
|
프롬프트들을 포함하고 있습니다 상위 250개의 프롬프트들 전부를요 이 칼럼에 0은 |
|
|
|
06:04.140 --> 06:06.690 |
|
사람이 채울 수 있죠 |
|
|
|
06:06.690 --> 06:12.530 |
|
이 사람 산출물을 깃에 체크해야 할지조차 모르겠어요 |
|
|
|
06:12.560 --> 06:17.840 |
|
보시면 아시겠지만 제가 감히 했어요 시간이 좀 지나면 지치거든요 너무 |
|
|
|
06:17.840 --> 06:19.700 |
|
빨리 진행한 것 같아요 |
|
|
|
06:19.700 --> 06:21.890 |
|
제가 큰 실수를 한 것 같아요 |
|
|
|
06:21.890 --> 06:24.620 |
|
무슨 생각으로 그랬는지 궁금하실 거예요 |
|
|
|
06:24.620 --> 06:27.230 |
|
당신은 LM 엔지니어링이나 가르쳐요 |
|
|
|
06:27.260 --> 06:28.190 |
|
당연히 아니죠 |
|
|
|
06:28.460 --> 06:30.950 |
|
당신은 이 세상의 사람이 아니에요 |
|
|
|
06:31.100 --> 06:34.100 |
|
하지만 최선을 다하긴 했어요 |
|
|
|
06:34.100 --> 06:38.840 |
|
제가 정한 가격을 다시 읽어볼게요 |
|
|
|
06:38.990 --> 06:43.940 |
|
Get it가 어떻게 보일지 간단히 짚어 보죠 |
|
|
|
06:43.940 --> 06:54.950 |
|
그래서 우리가 쓸 함수는 인간 예측기인 인간 프로세서예요 |
|
|
|
06:54.950 --> 06:57.140 |
|
그래서 입력이 필요하죠 |
|
|
|
06:57.140 --> 07:00.230 |
|
그 입력이 항목 중 하나가 되어야 해요 |
|
|
|
07:00.260 --> 07:04.610 |
|
그 물건의 가격을 환불하는 게 그 기계의 일이죠 |
|
|
|
07:04.910 --> 07:11.820 |
|
음, 이 시점에서 제가 하는 것은, 트레이닝 데이터 세트를 보면 테스트 데이터 세트라고 |
|
|
|
07:11.820 --> 07:12.720 |
|
하죠 |
|
|
|
07:12.750 --> 07:15.840 |
|
그 항목의 인덱스는 뭐죠? |
|
|
|
07:15.840 --> 07:19.410 |
|
테스트의 0번째 항목인가요? |
|
|
|
07:19.410 --> 07:21.030 |
|
첫 번째인가요? 두 번째인가요? 세 번째인가요? |
|
|
|
07:21.030 --> 07:23.940 |
|
그걸 인덱스라고 부르죠 |
|
|
|
07:24.420 --> 07:30.090 |
|
여기서 보고 있는 테스트 아이템의 개수죠 |
|
|
|
07:30.090 --> 07:36.750 |
|
그리고 가망 없는 예측을 전부 읽었어요 |
|
|
|
07:36.750 --> 07:40.230 |
|
그래서 인간의 예측을 다시 보여드리려고 해요 |
|
|
|
07:44.010 --> 07:46.890 |
|
인덱스 에서도요 |
|
|
|
07:48.240 --> 07:48.930 |
|
좋아요 |
|
|
|
07:48.960 --> 07:49.680 |
|
실행하세요 |
|
|
|
07:49.680 --> 07:56.850 |
|
이제 테스터가 인간 프라이서를 테스트할 거예요 |
|
|
|
07:59.640 --> 08:01.800 |
|
테스트 데이터 세트도 통과시키고요 |
|
|
|
08:02.040 --> 08:02.910 |
|
시작할게요 |
|
|
|
08:04.320 --> 08:07.740 |
|
결과가 나왔네요 |
|
|
|
08:07.920 --> 08:13.010 |
|
붉은 연어가 꽤 많이 보여요 |
|
|
|
08:13.040 --> 08:14.450 |
|
그래도 녹색은 좀 있네요 |
|
|
|
08:14.480 --> 08:15.980 |
|
정중하게 했어요 |
|
|
|
08:16.340 --> 08:18.590 |
|
그래도 꽤 멀리까지 갔어요 |
|
|
|
08:18.590 --> 08:19.490 |
|
하지만 이걸 보세요 |
|
|
|
08:19.490 --> 08:20.300 |
|
이게 뭐죠? |
|
|
|
08:20.300 --> 08:23.600 |
|
리치먼드 자동차 덮개 전문점 260점 정도 될 거예요 |
|
|
|
08:23.630 --> 08:25.220 |
|
225달러였어요 |
|
|
|
08:25.220 --> 08:28.010 |
|
이건 깁슨 퍼포먼스 배기관이에요 |
|
|
|
08:28.010 --> 08:31.010 |
|
깁슨 퍼포먼스 배기관이 얼마인지는 모르지만요 |
|
|
|
08:31.010 --> 08:32.870 |
|
499개라고 생각했어요 |
|
|
|
08:32.870 --> 08:35.090 |
|
그래서 한번 해 보기로 했죠 |
|
|
|
08:35.090 --> 08:37.280 |
|
답은 535예요 |
|
|
|
08:37.430 --> 08:38.900 |
|
하지만 다른 사람들도 있어요 |
|
|
|
08:39.050 --> 08:40.340 |
|
Get it, get it, get it, get it! 내가 뭘 잘못 알고 있는 거죠? |
|
|
|
08:40.370 --> 08:49.250 |
|
Street Series Senless 성능인가 뭔가였는데 260달러쯤 했어요 814달러였죠 |
|
|
|
08:49.280 --> 08:53.210 |
|
어쨌든 너무 빗나갔어요 고통을 덜어주려고요 |
|
|
|
08:53.210 --> 08:55.910 |
|
스크롤을 내리면 보일 거예요 |
|
|
|
08:55.940 --> 09:03.980 |
|
여기 차트가 있어요 제가 형편없지 않다는 걸 보실 수 있죠 |
|
|
|
09:04.010 --> 09:04.640 |
|
아니, 그랬다고요 |
|
|
|
09:04.640 --> 09:09.020 |
|
보세요, 많은 녹색 점이 32%에 도달해요 |
|
|
|
09:09.200 --> 09:16.440 |
|
그리고 3분의 2 정도 봤을 때 제가 생각한 가격은 400-500달러 |
|
|
|
09:16.440 --> 09:20.100 |
|
정도였어요 |
|
|
|
09:20.100 --> 09:22.890 |
|
그래서 제가 그런다는 걸 바로 알았죠 |
|
|
|
09:22.890 --> 09:26.040 |
|
비싼 건 못 봤어요 |
|
|
|
09:26.220 --> 09:28.650 |
|
그건 명백한 실패였죠 |
|
|
|
09:28.920 --> 09:34.110 |
|
제 총 오류는 127달러였어요 |
|
|
|
09:34.110 --> 09:38.280 |
|
평균보다 더 잘한다는 뜻이죠 |
|
|
|
09:38.280 --> 09:42.630 |
|
처음부터 끝까지 맞힌다고 더 잘 만들 수 있는 것도 아니고요 |
|
|
|
09:42.840 --> 09:48.240 |
|
비교를 위해 적어 봤어요 |
|
|
|
09:48.240 --> 09:50.460 |
|
평균은 146점이었어요 |
|
|
|
09:50.520 --> 09:52.500 |
|
평균 가격의 오류였어요 |
|
|
|
09:52.590 --> 09:53.880 |
|
그보다는 잘했죠 |
|
|
|
09:53.880 --> 09:57.930 |
|
기능 엔지니어링의 선형 회귀죠 |
|
|
|
09:57.930 --> 10:00.540 |
|
기본은 139개였어요 |
|
|
|
10:00.540 --> 10:01.800 |
|
그래서 이겼어요 |
|
|
|
10:01.800 --> 10:06.150 |
|
아주 기본적인 기능 공학 선형 회귀를 깼어요 |
|
|
|
10:06.150 --> 10:09.930 |
|
하지만 이미 더 많은 기능을 넣고 그것보다 잘했을 거예요. |
|
|
|
10:10.020 --> 10:18.230 |
|
그런데 다른 모델들이 전부 단어의 봉지에 담긴 스타일과 두 개의 벡 모델로 저를 압도했어요 |
|
|
|
10:18.230 --> 10:24.650 |
|
랜덤 포레스트는 97년에 등장했는데 인류보다 훨씬 뛰어났죠 |
|
|
|
10:24.680 --> 10:31.850 |
|
기존의 좋은 머신 러닝 모델은 사람보다 제품 가격 예측에 더 뛰어납니다 |
|
|
|
10:31.850 --> 10:38.210 |
|
하지만 직접 해 보면 저보다 더 잘 알 거예요 추천하진 않아요 |
|
|
|
10:38.210 --> 10:40.460 |
|
TUI |
|
|
|
10:40.760 --> 10:43.580 |
|
더 잘 살 수 있다는 걸 알게 될 거예요 |
|
|
|
10:43.580 --> 10:47.330 |
|
어쨌든, 제가 여러분의 시간을 낭비한 건 아니에요 |
|
|
|
10:47.330 --> 10:52.310 |
|
이런 운동은 도움이 됩니다 데이터 포인트를 몇 개 얻을 수도 있지만 |
|
|
|
10:52.310 --> 10:58.310 |
|
어떤 문제를 해결하는지 감이 올 수 있거든요 인적 능력이라는 기준점이 어디에 있는지 |
|
|
|
10:58.340 --> 11:02.390 |
|
모델로 얼마나 잘하는지 비교할 수 있으니까요 |
|
|
|
11:02.390 --> 11:08.450 |
|
결국 사람보다 더 잘할 수 없다면 더 열심히 노력해야죠 |
|
|
|
11:08.450 --> 11:10.460 |
|
그걸 보면 감이 오죠 |
|
|
|
11:10.460 --> 11:15.950 |
|
다음 비디오에서는 개척 시대 모델에 대해 얘기해 보죠 |
|
|
|
11:15.950 --> 11:16.670 |
|
시작됐어요 |
|
|
|
11:16.700 --> 11:17.480 |
|
그때 봐요
|
|
|