WEBVTT 00:00.770 --> 00:05.690 개척지 실험에 오신 걸 환영해요 00:05.690 --> 00:12.290 그래서 새로운 모델을 시험해 보려고 합니다 GPT 4와 00:12.290 --> 00:18.590 클로드를 조합해서 제품 가격을 예측하는 거죠 00:18.800 --> 00:21.980 이와 관련해 몇 가지 지적하고 싶어요 00:21.980 --> 00:26.900 우선, 이건 훈련이 아니란 걸 강조해야 해요 00:26.900 --> 00:31.070 개척지 모델에는 훈련 데이터의 혜택을 주지 않을 거예요 00:31.070 --> 00:36.350 테스트 데이터를 주고 결과를 예측하도록 요청할 뿐이죠 00:36.350 --> 00:41.930 전통적인 머신 러닝을 살펴볼 때 400,000개의 훈련 데이터 포인트를 주고 00:41.930 --> 00:44.510 그걸 기반으로 모델을 배우게 했어요 00:44.690 --> 00:51.440 이 경우에는 테스트 데이터를 주는 거죠 세상에 대해 알고 있는 경이로운 00:51.440 --> 00:56.690 모든 지식 수조 개의 매개 변수에 저장된 모든 정보를 가지고 00:56.690 --> 01:03.180 제품의 가격을 예측해 보세요 그리고 이 문장을 끝내세요 이 제품은 01:03.180 --> 01:10.890 달러 가치가 있다 그러면 모델은 가장 그럴듯한 다음 토큰이 그 제품의 가격이 될 것이라고 01:10.890 --> 01:13.590 확신하죠 01:13.590 --> 01:16.470 그래서 그 세계의 지식을 이용하는 거죠 01:16.950 --> 01:21.240 한편으로는 이 작업에 대한 훈련을 받지 않았어요 01:21.240 --> 01:25.080 한편으로는 이미 생각하셨을지 모르지만 언급할 01:25.080 --> 01:32.160 만한 다른 주제가 있습니다. 훈련의 일환으로 이런 모델로 만들어진 어마어마하게 방대한 01:32.160 --> 01:39.120 훈련 데이터셋을 보면 이런 제품들을 이미 봤을 가능성이 충분히 있다는 거죠. 01:39.150 --> 01:41.910 아마존에서 가져온 걸 수도 있죠 01:41.910 --> 01:45.540 포옹하는 얼굴 데이터 세트를 제공했을지도 모르죠 01:45.750 --> 01:48.570 이제 가능하대요 01:48.570 --> 01:49.980 이젠 아니에요 01:50.010 --> 01:54.240 결과가 의심스러울 정도로 정확하진 않아요 01:54.240 --> 02:00.210 그렇다면 정확한 가격의 혜택을 누릴 수 있겠지만 부당한 이점이 있을 수 02:00.210 --> 02:02.490 있다는 걸 명심해야 해요 02:02.490 --> 02:07.250 그런 증거는 못 봤지만 확실히 걱정해야 할 문제인 건 분명해요 02:07.250 --> 02:10.490 테스타타 오염이라고 하죠 02:10.490 --> 02:16.910 테스트 데이터가 목격되거나 훈련 중에 그 측면이 보였을 가능성이 02:16.910 --> 02:18.710 있을 때요 02:19.070 --> 02:20.390 그걸 명심하세요 02:20.390 --> 02:22.190 그건 여담으로 남겨둘게요 02:22.190 --> 02:24.530 그 얘기는 그만하죠 02:24.530 --> 02:27.320 그게 관련됐다는 중요한 증거는 못 봤어요 02:27.890 --> 02:30.500 수입 작업을 할 거예요 02:31.130 --> 02:32.150 저기 가네요 02:32.240 --> 02:36.980 오픈AI와 인류애를 다시 수입하고 있어요 그걸 활용할 거예요 02:36.980 --> 02:42.890 제가 만든 테스터 수업 기억하시죠? 제가 좋아하는 건데 여러분께 아주 유용할 02:42.890 --> 02:43.520 거예요 02:43.520 --> 02:49.820 가능한 많은 비즈니스 지표를 사용해 결과를 검증하기 위한 여러분의 프로젝트를 02:49.850 --> 02:55.250 위해 유사한 테스트 하니스 프레임워크를 작성하시길 권장해요 02:55.700 --> 03:00.650 파이썬 을 가지고 있는 분리된 모듈로 옮겼어요 03:00.650 --> 03:05.760 이런 모듈에 있는 것과 같은 코드예요 그 말은 Jupyter 노트북에 이게 03:05.760 --> 03:10.020 있을 필요가 없다는 거죠 앞으로 꽤 많이 사용할 테니까요 03:10.050 --> 03:13.710 이렇게 불러오기만 하면 돼요 03:13.710 --> 03:16.140 서명이 아주 약간 바뀌었어요 03:16.170 --> 03:22.410 테슬라 put test라고 적고 함수 이름을 넣고 시험 데이터 세트에도 통과시켜야 03:22.410 --> 03:26.760 해요 250개의 요소 데이터 포인트를 취할 거예요 03:26.790 --> 03:27.210 좋아요 03:27.210 --> 03:30.270 이제 환경 변수를 로드할 거예요 03:30.270 --> 03:32.730 얼굴 포옹에 로그인할게요 03:33.000 --> 03:36.150 다시 말씀드리지만 그건 안 쓸 것 같아요 03:36.150 --> 03:39.870 어쨌든 get it의 실천을 시작해 보죠. 03:40.080 --> 03:42.360 포옹하는 얼굴 로그인하면 늘 좋죠 03:42.390 --> 03:45.420 두 모델을 초기화할 거예요 03:45.420 --> 03:51.840 Mattplotlib에 우리가 차트를 만들 거라고 말할 거예요. 그리고 우리가 출력한 03:51.840 --> 03:56.580 트레이닝과 테스트 데이터 세트를 위해 피클 파일을 로드할 거예요. 03:56.670 --> 03:58.350 장전도 됐고요 03:58.380 --> 04:04.260 개척지로 곧장 간다고 말씀드렸지만 잠시 멈춰 보겠습니다 개척지로 04:04.260 --> 04:09.320 가기 전에 보여 드릴 모델이 하나 더 있거든요 04:09.320 --> 04:14.120 서구 시대라고 하셨지만 이것도 재미있을 거예요 04:14.120 --> 04:17.030 제가 그 대가를 치렀죠 04:17.120 --> 04:22.970 그래서 오늘 영상을 시작할 때 너무 피곤하다고 한 거예요 04:22.970 --> 04:31.610 하지만 우리 모델을 비교해 봐야 할 또 다른 대상은 제품 가격을 예측하려는 04:31.610 --> 04:36.620 인류의 노력일 거라는 생각이 들었죠 04:36.680 --> 04:42.500 기준선도 있어야 할 것 같습니다 모델의 성능과 인간의 성능을 04:42.500 --> 04:44.330 비교할 수 있게요 04:44.510 --> 04:52.040 250개의 제품 설명을 읽고 가격을 계산하는 등의 공포를 감당할 수 있는 사람을 04:52.040 --> 04:54.380 찾을 수가 없었어요 04:54.380 --> 04:58.850 그래서 스스로를 고문했어요 정말 고문이 따로 없었죠 04:58.850 --> 05:02.660 제가 예상했던 것보다 훨씬 어렵네요 05:02.660 --> 05:08.030 전에 꽤 힘들 거라고 말씀드렸는데 생각했던 것보다 훨씬 힘들어요 05:08.310 --> 05:11.070 제가 전혀 몰랐던 것들이 있어요 05:11.070 --> 05:16.560 바퀴 하나에 얼마인지 몰랐는데 바퀴가 몇 개 있네요 05:16.710 --> 05:22.950 컴퓨터의 순서를 알아야 하는데도 복원한 컴퓨터의 디스크 05:22.950 --> 05:28.770 공간이 400GB나 돼서 고민하게 되더라고요 05:28.920 --> 05:31.560 네, 정말 힘들었어요 05:31.560 --> 05:32.820 샹들리에도요 05:32.820 --> 05:34.740 샹들리에가 얼마인지 모르겠어요 05:34.740 --> 05:36.360 본론에서 벗어났네요 05:36.390 --> 05:47.130 코드를 작성해서 CSV파일 250 테스트 프롬프트에 출력합니다. 이것을 실행한 후에는, 실행해 볼게요. 05:47.130 --> 05:51.450 이제 파일을 생성합니다 사람 입력 .csv 05:51.450 --> 05:53.790 여기 사람 입력 .CSV가 있네요 05:53.790 --> 06:04.140 프롬프트들을 포함하고 있습니다 상위 250개의 프롬프트들 전부를요 이 칼럼에 0은 06:04.140 --> 06:06.690 사람이 채울 수 있죠 06:06.690 --> 06:12.530 이 사람 산출물을 깃에 체크해야 할지조차 모르겠어요 06:12.560 --> 06:17.840 보시면 아시겠지만 제가 감히 했어요 시간이 좀 지나면 지치거든요 너무 06:17.840 --> 06:19.700 빨리 진행한 것 같아요 06:19.700 --> 06:21.890 제가 큰 실수를 한 것 같아요 06:21.890 --> 06:24.620 무슨 생각으로 그랬는지 궁금하실 거예요 06:24.620 --> 06:27.230 당신은 LM 엔지니어링이나 가르쳐요 06:27.260 --> 06:28.190 당연히 아니죠 06:28.460 --> 06:30.950 당신은 이 세상의 사람이 아니에요 06:31.100 --> 06:34.100 하지만 최선을 다하긴 했어요 06:34.100 --> 06:38.840 제가 정한 가격을 다시 읽어볼게요 06:38.990 --> 06:43.940 Get it가 어떻게 보일지 간단히 짚어 보죠 06:43.940 --> 06:54.950 그래서 우리가 쓸 함수는 인간 예측기인 인간 프로세서예요 06:54.950 --> 06:57.140 그래서 입력이 필요하죠 06:57.140 --> 07:00.230 그 입력이 항목 중 하나가 되어야 해요 07:00.260 --> 07:04.610 그 물건의 가격을 환불하는 게 그 기계의 일이죠 07:04.910 --> 07:11.820 음, 이 시점에서 제가 하는 것은, 트레이닝 데이터 세트를 보면 테스트 데이터 세트라고 07:11.820 --> 07:12.720 하죠 07:12.750 --> 07:15.840 그 항목의 인덱스는 뭐죠? 07:15.840 --> 07:19.410 테스트의 0번째 항목인가요? 07:19.410 --> 07:21.030 첫 번째인가요? 두 번째인가요? 세 번째인가요? 07:21.030 --> 07:23.940 그걸 인덱스라고 부르죠 07:24.420 --> 07:30.090 여기서 보고 있는 테스트 아이템의 개수죠 07:30.090 --> 07:36.750 그리고 가망 없는 예측을 전부 읽었어요 07:36.750 --> 07:40.230 그래서 인간의 예측을 다시 보여드리려고 해요 07:44.010 --> 07:46.890 인덱스 에서도요 07:48.240 --> 07:48.930 좋아요 07:48.960 --> 07:49.680 실행하세요 07:49.680 --> 07:56.850 이제 테스터가 인간 프라이서를 테스트할 거예요 07:59.640 --> 08:01.800 테스트 데이터 세트도 통과시키고요 08:02.040 --> 08:02.910 시작할게요 08:04.320 --> 08:07.740 결과가 나왔네요 08:07.920 --> 08:13.010 붉은 연어가 꽤 많이 보여요 08:13.040 --> 08:14.450 그래도 녹색은 좀 있네요 08:14.480 --> 08:15.980 정중하게 했어요 08:16.340 --> 08:18.590 그래도 꽤 멀리까지 갔어요 08:18.590 --> 08:19.490 하지만 이걸 보세요 08:19.490 --> 08:20.300 이게 뭐죠? 08:20.300 --> 08:23.600 리치먼드 자동차 덮개 전문점 260점 정도 될 거예요 08:23.630 --> 08:25.220 225달러였어요 08:25.220 --> 08:28.010 이건 깁슨 퍼포먼스 배기관이에요 08:28.010 --> 08:31.010 깁슨 퍼포먼스 배기관이 얼마인지는 모르지만요 08:31.010 --> 08:32.870 499개라고 생각했어요 08:32.870 --> 08:35.090 그래서 한번 해 보기로 했죠 08:35.090 --> 08:37.280 답은 535예요 08:37.430 --> 08:38.900 하지만 다른 사람들도 있어요 08:39.050 --> 08:40.340 Get it, get it, get it, get it! 내가 뭘 잘못 알고 있는 거죠? 08:40.370 --> 08:49.250 Street Series Senless 성능인가 뭔가였는데 260달러쯤 했어요 814달러였죠 08:49.280 --> 08:53.210 어쨌든 너무 빗나갔어요 고통을 덜어주려고요 08:53.210 --> 08:55.910 스크롤을 내리면 보일 거예요 08:55.940 --> 09:03.980 여기 차트가 있어요 제가 형편없지 않다는 걸 보실 수 있죠 09:04.010 --> 09:04.640 아니, 그랬다고요 09:04.640 --> 09:09.020 보세요, 많은 녹색 점이 32%에 도달해요 09:09.200 --> 09:16.440 그리고 3분의 2 정도 봤을 때 제가 생각한 가격은 400-500달러 09:16.440 --> 09:20.100 정도였어요 09:20.100 --> 09:22.890 그래서 제가 그런다는 걸 바로 알았죠 09:22.890 --> 09:26.040 비싼 건 못 봤어요 09:26.220 --> 09:28.650 그건 명백한 실패였죠 09:28.920 --> 09:34.110 제 총 오류는 127달러였어요 09:34.110 --> 09:38.280 평균보다 더 잘한다는 뜻이죠 09:38.280 --> 09:42.630 처음부터 끝까지 맞힌다고 더 잘 만들 수 있는 것도 아니고요 09:42.840 --> 09:48.240 비교를 위해 적어 봤어요 09:48.240 --> 09:50.460 평균은 146점이었어요 09:50.520 --> 09:52.500 평균 가격의 오류였어요 09:52.590 --> 09:53.880 그보다는 잘했죠 09:53.880 --> 09:57.930 기능 엔지니어링의 선형 회귀죠 09:57.930 --> 10:00.540 기본은 139개였어요 10:00.540 --> 10:01.800 그래서 이겼어요 10:01.800 --> 10:06.150 아주 기본적인 기능 공학 선형 회귀를 깼어요 10:06.150 --> 10:09.930 하지만 이미 더 많은 기능을 넣고 그것보다 잘했을 거예요. 10:10.020 --> 10:18.230 그런데 다른 모델들이 전부 단어의 봉지에 담긴 스타일과 두 개의 벡 모델로 저를 압도했어요 10:18.230 --> 10:24.650 랜덤 포레스트는 97년에 등장했는데 인류보다 훨씬 뛰어났죠 10:24.680 --> 10:31.850 기존의 좋은 머신 러닝 모델은 사람보다 제품 가격 예측에 더 뛰어납니다 10:31.850 --> 10:38.210 하지만 직접 해 보면 저보다 더 잘 알 거예요 추천하진 않아요 10:38.210 --> 10:40.460 TUI 10:40.760 --> 10:43.580 더 잘 살 수 있다는 걸 알게 될 거예요 10:43.580 --> 10:47.330 어쨌든, 제가 여러분의 시간을 낭비한 건 아니에요 10:47.330 --> 10:52.310 이런 운동은 도움이 됩니다 데이터 포인트를 몇 개 얻을 수도 있지만 10:52.310 --> 10:58.310 어떤 문제를 해결하는지 감이 올 수 있거든요 인적 능력이라는 기준점이 어디에 있는지 10:58.340 --> 11:02.390 모델로 얼마나 잘하는지 비교할 수 있으니까요 11:02.390 --> 11:08.450 결국 사람보다 더 잘할 수 없다면 더 열심히 노력해야죠 11:08.450 --> 11:10.460 그걸 보면 감이 오죠 11:10.460 --> 11:15.950 다음 비디오에서는 개척 시대 모델에 대해 얘기해 보죠 11:15.950 --> 11:16.670 시작됐어요 11:16.700 --> 11:17.480 그때 봐요