From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
388 lines
11 KiB
388 lines
11 KiB
WEBVTT |
|
|
|
00:00.470 --> 00:07.640 |
|
8주 차 둘째 날의 4부 작업의 마지막 단계로 이 모든 걸 하나로 합칠 앙상블 |
|
|
|
00:07.670 --> 00:10.220 |
|
모델을 만들 거예요 |
|
|
|
00:10.220 --> 00:16.040 |
|
먼저 보여드릴 것은 여기 제 마이크 같은 것을 가지고 쿼드캐스트 하이퍼X 콘덴서 |
|
|
|
00:16.040 --> 00:23.630 |
|
마이크를 가지고 세 가지 오브젝트가 있습니다 스페셜 프론티어 그리고 랜덤 포레스트입니다 각각에게 |
|
|
|
00:23.630 --> 00:26.330 |
|
제품의 가격을 물어볼 수 있죠 |
|
|
|
00:26.330 --> 00:28.670 |
|
Get it, get it, get it! 숫자 3개가 보이죠 |
|
|
|
00:28.670 --> 00:33.080 |
|
이 경우엔 개척지 모델이 진실에 가장 가까운 것 같아요 |
|
|
|
00:33.080 --> 00:37.730 |
|
제 기억으로는 지난번에 스페셜리스트 모델을 호출했을 때 텍스트가 약간 달랐던 |
|
|
|
00:37.730 --> 00:38.780 |
|
것 같아요 |
|
|
|
00:38.780 --> 00:40.100 |
|
더 좋아진 것 같아요 |
|
|
|
00:40.100 --> 00:43.940 |
|
129개 정도 있어요 더 가깝죠 |
|
|
|
00:44.120 --> 00:45.740 |
|
네, 맞아요 |
|
|
|
00:45.740 --> 00:51.830 |
|
어쨌든, 아무 숲이나 고른 건 별로였지만 다른 두 개는 괜찮았어요 |
|
|
|
00:52.070 --> 00:55.280 |
|
지금 하는 일은 간단해요 |
|
|
|
00:55.280 --> 01:02.450 |
|
우선 250개의 데이터 포인트를 선별해서 봐요 |
|
|
|
01:02.510 --> 01:08.460 |
|
1,000에서 150까지 중에서 골랐어요 실제 테스트에 쓰는 것과 |
|
|
|
01:08.460 --> 01:10.170 |
|
구별하려고요 |
|
|
|
01:10.410 --> 01:18.630 |
|
기본적으로 각각의 물품에 대한 설명을 찾아서 추가합니다. 그리고 나서 전문가용 모델, |
|
|
|
01:18.630 --> 01:24.930 |
|
프런티어 모델 임의의 숲 모델에서 얼마를 받을 수 있을까요? |
|
|
|
01:24.930 --> 01:29.700 |
|
그리고 가격 목록도 있어요 해당 품목의 실제 가격을 입력하는 거죠 Put it's go |
|
|
|
01:29.700 --> 01:37.890 |
|
그래서 이 4개의 리스트가 GPT 4에서 나온 LLM 프런티어 래그 기반 결과와 추가 컨텍스트와 |
|
|
|
01:37.920 --> 01:47.310 |
|
임의 숲 결과 그리고 실제 수치를 포함한 LLM 프런티어 래그의 결과로 마무리되는데요 |
|
|
|
01:47.310 --> 01:49.410 |
|
그래서 그걸 다 만들었죠 |
|
|
|
01:50.160 --> 01:52.770 |
|
이제 트릭을 보여드릴게요 꽤 흔한 거죠 |
|
|
|
01:52.770 --> 01:54.630 |
|
갖고 놀 수 있는 물건이죠 |
|
|
|
01:54.630 --> 01:57.480 |
|
여기에 두 개를 더 넣을 거예요 |
|
|
|
01:57.510 --> 02:04.830 |
|
하나는 최소라고 하는데 이 셋 중 최저이고 다른 건 맥스라고 하는데 |
|
|
|
02:04.830 --> 02:06.750 |
|
이 셋 중 최대죠 |
|
|
|
02:06.960 --> 02:13.250 |
|
그냥 또 다른 사실인데 신호가 잡힐지도 몰라요 |
|
|
|
02:13.250 --> 02:18.470 |
|
세 가지 모델이 가장 낮게 추정하는 값과 한 제품의 가장 높은 |
|
|
|
02:18.470 --> 02:22.520 |
|
값이 얼마인지 살펴보면 유용할 거예요 |
|
|
|
02:22.520 --> 02:30.140 |
|
현재 250개 제품마다 5개의 결과가 나왔어요 전문가용, 개척자용 |
|
|
|
02:30.140 --> 02:35.630 |
|
무작위 숲용, 최소 3개 최대 3개 결과죠 |
|
|
|
02:35.660 --> 02:44.840 |
|
현재 다섯 개의 컬렉션이 있는데 저는 개척지 숲과 민, 맥스를 바탕으로 판다스의 데이터 |
|
|
|
02:44.870 --> 02:47.240 |
|
프레임을 만들어요 |
|
|
|
02:47.330 --> 02:52.340 |
|
저는 가격과 그 기본 진실을 시리즈로 만들었어요 |
|
|
|
02:52.340 --> 03:01.010 |
|
이건 엑스 이건 Y라고 부를게요 전통적인 머신 러닝 배경의 사람들은 누구나 익숙할 이름이죠 |
|
|
|
03:01.010 --> 03:07.670 |
|
6주 차에 했던 것과 똑같은 걸 할 수 있어요 선형 회귀 모델을 |
|
|
|
03:07.670 --> 03:14.240 |
|
훈련해 보죠 간단한 선형 회귀로 시리즈별로 가정한 평균이 |
|
|
|
03:14.250 --> 03:20.190 |
|
데이터에 가장 잘 맞는다는 걸 의미해요 |
|
|
|
03:20.520 --> 03:22.800 |
|
그래서 그렇게 했죠 |
|
|
|
03:22.950 --> 03:25.140 |
|
Get it get it 그리고 이게 나왔어요 |
|
|
|
03:25.140 --> 03:26.820 |
|
이게 계수예요 |
|
|
|
03:27.570 --> 03:31.980 |
|
gets in the Max 둘 다 상당히 무겁죠 |
|
|
|
03:32.070 --> 03:39.120 |
|
일반적으로 말하자면 가장 많이 고려하는 건 최저와 |
|
|
|
03:39.120 --> 03:42.690 |
|
최대치를 조합한 거예요 |
|
|
|
03:42.750 --> 03:49.020 |
|
달 착륙선 전용 스페셜리스트 지분을 상당량 차지하고 프론티어 모델보다 훨씬 적은 지분을 |
|
|
|
03:49.020 --> 03:49.980 |
|
차지하죠 |
|
|
|
03:49.980 --> 03:53.280 |
|
좀 이상하지만 개척지라고도 하죠 |
|
|
|
03:53.310 --> 04:00.990 |
|
랜덤 포레스트에 신호가 있는데 그걸 빼면... 꽤 큰 신호가 가로채고 |
|
|
|
04:00.990 --> 04:06.180 |
|
임의 숲 숫자의 일부를 빼는 게 보이죠 |
|
|
|
04:06.300 --> 04:11.220 |
|
흥미로운 결과예요 임의의 숲 숫자가 별로 좋지 않았다는 걸 의미하죠 |
|
|
|
04:11.250 --> 04:15.210 |
|
하지만 전체적인 퍼즐에 포함하는 게 유용할 것 같아요 |
|
|
|
04:15.240 --> 04:17.790 |
|
이제 머릿속으로 생각하실 거예요 |
|
|
|
04:17.790 --> 04:21.960 |
|
이미 아무 숲이나 넣었다고 하니까 못 하겠어요 |
|
|
|
04:21.990 --> 04:27.030 |
|
음수가 있다는 사실을 너무 많이 해석할 수는 없어요 최소와 최대 수에 이미 |
|
|
|
04:27.030 --> 04:28.860 |
|
포함되어 있으니까요 |
|
|
|
04:28.860 --> 04:33.780 |
|
다시 실행해 보세요 min과 Max를 제거하면 세 모델의 무게를 더 잘 |
|
|
|
04:33.780 --> 04:35.280 |
|
알 수 있을 거예요. |
|
|
|
04:35.880 --> 04:44.880 |
|
앙상블 모델은 이렇게 만들면 돼요 이제 이 모델을 이용해서 여러 요인을 취하고 가격을 |
|
|
|
04:44.880 --> 04:52.830 |
|
예측할 수 있거든요 우리가 제공하는 모델의 최상의 선형 조합을 취해서요 |
|
|
|
04:53.160 --> 04:58.890 |
|
그래서 우선 앙상블 모델에 저장해뒀어요 그걸 미래에 반영하려고요 |
|
|
|
04:58.890 --> 05:00.720 |
|
매번 할 필요는 없어요 |
|
|
|
05:00.720 --> 05:05.130 |
|
앙상블 에이전트라는 새 에이전트도 만들었죠 |
|
|
|
05:05.160 --> 05:08.130 |
|
앙상블 에이전트를 보러 가죠 지금 당장요 |
|
|
|
05:08.820 --> 05:09.630 |
|
여기 있네요 |
|
|
|
05:09.630 --> 05:11.610 |
|
앙상블 에이전트 코드예요 |
|
|
|
05:11.610 --> 05:13.230 |
|
아주 간단해요 |
|
|
|
05:13.500 --> 05:16.590 |
|
여기에 주석을 달아야 할 것 같은데 달게요 |
|
|
|
05:16.590 --> 05:20.550 |
|
Get it get it.com/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/D렉터/DE 직접 보기 전에 의견을 말씀해 주세요 |
|
|
|
05:20.550 --> 05:21.450 |
|
상한 고기요 |
|
|
|
05:21.720 --> 05:23.700 |
|
정말 죄송해요 |
|
|
|
05:24.060 --> 05:31.680 |
|
init에서 설정하는 건 3가지 에이전트를 생성하는 거예요 가격 책정에서 각각 |
|
|
|
05:31.680 --> 05:33.480 |
|
사용할 요소들이죠 |
|
|
|
05:33.840 --> 05:40.380 |
|
어, 그리고 앙상블 에이전트가 가격을 불러올 때 그 제품의 모델 비율을 |
|
|
|
05:40.380 --> 05:46.560 |
|
추가해서 가격을 불러오는 것으로 전문가의 가격을 계산해요 |
|
|
|
05:46.560 --> 05:48.270 |
|
개척지를 위한 가격이죠 |
|
|
|
05:48.270 --> 05:50.700 |
|
임의의 숲을 위한 가격이에요 |
|
|
|
05:50.730 --> 05:55.830 |
|
X를 위한 데이터 프레임을 만들죠 최소와 최대를 포함해서요 |
|
|
|
05:55.860 --> 06:03.600 |
|
마지막으로 Model을 호출해요 왜 그게 돼야 하는지 예측하기 위한 예측을 데이터 사이언스 |
|
|
|
06:03.600 --> 06:07.560 |
|
스피크를 사용한다면요 그걸 예측으로 반환하는 거죠 |
|
|
|
06:08.310 --> 06:11.040 |
|
명확하게 이해하셨길 바라요 |
|
|
|
06:11.040 --> 06:16.830 |
|
선형 회귀 모델에 호출을 포장하는 방법일 뿐이에요 전에 만든 다양한 |
|
|
|
06:16.830 --> 06:19.860 |
|
모델의 선형 조합을 제공하는 거죠 |
|
|
|
06:20.010 --> 06:28.280 |
|
이제 다음으로 할 일은 같은 가격으로 가격을 매겨보는 건데요 여기 마이크를 |
|
|
|
06:28.310 --> 06:30.710 |
|
가져왔어요 |
|
|
|
06:30.710 --> 06:34.880 |
|
그런데 중간쯤 되는 액수가 나왔어요 우리가 예상했던 금액이었죠 |
|
|
|
06:34.880 --> 06:45.020 |
|
함수 앙상블 프로세서에 패키지로 넣고 테스터 닷테스트를 앙상블이라고 불러요 |
|
|
|
06:45.020 --> 06:49.490 |
|
실행에 시간이 좀 걸리죠 다양한 모델을 호출하고 모듈도 시간이 걸리니까요 |
|
|
|
06:49.490 --> 06:50.810 |
|
미리 실행해뒀어요 |
|
|
|
06:50.810 --> 06:55.310 |
|
이걸 보고 계신다면 첫 번째 모듈은 워밍업하는 데 몇 분 |
|
|
|
06:55.310 --> 06:59.270 |
|
걸리고 각각 몇 초씩 걸린다는 걸 기억하세요 |
|
|
|
06:59.450 --> 07:05.750 |
|
여기 보시면 붉은 연어도 몇 마리 있어요 |
|
|
|
07:05.750 --> 07:06.650 |
|
말해 줄게요 |
|
|
|
07:06.680 --> 07:14.030 |
|
실망스럽습니다 이걸로 뭔가 바뀌길 바랐거든요 기존의 특허 |
|
|
|
07:14.030 --> 07:20.450 |
|
모델을 깨부수길 바랐는데 여러 모델을 조합하는 방식을 |
|
|
|
07:20.450 --> 07:27.710 |
|
쓰다 보니 테스트 데이터 세트가 전보다 조금 더 약화되고 악화된 |
|
|
|
07:27.740 --> 07:30.590 |
|
것 같아요 |
|
|
|
07:30.590 --> 07:35.320 |
|
하지만 생각해 보세요 사실 꽤 시끄러운 소리에 더 가까운 인공물이에요 |
|
|
|
07:35.590 --> 07:36.970 |
|
아주 근접했어요 |
|
|
|
07:36.970 --> 07:42.280 |
|
다양한 모델을 조합해서 작업하는 건 더 나은 결과가 나와야 해요 |
|
|
|
07:42.490 --> 07:46.240 |
|
하지만 아직 손볼 곳이 많아요 |
|
|
|
07:46.270 --> 07:51.430 |
|
해도는 좋아 보이지만 가로막기 문제가 있어요 가로막기 숫자가 |
|
|
|
07:51.430 --> 07:53.350 |
|
너무 높았던 것 같아요 |
|
|
|
07:53.380 --> 07:55.240 |
|
뭘 했는지에 대해서요 |
|
|
|
07:55.450 --> 08:01.120 |
|
이 문제를 반복하는 데 많은 시간을 쓰기보다는 이제 당신에게 넘기겠다고 말할 때인 |
|
|
|
08:01.120 --> 08:01.930 |
|
것 같아요 |
|
|
|
08:01.930 --> 08:07.090 |
|
이 동작에 시간을 많이 들였지만 조합 기술이나 다른 동작에는 별로 투자하지 |
|
|
|
08:07.090 --> 08:08.020 |
|
않았어요 |
|
|
|
08:08.020 --> 08:15.700 |
|
이런 실험을 하는 건 멋진 일이에요 더 많은 시리즈들을 추가할 수 있고 앙상블을 만들면서 |
|
|
|
08:15.700 --> 08:19.960 |
|
선형 회귀 단계로 넘어가기 쉽거든요 |
|
|
|
08:19.990 --> 08:22.120 |
|
데이터 과학자의 꿈이죠 |
|
|
|
08:22.120 --> 08:22.960 |
|
데이터가 있잖아요 |
|
|
|
08:22.990 --> 08:28.390 |
|
성공을 결정하는 명확하고, 측정 가능한 명확한 방법이 있어요 |
|
|
|
08:28.540 --> 08:34.330 |
|
하이퍼파라미터도 많고 실험할 것도 많아요 |
|
|
|
08:34.330 --> 08:37.520 |
|
변화를 주면 반응이 아주 빨라요 |
|
|
|
08:37.670 --> 08:39.920 |
|
나보다 잘할 수 있어요 |
|
|
|
08:39.950 --> 08:41.540 |
|
정말 어려운 과제예요 |
|
|
|
08:41.540 --> 08:43.550 |
|
이제 좋은 도구들을 많이 갖게 되셨어요 |
|
|
|
08:43.550 --> 08:47.000 |
|
날 이길 만한 독점 모델을 이미 구축했을지도 모르죠 |
|
|
|
08:47.120 --> 08:53.720 |
|
안 되더라도 이 조합 기술로 get up 할 수 있겠죠 |
|
|
|
08:53.780 --> 09:00.200 |
|
이것으로 슬라이드로 돌아가기 전에 이 부분의 랩 작업을 마치죠 |
|
|
|
09:00.230 --> 09:08.660 |
|
다시 한 번 말씀드리지만 이 강의의 핵심 목표는 제품 가격에 대해 깊이 파고드는 것이 아닙니다 |
|
|
|
09:08.660 --> 09:15.890 |
|
벡터 엠베딩 같은 것에 대한 이해를 확고히 하는 것입니다 다양한 모델을 래그화하여 |
|
|
|
09:15.890 --> 09:26.720 |
|
이런 물질에 대해 꽤나 자신 있는 단계에서 더 발전하고 매우 자신 있는 단계로 가는 것이죠 |
|
|
|
09:26.720 --> 09:28.160 |
|
여러분도 그렇게 됐길 바라요 |
|
|
|
09:28.160 --> 09:33.590 |
|
경험이 없다면 이 공책을 다시 훑어보며 세포 하나하나를 살펴보고 아주 |
|
|
|
09:33.590 --> 09:38.180 |
|
확신할 수 있을 때까지 결과를 점검하고 자신을 설득하세요 |
|
|
|
09:38.180 --> 09:41.600 |
|
다음 비디오에서 슬라이드에서 다시 만나요
|
|
|