From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
322 lines
8.1 KiB
322 lines
8.1 KiB
WEBVTT |
|
|
|
00:02.030 --> 00:07.640 |
|
이제 2일째 주피터 연구실에서 래그 워크플로우를 끝낼 시간이에요 3번요 |
|
|
|
00:07.670 --> 00:13.490 |
|
이제 익숙해진 함수 Getprice가 있습니다 아주 간단한 것으로 |
|
|
|
00:13.490 --> 00:17.690 |
|
문자열에서 부동 소수점 수를 뽑아내는 거죠 |
|
|
|
00:17.690 --> 00:21.620 |
|
이제 미니를 위한 GPT 함수인데요 |
|
|
|
00:21.830 --> 00:26.600 |
|
서류와 가격은 괜찮다고 하죠 비슷한 물건들을요 |
|
|
|
00:26.600 --> 00:27.860 |
|
항목을 전달하는 거죠 |
|
|
|
00:27.860 --> 00:30.200 |
|
비슷한 물건을 찾아냈어요 |
|
|
|
00:30.200 --> 00:35.570 |
|
OpenAI 채팅 .완료 .Create라고 하죠 |
|
|
|
00:35.660 --> 00:38.210 |
|
미니를 위해 GPT를 지정할게요 |
|
|
|
00:38.240 --> 00:42.290 |
|
함수 메시지를 이용해 메시지를 전달할 거예요 |
|
|
|
00:42.410 --> 00:43.400 |
|
씨앗을 뿌릴 거예요 |
|
|
|
00:43.400 --> 00:45.110 |
|
5토큰을 돌려줘요 |
|
|
|
00:45.110 --> 00:50.690 |
|
응답은 .선택 0.Message content라고 하죠 |
|
|
|
00:50.690 --> 00:57.050 |
|
getPrice에 응답해 거기서 번호를 추출하는 거죠 |
|
|
|
00:57.170 --> 00:59.420 |
|
그게 전부여야 해요 |
|
|
|
00:59.420 --> 01:02.670 |
|
미치기 전에 한 번 시험해 보죠 |
|
|
|
01:02.970 --> 01:13.650 |
|
GPT 4 미니 래그를 보고 방금 본 클러치 테스트를 통과할 |
|
|
|
01:13.650 --> 01:15.810 |
|
거예요 |
|
|
|
01:16.110 --> 01:18.360 |
|
Get in get을 해 보죠 |
|
|
|
01:19.470 --> 01:30.000 |
|
201달러와 45달러를 환불받았고 이제 get att.s.pr.를 테스트해야 해요 |
|
|
|
01:32.160 --> 01:33.540 |
|
거의 비슷해요 |
|
|
|
01:33.540 --> 01:34.530 |
|
비슷해요 |
|
|
|
01:34.530 --> 01:35.610 |
|
보세요 |
|
|
|
01:35.910 --> 01:39.930 |
|
아주 빠르게 달릴 수 있어서 좋아요 |
|
|
|
01:39.930 --> 01:41.880 |
|
거기서 일어난 모든 일을 볼 수 있어요 |
|
|
|
01:41.880 --> 01:44.610 |
|
비슷한 아이템이 다섯 개 검색됐어요 |
|
|
|
01:44.610 --> 01:55.230 |
|
오픈AI를 위한 쿼리를 구성했습니다. 유사한 항목 5개를 오픈AI에 보낸 프롬프트에요. |
|
|
|
01:55.230 --> 02:00.600 |
|
그런 다음 전화를 걸었고 응답이 왔어요 가격을 줄이고 가격을 알려줬죠 |
|
|
|
02:00.600 --> 02:02.640 |
|
꽤 비슷했어요 |
|
|
|
02:02.650 --> 02:03.700 |
|
자, 됐어요 |
|
|
|
02:03.730 --> 02:06.610 |
|
전에 왔던 테스터 기억나요? |
|
|
|
02:06.640 --> 02:12.370 |
|
250개의 테스트 결과를 시험할 프레임워크예요 |
|
|
|
02:12.400 --> 02:14.860 |
|
우리 모형이 어디서 나왔는지 기억해요? |
|
|
|
02:14.890 --> 02:16.810 |
|
생각만 해도 무서워요 |
|
|
|
02:16.840 --> 02:21.490 |
|
하지만 개척지 모델에 큰 혜택을 줬잖아요 |
|
|
|
02:21.490 --> 02:23.410 |
|
이걸로 뭘 할 수 있죠? |
|
|
|
02:23.410 --> 02:28.000 |
|
이 시점에서 실행하면 어떻게 되는지 볼까요? |
|
|
|
02:28.060 --> 02:31.690 |
|
그렇게 하는 동안 작동할 거예요 |
|
|
|
02:31.690 --> 02:34.750 |
|
벌써 많은 녹색이 보이시죠 |
|
|
|
02:34.810 --> 02:38.110 |
|
물론 많은 정보를 얻죠 |
|
|
|
02:38.110 --> 02:42.640 |
|
에이전트 폴더에서 제가 한 걸 보여드리고 싶어요 |
|
|
|
02:43.120 --> 02:49.390 |
|
에이전트 폴더에 프론티어 에이전트라는 걸 만들었어요 이건 우리가 방금 살펴본 |
|
|
|
02:49.390 --> 02:54.130 |
|
바로 그 코드를 프로덕션 준비 코드로 바꾸고 있죠 |
|
|
|
02:54.130 --> 03:00.730 |
|
보다시피 빨간 바다를 보면 주석을 추가하고 있어요 중요한 단계죠 |
|
|
|
03:00.730 --> 03:07.190 |
|
힌트도 입력했어요 우리가 뭘 하는지 정확히 알 수 있게요 get |
|
|
|
03:07.190 --> 03:08.660 |
|
it |
|
|
|
03:08.810 --> 03:13.190 |
|
보시면 아시겠지만 아주 간단해요 |
|
|
|
03:13.190 --> 03:14.330 |
|
똑같은 거예요 |
|
|
|
03:14.330 --> 03:21.410 |
|
컨텍스트를 만드는 것은 열린 인공지능 형식의 메시지 목록을 만들기 위해 프롬프트 메시지를 삽입할 컨텍스트를 |
|
|
|
03:21.440 --> 03:23.330 |
|
만드는 것이죠 |
|
|
|
03:23.450 --> 03:28.940 |
|
익숙하실 텐데요 각각의 매개 변수에 주석을 넣고 반환되는 것을 지정하는 |
|
|
|
03:28.940 --> 03:30.500 |
|
방법이죠 |
|
|
|
03:30.830 --> 03:37.670 |
|
보다 복잡한 형식 힌트도 보실 수 있습니다 문자열 목록이 언제 있는지 지정하고 문자열 키와 |
|
|
|
03:37.760 --> 03:44.360 |
|
문자열 값을 가진 사전 목록도 지정하고 유사한 걸 찾아요 주어진 것과 유사한 아이템 목록을 |
|
|
|
03:44.480 --> 03:49.820 |
|
반환하는 거죠 chroma getPrice를 보면서요 |
|
|
|
03:49.820 --> 03:50.600 |
|
잘 알죠 |
|
|
|
03:50.600 --> 03:54.410 |
|
마지막으로 가격 메서드예요 |
|
|
|
03:54.650 --> 04:02.900 |
|
프론티어 에이전트라는 클래스의 일부예요 제 슈퍼클래스 에이전트의 서브클래스죠 |
|
|
|
04:03.050 --> 04:07.850 |
|
잘 포장돼 있어서 생산 목적으로 사용할 수 있어요 |
|
|
|
04:07.850 --> 04:13.730 |
|
다시 한 번 학습의 일부로 주피터 세상에서 생산 준비 코드로의 |
|
|
|
04:13.730 --> 04:18.770 |
|
이동을 보면 이런 종류의 점프를 하게 되죠 |
|
|
|
04:18.800 --> 04:25.580 |
|
일반적으로 VSCode나 PyCam 같은 도구에서 이걸 빌드하죠 |
|
|
|
04:25.610 --> 04:31.400 |
|
전 파이컴을 좋아하지만 주피터랩을 이용해도 돼요 여기 있으니까요 |
|
|
|
04:31.400 --> 04:36.800 |
|
주피터 랩에서 코드를 쓸 수 있지만 이런 걸 위해 설계되고 더 좋게 만드는 아이디어가 |
|
|
|
04:36.800 --> 04:37.580 |
|
있어요 |
|
|
|
04:37.580 --> 04:43.250 |
|
어떤 코멘트를 쓸지 프롬프트 같은 것도 채워 넣고요 |
|
|
|
04:43.250 --> 04:46.580 |
|
이 지점까지 왔다면 IDE를 사용하는 게 좋아요. |
|
|
|
04:47.300 --> 04:48.260 |
|
좋아요 |
|
|
|
04:48.290 --> 04:53.900 |
|
제가 너무 떠들었나 봐요 |
|
|
|
04:55.250 --> 04:56.210 |
|
거의 다 왔어요 |
|
|
|
04:56.210 --> 04:56.990 |
|
거의 다 왔어요 |
|
|
|
04:56.990 --> 04:58.670 |
|
다 됐어요 |
|
|
|
04:58.790 --> 05:02.900 |
|
네, 이걸 보세요 |
|
|
|
05:02.900 --> 05:10.980 |
|
우선 GPT 4 미니와 래그 없이도 훨씬 좋은 차예요 |
|
|
|
05:10.980 --> 05:18.000 |
|
바늘을 크게 움직였지만 여전히 우리가 배치한 미세 조정 모델이 |
|
|
|
05:18.000 --> 05:21.330 |
|
더 잘 작동하는 상태예요 |
|
|
|
05:21.420 --> 05:26.610 |
|
랙 파이프라인 기반의 GPT 4조차도 이겼어요 |
|
|
|
05:26.880 --> 05:31.860 |
|
래그 파이프라인이 잘 작동해서 이렇게 가까워진 걸 보니 좋네요 |
|
|
|
05:32.130 --> 05:35.400 |
|
여기 아름다운 해도가 보이시죠 |
|
|
|
05:35.700 --> 05:37.740 |
|
정말 재미있었어요 |
|
|
|
05:37.800 --> 05:41.880 |
|
여러분도 즐거우셨길 바라고 같은 걸 보셨길 바라요 |
|
|
|
05:41.880 --> 05:46.290 |
|
이 코드를 훑어보며 생성된 프롬프트를 보고 일부를 |
|
|
|
05:46.290 --> 05:52.890 |
|
프린트해 자신을 만족시키세요 기본적으로 좀 더 수동적인 방법으로요 |
|
|
|
05:52.890 --> 05:59.340 |
|
랭 체인이 자동화한 걸 정확히 했어요 래퍼 코드로요 |
|
|
|
05:59.340 --> 06:04.440 |
|
현장에 가서 물건을 하나 가져왔고 비슷한 물건을 다섯 개 찾았어요 |
|
|
|
06:04.440 --> 06:06.760 |
|
그걸 몇 가지 컨텍스트에 포장했어요 |
|
|
|
06:06.760 --> 06:08.950 |
|
GPT 4에 보낸 자료예요 |
|
|
|
06:09.220 --> 06:14.470 |
|
그렇게 하지 않았을 때보다 훨씬 좋은 결과를 얻었죠 |
|
|
|
06:14.500 --> 06:16.960 |
|
실험해볼 만한 또 다른 방법이죠 물론 시도는 해봤어요 |
|
|
|
06:16.960 --> 06:18.970 |
|
5분 후에 지나갔어요 |
|
|
|
06:19.030 --> 06:20.020 |
|
결과요 |
|
|
|
06:20.020 --> 06:22.090 |
|
하이퍼파라미터라고 부르는 거예요 |
|
|
|
06:22.090 --> 06:24.130 |
|
10점이 되면 어떻게 될지 알아보죠 |
|
|
|
06:24.160 --> 06:25.630 |
|
두 개면 어떻게 될까요? |
|
|
|
06:25.750 --> 06:28.810 |
|
5달러면 정말 싼 거예요 |
|
|
|
06:28.810 --> 06:30.820 |
|
1, 2센트면 다 운영할 수 있어요 |
|
|
|
06:31.120 --> 06:31.750 |
|
당연히 그래야죠 |
|
|
|
06:31.780 --> 06:34.510 |
|
가격이 다를 수 있으니 직접 확인해 보세요 |
|
|
|
06:34.510 --> 06:35.980 |
|
하지만 아주 싸요 |
|
|
|
06:36.160 --> 06:38.590 |
|
10분으로 하면 그렇게 될 거예요 |
|
|
|
06:38.620 --> 06:39.850 |
|
두 배는 더 들 거예요 |
|
|
|
06:40.030 --> 06:43.600 |
|
less는 아니지만 비트 요금은 좀 더 들 거예요 |
|
|
|
06:43.600 --> 06:50.590 |
|
그러니 합당한 범위 내에서 실험해 보고 어떻게 반응하는지 |
|
|
|
06:50.590 --> 06:51.700 |
|
봐야죠 |
|
|
|
06:51.730 --> 07:01.030 |
|
어쨌든 이것으로 래그 파이프라인은 끝났습니다 다음 부분에서 뵙죠 |
|
|
|
07:01.030 --> 07:06.670 |
|
2로 이동할 때요 4번, 다시 아무 숲이나 얘기하기 앙상블 모델 얘기하기 시작하세요 |
|
|
|
07:06.700 --> 07:07.600 |
|
그때 봐요
|
|
|