From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
370 lines
9.3 KiB
370 lines
9.3 KiB
WEBVTT |
|
|
|
00:00.380 --> 00:02.360 |
|
이제 시작이에요 |
|
|
|
00:02.360 --> 00:09.020 |
|
제품 가격을 추정하는 래그 파이프라인을 구축할 겁니다 훈련 데이터셋에 있는 유사한 |
|
|
|
00:09.020 --> 00:11.780 |
|
제품의 컨텍스트를 참고해서요 |
|
|
|
00:12.110 --> 00:14.510 |
|
그래서 여기 왔어요 |
|
|
|
00:14.540 --> 00:19.580 |
|
둘째 날이죠 3번 GPT4 미니로 래그 파이프라인을 만들어요 |
|
|
|
00:19.850 --> 00:22.640 |
|
오늘은 많은 코드를 빠르게 다룰 거예요 |
|
|
|
00:22.640 --> 00:24.860 |
|
그럼 조금만 참아주세요 |
|
|
|
00:24.860 --> 00:30.440 |
|
Get it의 비결은 직접 코드를 실행해 어떤 상황인지 파악하는 거예요 |
|
|
|
00:30.440 --> 00:37.310 |
|
그래서 가져오기를 하고 평소처럼 로그인해서 오픈라이에 접속했어요 |
|
|
|
00:37.490 --> 00:41.360 |
|
OpenAI API 키를 설정했다는 사실을 이용하고 있어요 |
|
|
|
00:41.390 --> 00:44.450 |
|
테스트 데이터 세트를 로드할 거예요 |
|
|
|
00:44.480 --> 00:49.430 |
|
훈련 데이터 세트를 로드할 필요는 없어요 크로마 데이터 저장소를 사용할 |
|
|
|
00:49.460 --> 00:50.120 |
|
거니까요 |
|
|
|
00:50.570 --> 00:51.350 |
|
좋아요 |
|
|
|
00:51.350 --> 00:55.250 |
|
함수 만들기 컨텍스트가 있어요 |
|
|
|
00:55.250 --> 01:01.790 |
|
이 함수를 이용해 컨텍스트를 생성할 겁니다 GPT for 미니를 보내 사용할 수 있는 |
|
|
|
01:01.790 --> 01:04.910 |
|
비슷한 제품에 대해 알려주는 거죠 |
|
|
|
01:04.910 --> 01:10.680 |
|
컨텍스트를 제공하라고 할 거예요 여러분이 추정해야 하는 것과 유사한 다른 항목들이 |
|
|
|
01:10.680 --> 01:12.120 |
|
여기 있어요 |
|
|
|
01:12.120 --> 01:18.000 |
|
압축 파일 생성기 기억하시나요? 두 개의 다른 리스트를 반복할 수 있게 해주죠 |
|
|
|
01:18.300 --> 01:24.840 |
|
통과된 비슷한 가격과 비슷한 가격의 반복을 통해 비슷한 가격과 비슷한 것을 수집하는 |
|
|
|
01:24.840 --> 01:25.680 |
|
거죠 |
|
|
|
01:26.070 --> 01:32.670 |
|
그런 다음 메시지를 추가합니다 이 가격과 관련 있을 가능성이 있는 제품이 있다고요 |
|
|
|
01:33.600 --> 01:35.670 |
|
잠시 후에 실행할게요 |
|
|
|
01:35.670 --> 01:37.410 |
|
어떤 모습인지 볼 수 있죠 |
|
|
|
01:37.800 --> 01:44.640 |
|
그런데 과거에 했던 것처럼 이 함수 메시지를 만들고 항목을 하나 가져가고 |
|
|
|
01:44.640 --> 01:51.360 |
|
비슷한 걸 가져가고 가격을 가져가고 표준 독감 목록을 만듭니다 우리가 |
|
|
|
01:51.360 --> 01:53.160 |
|
잘 아는 거죠 |
|
|
|
01:53.520 --> 01:58.170 |
|
시스템 메시지가 있을 겁니다 전에 사용했던 것과 동일한 거죠 |
|
|
|
01:58.200 --> 02:04.410 |
|
물품의 가격을 추정하고 컨텍스트에 추가할 가격으로만 응답하세요 |
|
|
|
02:04.410 --> 02:07.980 |
|
방금 만든 걸 추가할게요 |
|
|
|
02:08.040 --> 02:09.300 |
|
그리고 이렇게 말해요 |
|
|
|
02:09.330 --> 02:10.980 |
|
이제 질문할게요 |
|
|
|
02:10.980 --> 02:18.420 |
|
이건 기본적으로 우리가 전에 사용했던 것과 같습니다 6주 차에 GPT 4를 호출했을 때요 파이프라인을 |
|
|
|
02:18.750 --> 02:20.550 |
|
구축했을 때요 |
|
|
|
02:20.640 --> 02:27.870 |
|
여기서 주목할 건 랭 체인 없이 랙 파이프라인을 하고 있다는 거죠 |
|
|
|
02:28.350 --> 02:30.510 |
|
사실 그렇게 어렵지도 않아요 |
|
|
|
02:30.600 --> 02:35.040 |
|
랭 체인은 간단한 개체 몇 개로 추상화를 제공했어요 |
|
|
|
02:35.040 --> 02:39.060 |
|
코드 한 줄이면 된다고 했던 게 기억나네요 하지만 직접 |
|
|
|
02:39.060 --> 02:40.890 |
|
하기엔 그리 많지 않아요 |
|
|
|
02:40.890 --> 02:45.900 |
|
특히 지금은 보닛 밑에서 무슨 일이 일어나는지 알고 llms를 호출하는 법과 |
|
|
|
02:45.900 --> 02:49.230 |
|
유사한 개체들을 찾아내는 법 등을 알고 있으니까요 |
|
|
|
02:49.350 --> 02:52.830 |
|
비교적 간단해요 |
|
|
|
02:53.010 --> 03:01.260 |
|
너무 힘들지 않았으면 좋겠네요 계속 가보죠 |
|
|
|
03:01.290 --> 03:04.020 |
|
그래서 갈 거예요 |
|
|
|
03:06.060 --> 03:07.830 |
|
채도를 채취할게요 |
|
|
|
03:08.610 --> 03:10.740 |
|
또 이런 말을 했네요 |
|
|
|
03:10.770 --> 03:13.920 |
|
DB 변수를 정의했던 핸드폰을 지웠어요 |
|
|
|
03:13.920 --> 03:17.050 |
|
제품 밑줄로 해야죠 |
|
|
|
03:18.460 --> 03:19.780 |
|
벡터 스토어요 |
|
|
|
03:22.690 --> 03:23.860 |
|
벡터 스토어요 |
|
|
|
03:23.890 --> 03:25.930 |
|
어려운 단어일 거예요 |
|
|
|
03:25.930 --> 03:26.560 |
|
됐어요 |
|
|
|
03:26.560 --> 03:27.700 |
|
다시 실행해요 |
|
|
|
03:27.700 --> 03:28.450 |
|
좋아요 |
|
|
|
03:28.450 --> 03:33.700 |
|
이제 벡터 데이터 저장소에서 제품 컬렉션을 살펴봤죠 |
|
|
|
03:34.510 --> 03:35.950 |
|
알았어요 |
|
|
|
03:35.950 --> 03:38.980 |
|
이제 본론으로 들어가는 거죠 |
|
|
|
03:38.980 --> 03:46.150 |
|
메서드, 함수 설명이 있습니다 항목을 취할 거예요 |
|
|
|
03:46.150 --> 03:49.990 |
|
해당 항목에서 우리가 관심 없는 걸 걸러내죠 |
|
|
|
03:49.990 --> 03:53.950 |
|
기본적으로 프롬프트를 가져다가 이걸 빼낼 거예요 |
|
|
|
03:53.950 --> 03:55.810 |
|
1달러까지 얼마나 들까요? |
|
|
|
03:55.810 --> 04:00.910 |
|
가격 이즈 달러 다음에 나오는 건 다 무시할 거예요 |
|
|
|
04:00.940 --> 04:03.430 |
|
정확히 어떤 건지 보여드릴게요 |
|
|
|
04:03.610 --> 04:08.380 |
|
제 첫 훈련 데이터 포인트를 잠깐 살펴볼게요 |
|
|
|
04:09.430 --> 04:09.910 |
|
이런, 미안해요 |
|
|
|
04:09.940 --> 04:10.390 |
|
미안해요 |
|
|
|
04:10.420 --> 04:10.870 |
|
내가 무슨 짓을 한 거죠? |
|
|
|
04:10.900 --> 04:12.250 |
|
첫 번째 테스트 데이터 포인트를 테스트하세요 |
|
|
|
04:12.250 --> 04:13.780 |
|
훈련 데이터는 더 이상 안 봐요 |
|
|
|
04:13.810 --> 04:19.600 |
|
첫 번째 데이터 포인트는 포드의 수리 키트 어쩌고저쩌고 가격도 적혀 |
|
|
|
04:19.600 --> 04:20.230 |
|
있네요 |
|
|
|
04:20.560 --> 04:27.180 |
|
프롬프트를 보면 여기 잡동사니들이 있는 게 보이실 겁니다 가격과 상단에 |
|
|
|
04:27.180 --> 04:29.040 |
|
질문이 있죠 |
|
|
|
04:29.040 --> 04:36.390 |
|
하지만 이렇게 말할 수 있어요 test 제로 설명 |
|
|
|
04:36.390 --> 04:41.670 |
|
이제 가격 없는 카피만 Get up 하면 돼요 |
|
|
|
04:41.670 --> 04:44.130 |
|
그러니 분명하죠 |
|
|
|
04:44.400 --> 04:44.910 |
|
좋아요 |
|
|
|
04:44.940 --> 04:50.340 |
|
이제 얼굴을 안는 것에서 문장 변압기인 모델을 로드할게요 |
|
|
|
04:50.340 --> 04:53.070 |
|
그게 간단한 벡터 인코딩을 제공하죠 |
|
|
|
04:53.070 --> 04:54.720 |
|
우리 벡터라이저예요 |
|
|
|
04:54.840 --> 04:59.430 |
|
이 메서드는 벡터라이저 함수예요 |
|
|
|
04:59.430 --> 05:00.840 |
|
아이템이 필요해요 |
|
|
|
05:00.840 --> 05:04.890 |
|
해당 아이템에 대한 설명을 호출해 텍스트로 바꾸죠 |
|
|
|
05:04.890 --> 05:09.420 |
|
목록에 넣고 모델 .in코드를 호출해요 |
|
|
|
05:09.840 --> 05:11.850 |
|
간단해요 |
|
|
|
05:12.690 --> 05:17.790 |
|
이제 유사한 함수를 찾는 함수가 나와요 |
|
|
|
05:17.790 --> 05:22.950 |
|
항목을 받으면 비슷한 걸 반환하죠 |
|
|
|
05:22.980 --> 05:29.470 |
|
랭이 전에 했던 것 중 가장 어려운 부분이지만 그렇게 어렵진 않아요 |
|
|
|
05:29.590 --> 05:36.490 |
|
컬렉션에 이렇게 말하는 걸 볼 수 있어요 크로마 DB 컬렉션 이걸 쿼리 하고 싶어요 |
|
|
|
05:36.520 --> 05:38.140 |
|
쿼리 삽입이죠 |
|
|
|
05:38.140 --> 05:42.880 |
|
우리가 통과할 벡터를 기반으로 하는 거예요 |
|
|
|
05:42.880 --> 05:46.120 |
|
nomp 배열에서 부동 소수점 수로 바꿔야 해요 |
|
|
|
05:46.150 --> 05:50.140 |
|
그건 바보 32인조라서 그래요 |
|
|
|
05:50.200 --> 05:53.440 |
|
플로트로 바꿔야 합니다 그리고 목록으로 바꿔야 해요 nomp 배열이 |
|
|
|
05:53.470 --> 05:54.010 |
|
아니라요 |
|
|
|
05:54.010 --> 05:59.380 |
|
그다음에는 결과의 수를 적으면 돼요 그게 다시 돌려받고 싶은 수죠 |
|
|
|
05:59.380 --> 06:04.210 |
|
쿼리 삽입을 벡터로 전달해 5개의 결과를 get 할 수 있죠 |
|
|
|
06:04.210 --> 06:05.740 |
|
그게 다예요 |
|
|
|
06:05.740 --> 06:11.560 |
|
Get in get은 유사한 것들이에요. 실행해 볼게요. |
|
|
|
06:11.680 --> 06:18.040 |
|
이제 할 수 있는 건 테스트 1을 볼 수 있습니다 테스트 1 프롬프트를 보죠 |
|
|
|
06:18.040 --> 06:19.840 |
|
이게 프롬프트예요 |
|
|
|
06:19.930 --> 06:21.700 |
|
얼마면 살 수 있어요? |
|
|
|
06:21.700 --> 06:24.160 |
|
팬 클러치 패키지예요 |
|
|
|
06:24.490 --> 06:26.860 |
|
모터크래프트에서 왔어요 |
|
|
|
06:26.860 --> 06:28.210 |
|
어쨌든 감을 잡게 되죠 get it |
|
|
|
06:28.210 --> 06:32.020 |
|
이제 문서와 가격은 괜찮다고 할 수 있죠 |
|
|
|
06:32.020 --> 06:34.020 |
|
1번 테스트에서 유사점을 찾아요 |
|
|
|
06:34.020 --> 06:39.030 |
|
이 함수를 호출해 비슷한 결과 5개를 찾아볼게요 |
|
|
|
06:39.060 --> 06:40.440 |
|
그렇게 하죠 |
|
|
|
06:41.100 --> 06:42.630 |
|
이제 생각하네요 |
|
|
|
06:42.630 --> 06:44.190 |
|
이제 프린트할게요 |
|
|
|
06:44.550 --> 06:51.390 |
|
여기서 관련 결과가 5개 나올 거예요 관련 제품이 될 수도 있죠 |
|
|
|
06:51.390 --> 06:54.600 |
|
모두 관련 상품일 가능성이 있어요 |
|
|
|
06:54.630 --> 06:59.640 |
|
클러치 달린 물건인데 가격이 다양해요 |
|
|
|
06:59.730 --> 07:04.080 |
|
언뜻 보면 비슷한 제품으로 보이긴 해요 |
|
|
|
07:04.260 --> 07:09.540 |
|
그러니 자신을 설득하고 더 테스트하고 유사한 함수를 |
|
|
|
07:09.540 --> 07:15.840 |
|
찾도록 하세요 Cromer 컬렉션에 쿼리를 호출하는 거죠 |
|
|
|
07:15.840 --> 07:21.720 |
|
크로머 데이터베이스에서 비슷한 제품을 수집할 수 있어요 |
|
|
|
07:21.720 --> 07:23.490 |
|
아주 간단해요 |
|
|
|
07:23.790 --> 07:31.350 |
|
그 작업이 끝나면 랙 파이프라인에 있는 랙 데이터 흐름에 최종 손질을 할 수 있습니다 |
|
|
|
07:31.350 --> 07:36.030 |
|
그걸 이용해 GPT 40을 호출하죠 |
|
|
|
07:36.030 --> 07:38.610 |
|
다음 비디오에서 보여드릴게요
|
|
|