From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
337 lines
9.7 KiB
337 lines
9.7 KiB
WEBVTT |
|
|
|
00:00.920 --> 00:06.650 |
|
그럼 전날 만든 솔루션을 다시 살펴보고 측정법에 대해 얘기해보죠 |
|
|
|
00:06.650 --> 00:13.640 |
|
말씀드렸듯이 아주 간단한 비즈니스 중심 지표가 있습니다 성과를 측정하고 결과를 평가하는 |
|
|
|
00:13.640 --> 00:15.020 |
|
지표죠 |
|
|
|
00:15.020 --> 00:17.180 |
|
코드의 성능이 중요하죠 |
|
|
|
00:17.180 --> 00:19.100 |
|
코드를 얼마나 빨리 만들었죠? |
|
|
|
00:19.100 --> 00:27.500 |
|
클로드 3도 있고요 5 소네트가 멋지게 해냈고 선두로 나섰습니다 |
|
|
|
00:27.740 --> 00:35.720 |
|
그 뒤를 GPT 40이 따랐죠 임무에 실패할 때도 있었지만 성공할 때도 있었습니다 꽤 빠른 |
|
|
|
00:35.750 --> 00:37.670 |
|
해결책으로요 |
|
|
|
00:38.030 --> 00:45.320 |
|
불행히도 코드 콴도 노력은 했지만 제대로 된 결과를 얻지 못했어요 |
|
|
|
00:45.320 --> 00:50.000 |
|
강제로 get을 입력하려 했지만요 |
|
|
|
00:50.030 --> 00:52.610 |
|
살짝 속이는 거로는 부족했어요 |
|
|
|
00:52.760 --> 01:00.230 |
|
다시 한번 말씀드리지만 퀸의 매개 변수는 70억 개예요 1조 개보다 |
|
|
|
01:00.230 --> 01:04.370 |
|
훨씬 많은 비공개 소스의 라이벌이죠 |
|
|
|
01:04.370 --> 01:09.050 |
|
이런 일을 할 수 있다는 사실 자체가 정말 인상적이에요 |
|
|
|
01:09.050 --> 01:15.530 |
|
그리고 운영 비용은 0달러라는 걸 기억하세요 80%면 결론으로 내려고 |
|
|
|
01:15.530 --> 01:18.920 |
|
1시간이나 냈고요 |
|
|
|
01:18.920 --> 01:20.540 |
|
그 외에는 무료예요 |
|
|
|
01:20.540 --> 01:21.800 |
|
오픈 소스 소스예요 |
|
|
|
01:21.920 --> 01:25.070 |
|
API 비용을 내지 않아요 |
|
|
|
01:25.070 --> 01:31.190 |
|
로컬 박스에서 실행할 방법이 있습니다 특히 GPU가 있다면요 |
|
|
|
01:31.190 --> 01:37.790 |
|
이 경우 비용은 없어요 박스를 실행하는 비용과 전기 비용 외에는요 |
|
|
|
01:38.030 --> 01:42.110 |
|
아주 인상적인 모델이에요 |
|
|
|
01:42.110 --> 01:48.350 |
|
그건 솔직히 정말 놀라워요 70억 매개 변수만 있는 오픈 소스 모델이 해당 코드를 파이 계산으로 |
|
|
|
01:48.350 --> 01:51.380 |
|
변환하는 그런 일을 할 수 있다는 게요 |
|
|
|
01:51.440 --> 01:56.060 |
|
이 시점에서 여러분께 과제를 알려 드릴게요 |
|
|
|
01:56.060 --> 02:01.540 |
|
이번 주에는 여러 가지를 준비했는데 꽤 어렵지만 정말 만족스럽고 뿌듯할 거예요 |
|
|
|
02:01.540 --> 02:05.770 |
|
그래서 그 어느 때보다 여러분께 도전해 보라고 권하고 싶어요 |
|
|
|
02:05.890 --> 02:07.390 |
|
시간이 있으면 좋겠네요 |
|
|
|
02:07.390 --> 02:12.460 |
|
오늘 강의는 상대적으로 짧게 하려고 했어요 여러분이 할 수 있도록 시간을 좀 내려고요 |
|
|
|
02:12.460 --> 02:16.060 |
|
지금까지 배운 걸 확실히 보여줄 거예요 |
|
|
|
02:16.090 --> 02:18.010 |
|
몇 가지만 수정하면 돼요 |
|
|
|
02:18.010 --> 02:19.690 |
|
이미 있는 해결책이죠 |
|
|
|
02:19.720 --> 02:28.720 |
|
제미니를 비공개 소스 모델에 추가할 수 있습니다. 제미니는 클로드와 제미니를 위한 GPT가 |
|
|
|
02:28.720 --> 02:33.220 |
|
있고 더 많은 오픈 소스 모델을 추가할 수 있죠 |
|
|
|
02:33.220 --> 02:40.600 |
|
제가 제안했던 것처럼 코드 라마와 별 코더를 추가할 수 있습니다 코드 젬마가 작동하도록 |
|
|
|
02:40.600 --> 02:43.390 |
|
강제할 수 있는지 알 수 있죠 |
|
|
|
02:43.420 --> 02:50.140 |
|
난수 발생기를 다시 쓰지 말라고 설득할 수 있을지도 몰라요 그런 일이 일어나지 않도록 공격적인 |
|
|
|
02:50.140 --> 02:52.660 |
|
프롬프트를 여러 개 던져서요 |
|
|
|
02:52.660 --> 02:54.580 |
|
나보다 운이 좋은지 보죠 |
|
|
|
02:54.580 --> 02:57.600 |
|
있다면 제발 코드를 눌러주세요 |
|
|
|
02:57.660 --> 02:58.680 |
|
어디 봐요 |
|
|
|
02:58.710 --> 03:00.840 |
|
다른 사람들과 공유할 거예요 |
|
|
|
03:00.840 --> 03:03.390 |
|
그럼 우리 모두 이득을 볼 수 있죠 |
|
|
|
03:03.390 --> 03:04.290 |
|
그게 바로 그거죠 |
|
|
|
03:04.320 --> 03:04.710 |
|
네 |
|
|
|
03:04.740 --> 03:05.940 |
|
정말 멋져요 |
|
|
|
03:05.940 --> 03:09.240 |
|
그러니 한번 시도해 보고 결과를 공유해 주세요 |
|
|
|
03:09.240 --> 03:10.470 |
|
근데요 |
|
|
|
03:11.190 --> 03:19.380 |
|
하지만 세 가지 가시 돋친 도전이 있어요 여러분의 능력을 이용해 코드를 생성해야 하죠 |
|
|
|
03:19.380 --> 03:21.030 |
|
한 단계 더 발전할 거예요 |
|
|
|
03:21.270 --> 03:24.630 |
|
좋은 아이디어가 있어요 |
|
|
|
03:24.630 --> 03:31.140 |
|
그 중 하나는 코딩 도구를 작성하는 겁니다 코드에 자동으로 주석이나 docstrings을 추가하는 |
|
|
|
03:31.140 --> 03:33.900 |
|
거죠 아주 유용할 수도 있는 거죠 |
|
|
|
03:34.080 --> 03:38.490 |
|
이미 그렇게 하는 제품들이 있다는 걸 알지만 직접 해보시면 좋을 겁니다 |
|
|
|
03:38.490 --> 03:42.180 |
|
작동하는 걸 보고 코드가 이걸 하기에 충분한지 보는 거죠 |
|
|
|
03:42.600 --> 03:47.610 |
|
다른 건 단위 테스트를 작성하는 도구죠 |
|
|
|
03:47.610 --> 03:53.340 |
|
단위 테스팅은 우리 삶의 골칫거리예요 |
|
|
|
03:53.400 --> 03:55.620 |
|
아주 힘들 수도 있어요 |
|
|
|
03:55.870 --> 04:02.170 |
|
때때로 단위 테스트는 아주 엉성하게 작성될 수 있어요. 그들이 하는 모든 것이 함수의 입력과 출력을 |
|
|
|
04:02.170 --> 04:06.190 |
|
복제하는 것이라면요. 합리적인 것을 하는 것보다요. |
|
|
|
04:06.190 --> 04:15.040 |
|
프론티어 모델과 오픈 소스 모델을 이용해 파이썬 특정 모듈을 위한 단위 테스트 케이스를 생성할 |
|
|
|
04:15.040 --> 04:17.410 |
|
수 있는지 보세요 |
|
|
|
04:17.620 --> 04:21.220 |
|
마지막으로 정말 재미있는 거예요 |
|
|
|
04:21.220 --> 04:21.940 |
|
이것도 해 봤어요 |
|
|
|
04:21.940 --> 04:26.980 |
|
이건 그냥 오락용으로 제가 갖고 있는 거예요 |
|
|
|
04:27.160 --> 04:28.330 |
|
정말 좋아요 |
|
|
|
04:28.330 --> 04:29.320 |
|
좋아요 |
|
|
|
04:29.440 --> 04:37.870 |
|
모의 환경에서 주식을 사고팔기 위한 거래 결정을 내릴 코드를 작성하는 |
|
|
|
04:37.900 --> 04:41.590 |
|
코드 생성기를 만들어 보세요 |
|
|
|
04:41.590 --> 04:43.420 |
|
더 큰 프로젝트인 건 알아요 |
|
|
|
04:43.420 --> 04:47.050 |
|
하지만 Get은 한 번에 하나씩 할 수 있어요 코드 생성만으로요 |
|
|
|
04:47.050 --> 04:49.810 |
|
시뮬레이션 환경이 꼭 필요한 건 아니에요 |
|
|
|
04:49.900 --> 04:52.090 |
|
API 기능을 제공하죠 |
|
|
|
04:52.120 --> 04:58.120 |
|
일반적인 API를 찾아볼 수도 있어요 지분 주가를 알아보기 위해서요 |
|
|
|
04:58.120 --> 05:03.430 |
|
아니면 API를 발명해 프롬프트에 제공해 특정 날짜에 대한 체크메이트 |
|
|
|
05:03.430 --> 05:10.720 |
|
가격을 얻기 위해 어떤 방법을 호출할 수 있는지 모델이 알도록 할 수도 있죠 그런 다음 거래 결정을 수행하거나 |
|
|
|
05:10.720 --> 05:14.530 |
|
구매, 판매하는 기능을 생성하게 하는 거죠 |
|
|
|
05:14.530 --> 05:17.710 |
|
네, 정말 재미있었어요 |
|
|
|
05:17.710 --> 05:26.380 |
|
엄청나게 다양한 트레이딩 신호를 구축할 수 있었어요 프론티어 모델과 오픈 소스 모델을 사용해서요 |
|
|
|
05:26.380 --> 05:31.120 |
|
하나만 부탁할게요 뭘 하든, 하게 되더라도 그걸 거래 결정에 이용하진 |
|
|
|
05:31.120 --> 05:31.960 |
|
마세요 |
|
|
|
05:31.960 --> 05:36.970 |
|
이런 식으로 거래 결정을 내리지 말라고 강력히 권고할게요 |
|
|
|
05:36.970 --> 05:41.770 |
|
사실, 선구 모델에 이런 방법을 만들라고 요청하면 만들겠지만 |
|
|
|
05:41.770 --> 05:47.440 |
|
어떤 상황에서든 실무 거래 결정에 사용하면 안 된다고 경고할 거예요 |
|
|
|
05:47.440 --> 05:49.720 |
|
엄중한 경고라고 생각하세요 |
|
|
|
05:49.930 --> 05:59.050 |
|
순수하게 여러분의 즐거움을 위해 사용하세요 관련된 기능을 보고 싶으시다면 LM의 변덕에 |
|
|
|
05:59.080 --> 06:05.950 |
|
명예와 부를 걸 필요는 없습니다 닫혀있든 오픈 소스든 간에요 |
|
|
|
06:06.250 --> 06:08.530 |
|
하지만 이건 훌륭한 프로젝트예요 |
|
|
|
06:08.530 --> 06:09.820 |
|
마음에 드실 거예요 |
|
|
|
06:09.820 --> 06:14.950 |
|
아무도 제 코드를 공유하지 않는다면 전 할 수도 있어요 하지만 먼저 도전 과제를 드렸어요 여러분이 할 |
|
|
|
06:14.980 --> 06:16.150 |
|
수 있는 기회요 Put |
|
|
|
06:16.180 --> 06:19.420 |
|
거래 신호를 보내면 도전하겠어요 |
|
|
|
06:19.420 --> 06:25.930 |
|
당신과 직접 시뮬레이션 환경에서 살펴볼 겁니다 물론 가짜 시장에서 |
|
|
|
06:25.930 --> 06:32.980 |
|
더 많은 돈을 벌 수 있는 다양한 거래 기능이 있을까요? HDP, DM |
|
|
|
06:33.070 --> 06:34.030 |
|
여기요 |
|
|
|
06:34.030 --> 06:38.500 |
|
재미있는 프로젝트가 될 거예요 다른 참가자들의 작품을 빨리 보고 싶네요 |
|
|
|
06:38.530 --> 06:41.050 |
|
그리고 또 있어요, 믿어지세요? |
|
|
|
06:41.080 --> 06:42.490 |
|
이게 믿어져요? |
|
|
|
06:42.520 --> 06:51.680 |
|
숙련된 LM 엔지니어가 되기 위한 여정의 50% 지점에 도달했어요 |
|
|
|
06:51.710 --> 06:53.510 |
|
절반 남았어요 |
|
|
|
06:53.540 --> 06:57.230 |
|
적어도 반은 온 거예요 숙제를 하고 프로젝트를 몇 개 완성하면요 |
|
|
|
06:57.230 --> 07:01.100 |
|
가장 좋은 배우는 방법은 행동으로 배우는 거니까요 |
|
|
|
07:01.130 --> 07:07.490 |
|
일단 그렇게 하고 나면 스스로를 칭찬하며 50%는 성공했다고 말할 수 |
|
|
|
07:07.490 --> 07:08.120 |
|
있죠 |
|
|
|
07:08.480 --> 07:15.860 |
|
다음 시간에는 더 많은 이야기가 기다리고 있습니다 슈퍼 핫한 래그 토픽과 래그의 숨은 원대한 |
|
|
|
07:15.860 --> 07:19.040 |
|
아이디어에 관해 이야기할 거예요 |
|
|
|
07:19.040 --> 07:25.310 |
|
여러분의 쿼리에 전문 지식을 추가하는 높은 수준의 흐름을 살펴보겠습니다 그리고 |
|
|
|
07:25.310 --> 07:31.340 |
|
Rag의 장난감 버전을 구현할 겁니다 벡터 데이터베이스라는 걸 도입하지 |
|
|
|
07:31.340 --> 07:35.900 |
|
않는 간단한 버전으로요 Rag의 가장 큰 개념이죠 |
|
|
|
07:35.900 --> 07:38.480 |
|
그래서 빨리 get it을 하고 싶어요. |
|
|
|
07:38.480 --> 07:41.300 |
|
다음 주는 정말 재미있을 거예요 |
|
|
|
07:41.390 --> 07:50.990 |
|
다시 한번 진심으로 축하드려요 림스를 지배하는 여정의 절반을 지나왔잖아요
|
|
|