From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
346 lines
10 KiB
346 lines
10 KiB
WEBVTT |
|
|
|
00:00.380 --> 00:07.730 |
|
오픈 소스 세계로 여정을 계속하면서 오픈 소스 코드 생성 능력을 조사하기 |
|
|
|
00:07.730 --> 00:13.460 |
|
위해 어떤 모델을 선택해야 할지 알아보죠 |
|
|
|
00:13.460 --> 00:14.420 |
|
어디서부터 시작하죠? |
|
|
|
00:14.420 --> 00:17.780 |
|
우선은 큰 코드 모델의 leaderboard를 보시죠 |
|
|
|
00:17.780 --> 00:23.300 |
|
이건 아까 봤던 포옹하는 얼굴 공간으로 실행되는 leaderboard입니다 |
|
|
|
00:23.300 --> 00:28.820 |
|
코드 생성 작업에서 오픈 소스 모델의 성능을 비교하는 거죠 |
|
|
|
00:29.270 --> 00:34.370 |
|
처음에 베이스모델을 봤을 때 몇몇 베이스모델이 잘 작동하고 있는 |
|
|
|
00:34.370 --> 00:39.530 |
|
것을 볼 수 있습니다 코드 라마, 코드 콴 딥 시크 코더가 있네요 |
|
|
|
00:39.770 --> 00:44.540 |
|
하지만 모든 모델을 살펴볼 겁니다 미세 조정된 모델에 |
|
|
|
00:44.690 --> 00:51.110 |
|
관심이 많거든요 C 플러스 플러스 코드 같은 작업에 맞게 특별히 훈련된 |
|
|
|
00:51.140 --> 00:55.370 |
|
몇몇 기본 모델보다 훨씬 더 잘 수행하니까요 |
|
|
|
00:55.520 --> 01:01.820 |
|
그리고 파이썬 + C+ 테스트 기능을 살펴볼 겁니다 왜냐하면 결국 우리가 |
|
|
|
01:01.820 --> 01:03.080 |
|
할 것이니까요 |
|
|
|
01:03.440 --> 01:09.770 |
|
이걸 볼 때 주목할 점은 여기서 나가라는 건 기준점이 되는 거죠 외부적으로 |
|
|
|
01:09.890 --> 01:12.350 |
|
채점이 발생했어요 |
|
|
|
01:12.350 --> 01:17.720 |
|
그래서 저는 개인적으로 이 기호가 없는 걸 선호합니다 |
|
|
|
01:17.720 --> 01:25.790 |
|
안는 얼굴, 스페이스 플랫폼의 벤치마크로 지정된 것들요 그중에서도 가장 |
|
|
|
01:25.790 --> 01:33.050 |
|
높은 게 코드 콴 1이죠 570억 달러요, 맨 위에요 |
|
|
|
01:33.050 --> 01:35.090 |
|
코드 변종 콴이에요 |
|
|
|
01:35.090 --> 01:40.850 |
|
채팅도 가능하게끔 훈련되어 있습니다 즉, 단순히 파이썬 코드를 주고 완료되기를 기대하는 |
|
|
|
01:40.850 --> 01:43.670 |
|
것과는 다른 상호작용이 가능하다는 것이죠 |
|
|
|
01:43.670 --> 01:50.870 |
|
채팅을 할 수 있습니다 파이썬 코드를 최적화된 C+로 변환할 수 있나요? |
|
|
|
01:50.870 --> 01:51.500 |
|
그리고요? |
|
|
|
01:51.500 --> 01:53.150 |
|
들어가서 한번 보죠 |
|
|
|
01:53.630 --> 02:00.710 |
|
지금 보시는 건 코드 콴 1이에요 570억 챗의 톱모델이죠 |
|
|
|
02:00.740 --> 02:04.250 |
|
여기 보시면 이게 뭘 할 수 있는지 설명돼 있죠 |
|
|
|
02:04.400 --> 02:07.310 |
|
어떻게 상호 작용할 수 있는지도요 |
|
|
|
02:07.340 --> 02:11.270 |
|
파이썬 에서 퀵 센서트 알고리즘을 작성하세요 |
|
|
|
02:11.450 --> 02:18.080 |
|
보시다시피 우리가 쓰던 방식으로 메시지를 만들 수 있어요 토큰라이저 앱으로 |
|
|
|
02:18.110 --> 02:25.070 |
|
채팅 템플릿을 적용하면 메시지를 토큰으로 변환하고 모델로 실행할 수 있죠 |
|
|
|
02:25.070 --> 02:31.580 |
|
과거 간단한 작업, 텍스트 생성 작업을 위해 실행했던 여러 모델과 |
|
|
|
02:31.580 --> 02:34.040 |
|
아주 일관된 방식이죠 |
|
|
|
02:34.310 --> 02:42.950 |
|
Codeclan을 보시면 파이썬 코딩에서 C++ 코딩에서 아주 높은 점수를 얻을 수 |
|
|
|
02:42.950 --> 02:43.760 |
|
있어요 |
|
|
|
02:43.760 --> 02:51.380 |
|
외부 실행 장치인 이것에 의해만 패하고 있어요 이건 아주 조금 더 잘 작동하죠 |
|
|
|
02:51.380 --> 02:56.780 |
|
잘 보면 이 모델 자체가 퀸의 훌륭한 곡조예요 |
|
|
|
02:56.780 --> 03:01.040 |
|
솔직히 코드를 고수하면서 잘 되고 있다고 생각해요 |
|
|
|
03:01.040 --> 03:01.610 |
|
퀸이에요 |
|
|
|
03:01.640 --> 03:04.250 |
|
그 뒤엔 급경사면이 있어요 |
|
|
|
03:04.250 --> 03:10.640 |
|
또 보여드리고 싶은 건 코드 젬마도 보여드리고 싶어요 다른 |
|
|
|
03:10.640 --> 03:13.550 |
|
것도 해보고 구글도 보죠 |
|
|
|
03:13.610 --> 03:15.590 |
|
하지만 코드를 사용하려 할 때 발생하는 일이죠 |
|
|
|
03:15.620 --> 03:23.000 |
|
제마는 아주 간단한 임무에 대처할 수 있었지만 어려운 임무를 받을 때마다 고장 났어요 |
|
|
|
03:23.000 --> 03:25.730 |
|
코드를 얻을 수 있는지 훈련으로 알아보세요. |
|
|
|
03:25.730 --> 03:31.010 |
|
하지만 이 문제 때문에 작업을 할 수가 없었어요. 적어도 C 플러스 버전의 파이썬의 |
|
|
|
03:31.010 --> 03:35.000 |
|
복잡한 번역이나 재공여가 일어나지 않았기 때문이죠. |
|
|
|
03:35.000 --> 03:40.040 |
|
하지만 다른 모델도 시도해 보는 것도 분명 도움이 될 거예요 |
|
|
|
03:40.040 --> 03:42.470 |
|
선택지가 아주 많거든요 |
|
|
|
03:42.470 --> 03:46.820 |
|
코드 콴을 선택했어요 |
|
|
|
03:46.850 --> 03:48.560 |
|
한 번 더 얘기해 보죠 |
|
|
|
03:48.680 --> 03:52.970 |
|
다음으로 할 일은 다양한 방식으로 어떻게 실행할지 알아내는 거죠 |
|
|
|
03:52.970 --> 03:53.450 |
|
할 수 있어요 |
|
|
|
03:53.450 --> 03:54.770 |
|
한 명은 이미 알고 계시잖아요 |
|
|
|
03:54.770 --> 04:01.460 |
|
구글 Colab으로 가서 코드를 작성할 수 있습니다 안기 트랜스포머 라이브러리를 |
|
|
|
04:01.460 --> 04:07.280 |
|
이용해 코덱스 코드에 직접 접근해 로드하고 추론 시간에 실행하는 거죠 |
|
|
|
04:07.610 --> 04:08.810 |
|
그럼 아주 좋을 거예요 |
|
|
|
04:08.810 --> 04:14.810 |
|
비트 박스에서 컴파일된 코드를 실행하고 싶다면 약간 불편할 거예요 |
|
|
|
04:14.840 --> 04:20.810 |
|
주피터에서 실행해야 합니다 구글 Colab에서요 제 컴퓨터에 코드를 복사 붙여넣기 |
|
|
|
04:20.810 --> 04:21.500 |
|
하죠 |
|
|
|
04:21.650 --> 04:25.250 |
|
하나의 사용자 인터페이스로 다 할 수 있길 바랐어요 |
|
|
|
04:25.250 --> 04:30.230 |
|
기본적으로 이 모델을 있는 그대로 실행하고 싶어요 제 상자에서요 |
|
|
|
04:30.260 --> 04:34.370 |
|
그렇게 할 방법이 몇 가지 있는데 전부 설명하진 않겠지만 아주 |
|
|
|
04:34.370 --> 04:40.550 |
|
편리한 방법이 있어요 프로덕션에서 모델을 배포하는 방법을 보여드릴 겁니다 프로덕션 |
|
|
|
04:40.550 --> 04:41.990 |
|
목적을 위해서요 |
|
|
|
04:41.990 --> 04:50.000 |
|
페이스 포옹에 이 모델을 실행해 달라고 요청하는 겁니다 여러분이 코드에서 원격으로 모델을 |
|
|
|
04:50.000 --> 04:53.540 |
|
호출할 수 있는 엔드포인트를 주는 거죠 |
|
|
|
04:53.540 --> 04:59.690 |
|
이런 모델이나 여러분이 원하는 오픈 소스 모델을 실행하는 일종의 호스팅 솔루션으로 여러분이 |
|
|
|
04:59.690 --> 05:02.810 |
|
실행할 수 있는 엔드포인트를 제공하죠 |
|
|
|
05:02.840 --> 05:04.790 |
|
정말 고급 기술 같네요 |
|
|
|
05:04.880 --> 05:07.340 |
|
할 일이 많을 거라고 생각할 수도 있어요 |
|
|
|
05:07.430 --> 05:09.680 |
|
전혀 어렵지 않아요 |
|
|
|
05:09.680 --> 05:12.740 |
|
여러분이 할 일은 여기 이 배포 버튼으로 가는 것뿐이에요 |
|
|
|
05:12.740 --> 05:19.130 |
|
첫 번째 옵션은 종점 추론입니다 프로덕션에 대한 전용 추론 배포죠 |
|
|
|
05:19.130 --> 05:24.380 |
|
이 모델의 고유한 배포를 가질 수 있는 방법이라고 하네요 |
|
|
|
05:24.380 --> 05:30.350 |
|
어디서든 직접 호출해 이 모델을 사용할 수 있어요 |
|
|
|
05:30.350 --> 05:32.900 |
|
물론 그 대가를 치러야겠죠 |
|
|
|
05:33.230 --> 05:37.310 |
|
공짜는 아니지만 아주 비싸진 않아요 |
|
|
|
05:37.310 --> 05:39.260 |
|
하지만 이건 비트가 좀 더 비싸요 |
|
|
|
05:39.290 --> 05:41.480 |
|
확실히 알아야 할 일이죠 |
|
|
|
05:41.630 --> 05:48.890 |
|
이런 추론 끝점을 사용할 때 AWS나 애저 GCP, 구글 |
|
|
|
05:48.890 --> 05:53.450 |
|
클라우드에서 실행할지 선택해요 |
|
|
|
05:53.660 --> 05:57.440 |
|
CPU 박스와 GPU 박스도 선택할 수 있어요 |
|
|
|
05:57.440 --> 06:05.690 |
|
이 모델의 경우 GPU 박스가 필요하고 엔비디아 L4도 최소한 있어야 |
|
|
|
06:05.690 --> 06:07.100 |
|
해요 |
|
|
|
06:07.130 --> 06:13.820 |
|
적어도 그게 권장하는 거죠 GPU 상에 24GB 램이 있어요 |
|
|
|
06:14.210 --> 06:22.100 |
|
그래서 이걸 선택하고 이 중 몇 개를 채우고 엔드포인트 생성을 |
|
|
|
06:22.100 --> 06:23.870 |
|
클릭해요 |
|
|
|
06:23.870 --> 06:25.190 |
|
아주 간단해요 |
|
|
|
06:25.190 --> 06:32.270 |
|
전용 엔드포인트를 만들어서 당신을 위해 0달러 내고 얼굴 껴안고 달리게 할 |
|
|
|
06:32.300 --> 06:34.070 |
|
거예요 시간당 80달러요 |
|
|
|
06:34.070 --> 06:36.860 |
|
미국에서는 가격이 다를 수 있어요 |
|
|
|
06:36.860 --> 06:41.360 |
|
아주 저렴하진 않지만 원할 때 껐다 켤 수 있어요 |
|
|
|
06:41.390 --> 06:46.070 |
|
실험에 한두 시간밖에 안 걸린다면 정말 재미있는 |
|
|
|
06:46.070 --> 06:53.180 |
|
실험이 될 거예요 예산에 맞는다면 추천합니다 그렇지 않다면 걱정 마세요 |
|
|
|
06:53.180 --> 06:55.340 |
|
제가 해드릴게요 |
|
|
|
06:55.370 --> 06:57.560 |
|
여러분도 함께 지켜보며 어떤지 보세요 |
|
|
|
06:57.680 --> 07:01.700 |
|
여기 이 메뉴를 이용해 지정된 끝점으로 가보죠 |
|
|
|
07:01.700 --> 07:05.780 |
|
지정된 끝점이 2개 있는 게 보이시죠 제가 설정한 거요 |
|
|
|
07:05.780 --> 07:09.110 |
|
그중 하나가 방금 본 코드클란이에요 |
|
|
|
07:09.110 --> 07:15.560 |
|
기본적으로 저 화면을 따라가면 추천받은 L4 상자에서 실행되고 있어요 |
|
|
|
07:15.590 --> 07:21.410 |
|
현재 0달러 썼어요 시간당 80달러로 이 엔드포인트를 운영하는 기쁨을 누리세요 |
|
|
|
07:21.440 --> 07:23.390 |
|
내가 당신을 위해 아무것도 안 한다는 말은 하지 말아요 |
|
|
|
07:23.930 --> 07:27.740 |
|
코드 젬마도 시도해 봤어요 |
|
|
|
07:28.070 --> 07:29.690 |
|
알파 박스에 써봤어요 |
|
|
|
07:29.690 --> 07:31.310 |
|
Get it을 실행할 수가 없었어요 |
|
|
|
07:31.310 --> 07:35.960 |
|
아주 단순한 작업이지만 너무 복잡하면 충돌해요 |
|
|
|
07:36.200 --> 07:39.950 |
|
하지만 이걸 연습 삼아 한번 해 보세요 |
|
|
|
07:39.950 --> 07:46.040 |
|
코드 제마를 작동시켜 보세요 코드랑 어떻게 일치하는지 보고 싶네요 |
|
|
|
07:46.490 --> 07:52.100 |
|
하지만 리더보드에서 본 것처럼 의심의 여지가 없어요 |
|
|
|
07:52.100 --> 07:59.450 |
|
코드클란이 훨씬 뛰어나고 이런 장애물을 잘 해낼 거예요 |
|
|
|
07:59.540 --> 08:05.210 |
|
지금까지는 잘 따라오셨길 바라요 |
|
|
|
08:05.240 --> 08:10.550 |
|
5분 기다렸다가 커피를 마시고 codeclan 엔드포인트가 실행될 때까지 |
|
|
|
08:10.550 --> 08:17.630 |
|
기다리세요 그런 다음 JupyterLab으로 돌아가 이 엔드포인트를 호출하고 코드 생성을 시험해볼 |
|
|
|
08:17.630 --> 08:19.190 |
|
준비가 될 거예요 |
|
|
|
08:19.190 --> 08:20.360 |
|
잠시 후에 뵙죠
|
|
|