WEBVTT 00:00.380 --> 00:07.730 오픈 소스 세계로 여정을 계속하면서 오픈 소스 코드 생성 능력을 조사하기 00:07.730 --> 00:13.460 위해 어떤 모델을 선택해야 할지 알아보죠 00:13.460 --> 00:14.420 어디서부터 시작하죠? 00:14.420 --> 00:17.780 우선은 큰 코드 모델의 leaderboard를 보시죠 00:17.780 --> 00:23.300 이건 아까 봤던 포옹하는 얼굴 공간으로 실행되는 leaderboard입니다 00:23.300 --> 00:28.820 코드 생성 작업에서 오픈 소스 모델의 성능을 비교하는 거죠 00:29.270 --> 00:34.370 처음에 베이스모델을 봤을 때 몇몇 베이스모델이 잘 작동하고 있는 00:34.370 --> 00:39.530 것을 볼 수 있습니다 코드 라마, 코드 콴 딥 시크 코더가 있네요 00:39.770 --> 00:44.540 하지만 모든 모델을 살펴볼 겁니다 미세 조정된 모델에 00:44.690 --> 00:51.110 관심이 많거든요 C 플러스 플러스 코드 같은 작업에 맞게 특별히 훈련된 00:51.140 --> 00:55.370 몇몇 기본 모델보다 훨씬 더 잘 수행하니까요 00:55.520 --> 01:01.820 그리고 파이썬 + C+ 테스트 기능을 살펴볼 겁니다 왜냐하면 결국 우리가 01:01.820 --> 01:03.080 할 것이니까요 01:03.440 --> 01:09.770 이걸 볼 때 주목할 점은 여기서 나가라는 건 기준점이 되는 거죠 외부적으로 01:09.890 --> 01:12.350 채점이 발생했어요 01:12.350 --> 01:17.720 그래서 저는 개인적으로 이 기호가 없는 걸 선호합니다 01:17.720 --> 01:25.790 안는 얼굴, 스페이스 플랫폼의 벤치마크로 지정된 것들요 그중에서도 가장 01:25.790 --> 01:33.050 높은 게 코드 콴 1이죠 570억 달러요, 맨 위에요 01:33.050 --> 01:35.090 코드 변종 콴이에요 01:35.090 --> 01:40.850 채팅도 가능하게끔 훈련되어 있습니다 즉, 단순히 파이썬 코드를 주고 완료되기를 기대하는 01:40.850 --> 01:43.670 것과는 다른 상호작용이 가능하다는 것이죠 01:43.670 --> 01:50.870 채팅을 할 수 있습니다 파이썬 코드를 최적화된 C+로 변환할 수 있나요? 01:50.870 --> 01:51.500 그리고요? 01:51.500 --> 01:53.150 들어가서 한번 보죠 01:53.630 --> 02:00.710 지금 보시는 건 코드 콴 1이에요 570억 챗의 톱모델이죠 02:00.740 --> 02:04.250 여기 보시면 이게 뭘 할 수 있는지 설명돼 있죠 02:04.400 --> 02:07.310 어떻게 상호 작용할 수 있는지도요 02:07.340 --> 02:11.270 파이썬 에서 퀵 센서트 알고리즘을 작성하세요 02:11.450 --> 02:18.080 보시다시피 우리가 쓰던 방식으로 메시지를 만들 수 있어요 토큰라이저 앱으로 02:18.110 --> 02:25.070 채팅 템플릿을 적용하면 메시지를 토큰으로 변환하고 모델로 실행할 수 있죠 02:25.070 --> 02:31.580 과거 간단한 작업, 텍스트 생성 작업을 위해 실행했던 여러 모델과 02:31.580 --> 02:34.040 아주 일관된 방식이죠 02:34.310 --> 02:42.950 Codeclan을 보시면 파이썬 코딩에서 C++ 코딩에서 아주 높은 점수를 얻을 수 02:42.950 --> 02:43.760 있어요 02:43.760 --> 02:51.380 외부 실행 장치인 이것에 의해만 패하고 있어요 이건 아주 조금 더 잘 작동하죠 02:51.380 --> 02:56.780 잘 보면 이 모델 자체가 퀸의 훌륭한 곡조예요 02:56.780 --> 03:01.040 솔직히 코드를 고수하면서 잘 되고 있다고 생각해요 03:01.040 --> 03:01.610 퀸이에요 03:01.640 --> 03:04.250 그 뒤엔 급경사면이 있어요 03:04.250 --> 03:10.640 또 보여드리고 싶은 건 코드 젬마도 보여드리고 싶어요 다른 03:10.640 --> 03:13.550 것도 해보고 구글도 보죠 03:13.610 --> 03:15.590 하지만 코드를 사용하려 할 때 발생하는 일이죠 03:15.620 --> 03:23.000 제마는 아주 간단한 임무에 대처할 수 있었지만 어려운 임무를 받을 때마다 고장 났어요 03:23.000 --> 03:25.730 코드를 얻을 수 있는지 훈련으로 알아보세요. 03:25.730 --> 03:31.010 하지만 이 문제 때문에 작업을 할 수가 없었어요. 적어도 C 플러스 버전의 파이썬의 03:31.010 --> 03:35.000 복잡한 번역이나 재공여가 일어나지 않았기 때문이죠. 03:35.000 --> 03:40.040 하지만 다른 모델도 시도해 보는 것도 분명 도움이 될 거예요 03:40.040 --> 03:42.470 선택지가 아주 많거든요 03:42.470 --> 03:46.820 코드 콴을 선택했어요 03:46.850 --> 03:48.560 한 번 더 얘기해 보죠 03:48.680 --> 03:52.970 다음으로 할 일은 다양한 방식으로 어떻게 실행할지 알아내는 거죠 03:52.970 --> 03:53.450 할 수 있어요 03:53.450 --> 03:54.770 한 명은 이미 알고 계시잖아요 03:54.770 --> 04:01.460 구글 Colab으로 가서 코드를 작성할 수 있습니다 안기 트랜스포머 라이브러리를 04:01.460 --> 04:07.280 이용해 코덱스 코드에 직접 접근해 로드하고 추론 시간에 실행하는 거죠 04:07.610 --> 04:08.810 그럼 아주 좋을 거예요 04:08.810 --> 04:14.810 비트 박스에서 컴파일된 코드를 실행하고 싶다면 약간 불편할 거예요 04:14.840 --> 04:20.810 주피터에서 실행해야 합니다 구글 Colab에서요 제 컴퓨터에 코드를 복사 붙여넣기 04:20.810 --> 04:21.500 하죠 04:21.650 --> 04:25.250 하나의 사용자 인터페이스로 다 할 수 있길 바랐어요 04:25.250 --> 04:30.230 기본적으로 이 모델을 있는 그대로 실행하고 싶어요 제 상자에서요 04:30.260 --> 04:34.370 그렇게 할 방법이 몇 가지 있는데 전부 설명하진 않겠지만 아주 04:34.370 --> 04:40.550 편리한 방법이 있어요 프로덕션에서 모델을 배포하는 방법을 보여드릴 겁니다 프로덕션 04:40.550 --> 04:41.990 목적을 위해서요 04:41.990 --> 04:50.000 페이스 포옹에 이 모델을 실행해 달라고 요청하는 겁니다 여러분이 코드에서 원격으로 모델을 04:50.000 --> 04:53.540 호출할 수 있는 엔드포인트를 주는 거죠 04:53.540 --> 04:59.690 이런 모델이나 여러분이 원하는 오픈 소스 모델을 실행하는 일종의 호스팅 솔루션으로 여러분이 04:59.690 --> 05:02.810 실행할 수 있는 엔드포인트를 제공하죠 05:02.840 --> 05:04.790 정말 고급 기술 같네요 05:04.880 --> 05:07.340 할 일이 많을 거라고 생각할 수도 있어요 05:07.430 --> 05:09.680 전혀 어렵지 않아요 05:09.680 --> 05:12.740 여러분이 할 일은 여기 이 배포 버튼으로 가는 것뿐이에요 05:12.740 --> 05:19.130 첫 번째 옵션은 종점 추론입니다 프로덕션에 대한 전용 추론 배포죠 05:19.130 --> 05:24.380 이 모델의 고유한 배포를 가질 수 있는 방법이라고 하네요 05:24.380 --> 05:30.350 어디서든 직접 호출해 이 모델을 사용할 수 있어요 05:30.350 --> 05:32.900 물론 그 대가를 치러야겠죠 05:33.230 --> 05:37.310 공짜는 아니지만 아주 비싸진 않아요 05:37.310 --> 05:39.260 하지만 이건 비트가 좀 더 비싸요 05:39.290 --> 05:41.480 확실히 알아야 할 일이죠 05:41.630 --> 05:48.890 이런 추론 끝점을 사용할 때 AWS나 애저 GCP, 구글 05:48.890 --> 05:53.450 클라우드에서 실행할지 선택해요 05:53.660 --> 05:57.440 CPU 박스와 GPU 박스도 선택할 수 있어요 05:57.440 --> 06:05.690 이 모델의 경우 GPU 박스가 필요하고 엔비디아 L4도 최소한 있어야 06:05.690 --> 06:07.100 해요 06:07.130 --> 06:13.820 적어도 그게 권장하는 거죠 GPU 상에 24GB 램이 있어요 06:14.210 --> 06:22.100 그래서 이걸 선택하고 이 중 몇 개를 채우고 엔드포인트 생성을 06:22.100 --> 06:23.870 클릭해요 06:23.870 --> 06:25.190 아주 간단해요 06:25.190 --> 06:32.270 전용 엔드포인트를 만들어서 당신을 위해 0달러 내고 얼굴 껴안고 달리게 할 06:32.300 --> 06:34.070 거예요 시간당 80달러요 06:34.070 --> 06:36.860 미국에서는 가격이 다를 수 있어요 06:36.860 --> 06:41.360 아주 저렴하진 않지만 원할 때 껐다 켤 수 있어요 06:41.390 --> 06:46.070 실험에 한두 시간밖에 안 걸린다면 정말 재미있는 06:46.070 --> 06:53.180 실험이 될 거예요 예산에 맞는다면 추천합니다 그렇지 않다면 걱정 마세요 06:53.180 --> 06:55.340 제가 해드릴게요 06:55.370 --> 06:57.560 여러분도 함께 지켜보며 어떤지 보세요 06:57.680 --> 07:01.700 여기 이 메뉴를 이용해 지정된 끝점으로 가보죠 07:01.700 --> 07:05.780 지정된 끝점이 2개 있는 게 보이시죠 제가 설정한 거요 07:05.780 --> 07:09.110 그중 하나가 방금 본 코드클란이에요 07:09.110 --> 07:15.560 기본적으로 저 화면을 따라가면 추천받은 L4 상자에서 실행되고 있어요 07:15.590 --> 07:21.410 현재 0달러 썼어요 시간당 80달러로 이 엔드포인트를 운영하는 기쁨을 누리세요 07:21.440 --> 07:23.390 내가 당신을 위해 아무것도 안 한다는 말은 하지 말아요 07:23.930 --> 07:27.740 코드 젬마도 시도해 봤어요 07:28.070 --> 07:29.690 알파 박스에 써봤어요 07:29.690 --> 07:31.310 Get it을 실행할 수가 없었어요 07:31.310 --> 07:35.960 아주 단순한 작업이지만 너무 복잡하면 충돌해요 07:36.200 --> 07:39.950 하지만 이걸 연습 삼아 한번 해 보세요 07:39.950 --> 07:46.040 코드 제마를 작동시켜 보세요 코드랑 어떻게 일치하는지 보고 싶네요 07:46.490 --> 07:52.100 하지만 리더보드에서 본 것처럼 의심의 여지가 없어요 07:52.100 --> 07:59.450 코드클란이 훨씬 뛰어나고 이런 장애물을 잘 해낼 거예요 07:59.540 --> 08:05.210 지금까지는 잘 따라오셨길 바라요 08:05.240 --> 08:10.550 5분 기다렸다가 커피를 마시고 codeclan 엔드포인트가 실행될 때까지 08:10.550 --> 08:17.630 기다리세요 그런 다음 JupyterLab으로 돌아가 이 엔드포인트를 호출하고 코드 생성을 시험해볼 08:17.630 --> 08:19.190 준비가 될 거예요 08:19.190 --> 08:20.360 잠시 후에 뵙죠