You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

346 lines
10 KiB

WEBVTT
00:00.380 --> 00:07.730
오픈 소스 세계로 여정을 계속하면서 오픈 소스 코드 생성 능력을 조사하기
00:07.730 --> 00:13.460
위해 어떤 모델을 선택해야 할지 알아보죠
00:13.460 --> 00:14.420
어디서부터 시작하죠?
00:14.420 --> 00:17.780
우선은 큰 코드 모델의 leaderboard를 보시죠
00:17.780 --> 00:23.300
이건 아까 봤던 포옹하는 얼굴 공간으로 실행되는 leaderboard입니다
00:23.300 --> 00:28.820
코드 생성 작업에서 오픈 소스 모델의 성능을 비교하는 거죠
00:29.270 --> 00:34.370
처음에 베이스모델을 봤을 때 몇몇 베이스모델이 잘 작동하고 있는
00:34.370 --> 00:39.530
것을 볼 수 있습니다 코드 라마, 코드 콴 딥 시크 코더가 있네요
00:39.770 --> 00:44.540
하지만 모든 모델을 살펴볼 겁니다 미세 조정된 모델에
00:44.690 --> 00:51.110
관심이 많거든요 C 플러스 플러스 코드 같은 작업에 맞게 특별히 훈련된
00:51.140 --> 00:55.370
몇몇 기본 모델보다 훨씬 더 잘 수행하니까요
00:55.520 --> 01:01.820
그리고 파이썬 + C+ 테스트 기능을 살펴볼 겁니다 왜냐하면 결국 우리가
01:01.820 --> 01:03.080
할 것이니까요
01:03.440 --> 01:09.770
이걸 볼 때 주목할 점은 여기서 나가라는 건 기준점이 되는 거죠 외부적으로
01:09.890 --> 01:12.350
채점이 발생했어요
01:12.350 --> 01:17.720
그래서 저는 개인적으로 이 기호가 없는 걸 선호합니다
01:17.720 --> 01:25.790
안는 얼굴, 스페이스 플랫폼의 벤치마크로 지정된 것들요 그중에서도 가장
01:25.790 --> 01:33.050
높은 게 코드 콴 1이죠 570억 달러요, 맨 위에요
01:33.050 --> 01:35.090
코드 변종 콴이에요
01:35.090 --> 01:40.850
채팅도 가능하게끔 훈련되어 있습니다 즉, 단순히 파이썬 코드를 주고 완료되기를 기대하는
01:40.850 --> 01:43.670
것과는 다른 상호작용이 가능하다는 것이죠
01:43.670 --> 01:50.870
채팅을 할 수 있습니다 파이썬 코드를 최적화된 C+로 변환할 수 있나요?
01:50.870 --> 01:51.500
그리고요?
01:51.500 --> 01:53.150
들어가서 한번 보죠
01:53.630 --> 02:00.710
지금 보시는 건 코드 콴 1이에요 570억 챗의 톱모델이죠
02:00.740 --> 02:04.250
여기 보시면 이게 뭘 할 수 있는지 설명돼 있죠
02:04.400 --> 02:07.310
어떻게 상호 작용할 수 있는지도요
02:07.340 --> 02:11.270
파이썬 에서 퀵 센서트 알고리즘을 작성하세요
02:11.450 --> 02:18.080
보시다시피 우리가 쓰던 방식으로 메시지를 만들 수 있어요 토큰라이저 앱으로
02:18.110 --> 02:25.070
채팅 템플릿을 적용하면 메시지를 토큰으로 변환하고 모델로 실행할 수 있죠
02:25.070 --> 02:31.580
과거 간단한 작업, 텍스트 생성 작업을 위해 실행했던 여러 모델과
02:31.580 --> 02:34.040
아주 일관된 방식이죠
02:34.310 --> 02:42.950
Codeclan을 보시면 파이썬 코딩에서 C++ 코딩에서 아주 높은 점수를 얻을 수
02:42.950 --> 02:43.760
있어요
02:43.760 --> 02:51.380
외부 실행 장치인 이것에 의해만 패하고 있어요 이건 아주 조금 더 잘 작동하죠
02:51.380 --> 02:56.780
잘 보면 이 모델 자체가 퀸의 훌륭한 곡조예요
02:56.780 --> 03:01.040
솔직히 코드를 고수하면서 잘 되고 있다고 생각해요
03:01.040 --> 03:01.610
퀸이에요
03:01.640 --> 03:04.250
그 뒤엔 급경사면이 있어요
03:04.250 --> 03:10.640
또 보여드리고 싶은 건 코드 젬마도 보여드리고 싶어요 다른
03:10.640 --> 03:13.550
것도 해보고 구글도 보죠
03:13.610 --> 03:15.590
하지만 코드를 사용하려 할 때 발생하는 일이죠
03:15.620 --> 03:23.000
제마는 아주 간단한 임무에 대처할 수 있었지만 어려운 임무를 받을 때마다 고장 났어요
03:23.000 --> 03:25.730
코드를 얻을 수 있는지 훈련으로 알아보세요.
03:25.730 --> 03:31.010
하지만 이 문제 때문에 작업을 할 수가 없었어요. 적어도 C 플러스 버전의 파이썬의
03:31.010 --> 03:35.000
복잡한 번역이나 재공여가 일어나지 않았기 때문이죠.
03:35.000 --> 03:40.040
하지만 다른 모델도 시도해 보는 것도 분명 도움이 될 거예요
03:40.040 --> 03:42.470
선택지가 아주 많거든요
03:42.470 --> 03:46.820
코드 콴을 선택했어요
03:46.850 --> 03:48.560
한 번 더 얘기해 보죠
03:48.680 --> 03:52.970
다음으로 할 일은 다양한 방식으로 어떻게 실행할지 알아내는 거죠
03:52.970 --> 03:53.450
할 수 있어요
03:53.450 --> 03:54.770
한 명은 이미 알고 계시잖아요
03:54.770 --> 04:01.460
구글 Colab으로 가서 코드를 작성할 수 있습니다 안기 트랜스포머 라이브러리를
04:01.460 --> 04:07.280
이용해 코덱스 코드에 직접 접근해 로드하고 추론 시간에 실행하는 거죠
04:07.610 --> 04:08.810
그럼 아주 좋을 거예요
04:08.810 --> 04:14.810
비트 박스에서 컴파일된 코드를 실행하고 싶다면 약간 불편할 거예요
04:14.840 --> 04:20.810
주피터에서 실행해야 합니다 구글 Colab에서요 제 컴퓨터에 코드를 복사 붙여넣기
04:20.810 --> 04:21.500
하죠
04:21.650 --> 04:25.250
하나의 사용자 인터페이스로 다 할 수 있길 바랐어요
04:25.250 --> 04:30.230
기본적으로 이 모델을 있는 그대로 실행하고 싶어요 제 상자에서요
04:30.260 --> 04:34.370
그렇게 할 방법이 몇 가지 있는데 전부 설명하진 않겠지만 아주
04:34.370 --> 04:40.550
편리한 방법이 있어요 프로덕션에서 모델을 배포하는 방법을 보여드릴 겁니다 프로덕션
04:40.550 --> 04:41.990
목적을 위해서요
04:41.990 --> 04:50.000
페이스 포옹에 이 모델을 실행해 달라고 요청하는 겁니다 여러분이 코드에서 원격으로 모델을
04:50.000 --> 04:53.540
호출할 수 있는 엔드포인트를 주는 거죠
04:53.540 --> 04:59.690
이런 모델이나 여러분이 원하는 오픈 소스 모델을 실행하는 일종의 호스팅 솔루션으로 여러분이
04:59.690 --> 05:02.810
실행할 수 있는 엔드포인트를 제공하죠
05:02.840 --> 05:04.790
정말 고급 기술 같네요
05:04.880 --> 05:07.340
할 일이 많을 거라고 생각할 수도 있어요
05:07.430 --> 05:09.680
전혀 어렵지 않아요
05:09.680 --> 05:12.740
여러분이 할 일은 여기 이 배포 버튼으로 가는 것뿐이에요
05:12.740 --> 05:19.130
첫 번째 옵션은 종점 추론입니다 프로덕션에 대한 전용 추론 배포죠
05:19.130 --> 05:24.380
이 모델의 고유한 배포를 가질 수 있는 방법이라고 하네요
05:24.380 --> 05:30.350
어디서든 직접 호출해 이 모델을 사용할 수 있어요
05:30.350 --> 05:32.900
물론 그 대가를 치러야겠죠
05:33.230 --> 05:37.310
공짜는 아니지만 아주 비싸진 않아요
05:37.310 --> 05:39.260
하지만 이건 비트가 좀 더 비싸요
05:39.290 --> 05:41.480
확실히 알아야 할 일이죠
05:41.630 --> 05:48.890
이런 추론 끝점을 사용할 때 AWS나 애저 GCP, 구글
05:48.890 --> 05:53.450
클라우드에서 실행할지 선택해요
05:53.660 --> 05:57.440
CPU 박스와 GPU 박스도 선택할 수 있어요
05:57.440 --> 06:05.690
이 모델의 경우 GPU 박스가 필요하고 엔비디아 L4도 최소한 있어야
06:05.690 --> 06:07.100
해요
06:07.130 --> 06:13.820
적어도 그게 권장하는 거죠 GPU 상에 24GB 램이 있어요
06:14.210 --> 06:22.100
그래서 이걸 선택하고 이 중 몇 개를 채우고 엔드포인트 생성을
06:22.100 --> 06:23.870
클릭해요
06:23.870 --> 06:25.190
아주 간단해요
06:25.190 --> 06:32.270
전용 엔드포인트를 만들어서 당신을 위해 0달러 내고 얼굴 껴안고 달리게 할
06:32.300 --> 06:34.070
거예요 시간당 80달러요
06:34.070 --> 06:36.860
미국에서는 가격이 다를 수 있어요
06:36.860 --> 06:41.360
아주 저렴하진 않지만 원할 때 껐다 켤 수 있어요
06:41.390 --> 06:46.070
실험에 한두 시간밖에 안 걸린다면 정말 재미있는
06:46.070 --> 06:53.180
실험이 될 거예요 예산에 맞는다면 추천합니다 그렇지 않다면 걱정 마세요
06:53.180 --> 06:55.340
제가 해드릴게요
06:55.370 --> 06:57.560
여러분도 함께 지켜보며 어떤지 보세요
06:57.680 --> 07:01.700
여기 이 메뉴를 이용해 지정된 끝점으로 가보죠
07:01.700 --> 07:05.780
지정된 끝점이 2개 있는 게 보이시죠 제가 설정한 거요
07:05.780 --> 07:09.110
그중 하나가 방금 본 코드클란이에요
07:09.110 --> 07:15.560
기본적으로 저 화면을 따라가면 추천받은 L4 상자에서 실행되고 있어요
07:15.590 --> 07:21.410
현재 0달러 썼어요 시간당 80달러로 이 엔드포인트를 운영하는 기쁨을 누리세요
07:21.440 --> 07:23.390
내가 당신을 위해 아무것도 안 한다는 말은 하지 말아요
07:23.930 --> 07:27.740
코드 젬마도 시도해 봤어요
07:28.070 --> 07:29.690
알파 박스에 써봤어요
07:29.690 --> 07:31.310
Get it을 실행할 수가 없었어요
07:31.310 --> 07:35.960
아주 단순한 작업이지만 너무 복잡하면 충돌해요
07:36.200 --> 07:39.950
하지만 이걸 연습 삼아 한번 해 보세요
07:39.950 --> 07:46.040
코드 제마를 작동시켜 보세요 코드랑 어떻게 일치하는지 보고 싶네요
07:46.490 --> 07:52.100
하지만 리더보드에서 본 것처럼 의심의 여지가 없어요
07:52.100 --> 07:59.450
코드클란이 훨씬 뛰어나고 이런 장애물을 잘 해낼 거예요
07:59.540 --> 08:05.210
지금까지는 잘 따라오셨길 바라요
08:05.240 --> 08:10.550
5분 기다렸다가 커피를 마시고 codeclan 엔드포인트가 실행될 때까지
08:10.550 --> 08:17.630
기다리세요 그런 다음 JupyterLab으로 돌아가 이 엔드포인트를 호출하고 코드 생성을 시험해볼
08:17.630 --> 08:19.190
준비가 될 거예요
08:19.190 --> 08:20.360
잠시 후에 뵙죠