WEBVTT 00:00.620 --> 00:08.900 네, 순위표에 오신 걸 환영합니다 여러분의 컬렉션에 필요한 필수 순위표를 살펴보고 있는데요 00:08.900 --> 00:13.160 그 중 첫 번째는 빅 코드 모델의 leaderboard죠 00:13.430 --> 00:18.440 URL 보이시죠? 하지만 안는 얼굴에서 검색할 수도 있어요 00:18.590 --> 00:23.600 다른 것들처럼 스페이스 앱으로 실행되고 있어요 00:23.600 --> 00:27.920 클래스 리소스에 링크도 포함시킬 거예요 00:28.070 --> 00:34.430 여기 보시는 건 모형 세트예요 00:34.430 --> 00:36.890 베이스 모델에서 필터링부터 할게요 00:36.890 --> 00:39.590 우리 모두 아는 이름이죠 00:39.590 --> 00:47.900 그리고 점수를 보면 앞서 언급했던 인체 평가 시험 세트인 파이썬 테스트와 00:47.900 --> 00:53.360 자바스크립트 테스트 C 플러스 테스트가 있죠 00:53.360 --> 00:59.930 이 모델의 성능을 다른 프로그래밍 언어와 비교할 수 있어요 00:59.930 --> 01:05.180 승률은 전체의 평균과 비슷하다고 할 수 있죠 01:05.180 --> 01:12.410 get each 페이지로 가시면 더 많은 정보를 얻을 수 있습니다. 이 열을 계산하는 01:12.410 --> 01:19.820 방식을 보면 코딩의 가장 윗부분이 코드를 작성하기 위한 퀸의 특수 버전인 것을 볼 수 있습니다. 01:19.820 --> 01:23.570 이것을 코드 퀸이라고 부르죠. 01:23.570 --> 01:27.740 근처에 라마 코드도 있어요 01:27.860 --> 01:31.340 심해 코더는 아주 잘 나가는 모델이에요 01:31.460 --> 01:34.610 코드 라마의 변종이죠 01:34.610 --> 01:39.800 스타 코더 2는 초기에 우리가 사용한 모델이죠 01:39.860 --> 01:43.160 스타 코더 2의 기능도 여기 있고요 01:43.340 --> 01:48.110 다음은 코드 젬마 구글의 오픈 소스 코드 생성 모델이죠 01:48.110 --> 01:54.680 전부를 포함하면 좀 더 구체적인 데이터 세트에 맞춰 조정된 일부도 01:54.680 --> 01:56.690 포함할 거예요 01:56.690 --> 02:01.190 점수를 비교해 보면 알 수 있어요 02:01.400 --> 02:09.470 요즘 코드는 훨씬 더 낮아졌고 많은 것들이 더 잘 튜닝되었어요 02:09.590 --> 02:19.190 좀 놀랍지만 코드 콴 1이에요 채팅 5개가 1을 능가하는 것 같아요 여기에는 50억 70억 명이 있어요 02:19.190 --> 02:23.480 하지만 여러 가지 이유가 있을 수 있죠 02:23.480 --> 02:28.400 그 목적으로 데이터를 훈련하는 데 사용된 방식 때문일 수도 있고 여기서 02:28.400 --> 02:31.010 제기되는 질문 때문일 수도 있어요 02:31.100 --> 02:37.670 여러분이 풀어야 할 문제가 대형 코드 모델 코딩과 관련 있다면 leaderboard가 02:37.670 --> 02:39.200 딱이죠 02:39.980 --> 02:45.380 다음은 LM 향기 리더보드입니다 속도나 메모리 소비량 02:45.380 --> 02:51.050 같은 것에 관련된 다양한 모델의 성능을 살펴보는 거죠 02:51.080 --> 02:57.170 leaderboard를 보면 다양한 변형이 있는 모델들이 나와 있습니다 02:57.170 --> 03:02.570 속도, 에너지 소비량 메모리 사용량 등 정보도 있고요 03:02.570 --> 03:10.310 하지만 제가 권하고 싶은 것은 그 페이지에서 시작하지 말고 이 페이지로 넘어가서 03:10.340 --> 03:16.340 최고의 모델을 찾는 것입니다. 당신이 보고 있는 하드웨어 구조를 03:16.340 --> 03:22.640 선택하고, 최고의 모델을 고릅니다. 여기 보이는 것은 매우 흥미로운 03:22.640 --> 03:32.090 도표입니다. 다이어그램으로 적어도 세 가지의 양을 보여주고 있죠. 03:32.120 --> 03:35.930 그렇지 않다면 엑스 축을 따라야겠죠 03:35.930 --> 03:38.360 여기서 속도에 대한 뭔가를 보게 되죠 03:38.360 --> 03:42.650 이 모델이 토큰 64개를 생성하는 데 걸리는 시간이죠 03:42.650 --> 03:45.530 왼쪽으로 더 기울일수록 좋아요 03:45.530 --> 03:47.420 시간이 단축되니까요 03:47.420 --> 03:54.110 왼쪽으로 오는 모델을 찾고 있어요 성능, 속도, 성능에 신경 쓴다면요 03:54.140 --> 03:59.450 정확성에 신경 쓰신다면, 성능에 신경 쓰신다면 합계를 이용하실 수 있어요 03:59.480 --> 04:07.500 오픈 LM 점수요 모델 정확도의 척도로써의 총점이죠 04:07.680 --> 04:14.760 메모리 공간 측면에서 비용을 고려하고 이 모델을 실행하기 위해 필요한 하드웨어의 04:14.760 --> 04:19.890 크기를 고려한다면 blob의 크기를 봐야 해요 04:19.920 --> 04:27.480 큰 덩어리는 더 많은 메모리 수요를 나타내요 여러분이 필요한 게 뭔지 감을 잡게 해주죠 04:27.480 --> 04:34.620 저희가 찾는 모델은 작은 점으로 왼쪽 위쪽에 있는 게 이상적이죠 04:34.620 --> 04:39.720 높은 곳만 아니면 좋은 결과가 나올 거예요 04:39.720 --> 04:44.820 특히 이런 모델이 아주 잘 되고 있는 걸 볼 수 있어요 Quan the Quan 04:44.850 --> 04:47.040 1이죠 5가지 변형이 있어요 04:47.130 --> 04:53.250 여길 보시면 가장 신경 쓰이는 건 성능이 뛰어나고 04:53.250 --> 04:59.820 정확하며 벤치마킹 점수 면에서 빠른 기술이죠 05:00.090 --> 05:06.720 그리고 이 제품으로 오세요 라마 라마 3 모델이에요 05:07.050 --> 05:11.970 여기서 마지막 요점이 등장합니다 이 도표에 표현된 또 05:11.970 --> 05:17.340 다른 정보는 모델의 가족인데 비트의 색깔로 표현되죠 05:17.340 --> 05:25.830 여기 보시면 노란색은 파이나 훈련을 받은 모델이란 뜻이에요 05:25.830 --> 05:29.250 저기 노란색 파이 모델이 보일 거예요 05:29.610 --> 05:36.900 속도와 정확도, 메모리 풋프린트의 양면성에 있어서 오픈 소스 모델의 05:36.900 --> 05:43.290 실행 비용에 영향을 미칠 텐데 이건 환상적인 리소스예요 05:43.290 --> 05:51.330 leaderboard를 눌러보세요. 여기로 오세요. 항상 당신의 가장 좋은 모델 찾기 탭을 누르세요. 05:51.330 --> 05:55.020 그리고 당신의 옵션이 뭔지 살펴보세요. 05:55.020 --> 06:01.260 예를 들어 T4 하드웨어를 이야기할 때 T4 탭으로 가서 어떤 06:01.260 --> 06:04.320 옵션이 있는지 볼 수 있어요 06:04.320 --> 06:08.400 보세요, 01I 청음이에요 06:08.430 --> 06:10.560 콴은 잘 지내고 있나요? 06:10.830 --> 06:17.250 다른 모델도 볼 수 있어요 사용 사례에 따라 가장 적절한 모델이죠 06:19.140 --> 06:26.040 제가 말씀드리고 싶은 것은 빈 공간이 있는데 빈 공간으로 가서 leaderboard를 06:26.040 --> 06:27.540 검색할 수 있어요 06:27.540 --> 06:32.670 여기서 한 건 공간에서 leaderboard를 검색한 것뿐입니다 06:32.670 --> 06:41.340 다양한 leaderboard를 볼 수 있죠 LMS 벤치마크에 대한 보다 상세한 정보를 볼 수 있어요 06:41.610 --> 06:48.780 여기 있는 정보의 양에 압도되지 않으셨다면 제가 조금 전에 언급한 이 다양한 leaderboard를 보는 06:48.810 --> 06:51.420 데에 아주 훌륭한 유틸리티가 있어요 06:51.420 --> 06:53.370 포르투갈이 집중해서 순위를 매기고 있어요 06:53.370 --> 07:00.840 많은 언어가 독자적인 순위표를 갖고 있어요 능력을 평가하기 위해서요 07:00.840 --> 07:03.390 오픈 메디컬 리더보드를 언급했죠 07:03.390 --> 07:10.350 이걸 띄워 보면 여러 의학적 벤치마크가 있습니다 임상 지식, 대학 07:10.350 --> 07:17.520 생물학 의학 유전학, 그리고 퍼브메드 QA 같은 것들이죠 07:17.610 --> 07:22.230 의학 모델과 비교해서 점수를 매겨요 07:22.230 --> 07:29.280 의료 유스 케이스용으로 설계된 솔루션을 개발하려 한다면 바로 이 순위표를 07:29.280 --> 07:31.050 봐야 해요 07:31.260 --> 07:38.490 어바웃 페이지는 추가 정보를 제공합니다 데이터 집합과 어떻게 사용되고 07:38.490 --> 07:42.510 어떻게 계산되는지에 대해서요 07:42.540 --> 07:50.820 이걸 보면 문제가 발생했을 때 올바른 오픈 소스 모델을 어떻게 선택할지 07:50.820 --> 07:52.800 감이 올 거예요 07:52.830 --> 07:59.340 유용한 순위표를 어떻게 찾고 다양한 지표를 어떻게 해석하고 다양한 모델을 어떻게 순위 07:59.340 --> 08:00.720 매길지 말이죠 08:00.750 --> 08:05.250 다음 시간에는 오픈 소스와 폐쇄 소스를 결합한 리더보드를 살펴보죠