You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

274 lines
8.5 KiB

WEBVTT
00:00.620 --> 00:08.900
네, 순위표에 오신 걸 환영합니다 여러분의 컬렉션에 필요한 필수 순위표를 살펴보고 있는데요
00:08.900 --> 00:13.160
그 중 첫 번째는 빅 코드 모델의 leaderboard죠
00:13.430 --> 00:18.440
URL 보이시죠? 하지만 안는 얼굴에서 검색할 수도 있어요
00:18.590 --> 00:23.600
다른 것들처럼 스페이스 앱으로 실행되고 있어요
00:23.600 --> 00:27.920
클래스 리소스에 링크도 포함시킬 거예요
00:28.070 --> 00:34.430
여기 보시는 건 모형 세트예요
00:34.430 --> 00:36.890
베이스 모델에서 필터링부터 할게요
00:36.890 --> 00:39.590
우리 모두 아는 이름이죠
00:39.590 --> 00:47.900
그리고 점수를 보면 앞서 언급했던 인체 평가 시험 세트인 파이썬 테스트와
00:47.900 --> 00:53.360
자바스크립트 테스트 C 플러스 테스트가 있죠
00:53.360 --> 00:59.930
이 모델의 성능을 다른 프로그래밍 언어와 비교할 수 있어요
00:59.930 --> 01:05.180
승률은 전체의 평균과 비슷하다고 할 수 있죠
01:05.180 --> 01:12.410
get each 페이지로 가시면 더 많은 정보를 얻을 수 있습니다. 이 열을 계산하는
01:12.410 --> 01:19.820
방식을 보면 코딩의 가장 윗부분이 코드를 작성하기 위한 퀸의 특수 버전인 것을 볼 수 있습니다.
01:19.820 --> 01:23.570
이것을 코드 퀸이라고 부르죠.
01:23.570 --> 01:27.740
근처에 라마 코드도 있어요
01:27.860 --> 01:31.340
심해 코더는 아주 잘 나가는 모델이에요
01:31.460 --> 01:34.610
코드 라마의 변종이죠
01:34.610 --> 01:39.800
스타 코더 2는 초기에 우리가 사용한 모델이죠
01:39.860 --> 01:43.160
스타 코더 2의 기능도 여기 있고요
01:43.340 --> 01:48.110
다음은 코드 젬마 구글의 오픈 소스 코드 생성 모델이죠
01:48.110 --> 01:54.680
전부를 포함하면 좀 더 구체적인 데이터 세트에 맞춰 조정된 일부도
01:54.680 --> 01:56.690
포함할 거예요
01:56.690 --> 02:01.190
점수를 비교해 보면 알 수 있어요
02:01.400 --> 02:09.470
요즘 코드는 훨씬 더 낮아졌고 많은 것들이 더 잘 튜닝되었어요
02:09.590 --> 02:19.190
좀 놀랍지만 코드 콴 1이에요 채팅 5개가 1을 능가하는 것 같아요 여기에는 50억 70억 명이 있어요
02:19.190 --> 02:23.480
하지만 여러 가지 이유가 있을 수 있죠
02:23.480 --> 02:28.400
그 목적으로 데이터를 훈련하는 데 사용된 방식 때문일 수도 있고 여기서
02:28.400 --> 02:31.010
제기되는 질문 때문일 수도 있어요
02:31.100 --> 02:37.670
여러분이 풀어야 할 문제가 대형 코드 모델 코딩과 관련 있다면 leaderboard가
02:37.670 --> 02:39.200
딱이죠
02:39.980 --> 02:45.380
다음은 LM 향기 리더보드입니다 속도나 메모리 소비량
02:45.380 --> 02:51.050
같은 것에 관련된 다양한 모델의 성능을 살펴보는 거죠
02:51.080 --> 02:57.170
leaderboard를 보면 다양한 변형이 있는 모델들이 나와 있습니다
02:57.170 --> 03:02.570
속도, 에너지 소비량 메모리 사용량 등 정보도 있고요
03:02.570 --> 03:10.310
하지만 제가 권하고 싶은 것은 그 페이지에서 시작하지 말고 이 페이지로 넘어가서
03:10.340 --> 03:16.340
최고의 모델을 찾는 것입니다. 당신이 보고 있는 하드웨어 구조를
03:16.340 --> 03:22.640
선택하고, 최고의 모델을 고릅니다. 여기 보이는 것은 매우 흥미로운
03:22.640 --> 03:32.090
도표입니다. 다이어그램으로 적어도 세 가지의 양을 보여주고 있죠.
03:32.120 --> 03:35.930
그렇지 않다면 엑스 축을 따라야겠죠
03:35.930 --> 03:38.360
여기서 속도에 대한 뭔가를 보게 되죠
03:38.360 --> 03:42.650
이 모델이 토큰 64개를 생성하는 데 걸리는 시간이죠
03:42.650 --> 03:45.530
왼쪽으로 더 기울일수록 좋아요
03:45.530 --> 03:47.420
시간이 단축되니까요
03:47.420 --> 03:54.110
왼쪽으로 오는 모델을 찾고 있어요 성능, 속도, 성능에 신경 쓴다면요
03:54.140 --> 03:59.450
정확성에 신경 쓰신다면, 성능에 신경 쓰신다면 합계를 이용하실 수 있어요
03:59.480 --> 04:07.500
오픈 LM 점수요 모델 정확도의 척도로써의 총점이죠
04:07.680 --> 04:14.760
메모리 공간 측면에서 비용을 고려하고 이 모델을 실행하기 위해 필요한 하드웨어의
04:14.760 --> 04:19.890
크기를 고려한다면 blob의 크기를 봐야 해요
04:19.920 --> 04:27.480
큰 덩어리는 더 많은 메모리 수요를 나타내요 여러분이 필요한 게 뭔지 감을 잡게 해주죠
04:27.480 --> 04:34.620
저희가 찾는 모델은 작은 점으로 왼쪽 위쪽에 있는 게 이상적이죠
04:34.620 --> 04:39.720
높은 곳만 아니면 좋은 결과가 나올 거예요
04:39.720 --> 04:44.820
특히 이런 모델이 아주 잘 되고 있는 걸 볼 수 있어요 Quan the Quan
04:44.850 --> 04:47.040
1이죠 5가지 변형이 있어요
04:47.130 --> 04:53.250
여길 보시면 가장 신경 쓰이는 건 성능이 뛰어나고
04:53.250 --> 04:59.820
정확하며 벤치마킹 점수 면에서 빠른 기술이죠
05:00.090 --> 05:06.720
그리고 이 제품으로 오세요 라마 라마 3 모델이에요
05:07.050 --> 05:11.970
여기서 마지막 요점이 등장합니다 이 도표에 표현된 또
05:11.970 --> 05:17.340
다른 정보는 모델의 가족인데 비트의 색깔로 표현되죠
05:17.340 --> 05:25.830
여기 보시면 노란색은 파이나 훈련을 받은 모델이란 뜻이에요
05:25.830 --> 05:29.250
저기 노란색 파이 모델이 보일 거예요
05:29.610 --> 05:36.900
속도와 정확도, 메모리 풋프린트의 양면성에 있어서 오픈 소스 모델의
05:36.900 --> 05:43.290
실행 비용에 영향을 미칠 텐데 이건 환상적인 리소스예요
05:43.290 --> 05:51.330
leaderboard를 눌러보세요. 여기로 오세요. 항상 당신의 가장 좋은 모델 찾기 탭을 누르세요.
05:51.330 --> 05:55.020
그리고 당신의 옵션이 뭔지 살펴보세요.
05:55.020 --> 06:01.260
예를 들어 T4 하드웨어를 이야기할 때 T4 탭으로 가서 어떤
06:01.260 --> 06:04.320
옵션이 있는지 볼 수 있어요
06:04.320 --> 06:08.400
보세요, 01I 청음이에요
06:08.430 --> 06:10.560
콴은 잘 지내고 있나요?
06:10.830 --> 06:17.250
다른 모델도 볼 수 있어요 사용 사례에 따라 가장 적절한 모델이죠
06:19.140 --> 06:26.040
제가 말씀드리고 싶은 것은 빈 공간이 있는데 빈 공간으로 가서 leaderboard를
06:26.040 --> 06:27.540
검색할 수 있어요
06:27.540 --> 06:32.670
여기서 한 건 공간에서 leaderboard를 검색한 것뿐입니다
06:32.670 --> 06:41.340
다양한 leaderboard를 볼 수 있죠 LMS 벤치마크에 대한 보다 상세한 정보를 볼 수 있어요
06:41.610 --> 06:48.780
여기 있는 정보의 양에 압도되지 않으셨다면 제가 조금 전에 언급한 이 다양한 leaderboard를 보는
06:48.810 --> 06:51.420
데에 아주 훌륭한 유틸리티가 있어요
06:51.420 --> 06:53.370
포르투갈이 집중해서 순위를 매기고 있어요
06:53.370 --> 07:00.840
많은 언어가 독자적인 순위표를 갖고 있어요 능력을 평가하기 위해서요
07:00.840 --> 07:03.390
오픈 메디컬 리더보드를 언급했죠
07:03.390 --> 07:10.350
이걸 띄워 보면 여러 의학적 벤치마크가 있습니다 임상 지식, 대학
07:10.350 --> 07:17.520
생물학 의학 유전학, 그리고 퍼브메드 QA 같은 것들이죠
07:17.610 --> 07:22.230
의학 모델과 비교해서 점수를 매겨요
07:22.230 --> 07:29.280
의료 유스 케이스용으로 설계된 솔루션을 개발하려 한다면 바로 이 순위표를
07:29.280 --> 07:31.050
봐야 해요
07:31.260 --> 07:38.490
어바웃 페이지는 추가 정보를 제공합니다 데이터 집합과 어떻게 사용되고
07:38.490 --> 07:42.510
어떻게 계산되는지에 대해서요
07:42.540 --> 07:50.820
이걸 보면 문제가 발생했을 때 올바른 오픈 소스 모델을 어떻게 선택할지
07:50.820 --> 07:52.800
감이 올 거예요
07:52.830 --> 07:59.340
유용한 순위표를 어떻게 찾고 다양한 지표를 어떻게 해석하고 다양한 모델을 어떻게 순위
07:59.340 --> 08:00.720
매길지 말이죠
08:00.750 --> 08:05.250
다음 시간에는 오픈 소스와 폐쇄 소스를 결합한 리더보드를 살펴보죠