WEBVTT 00:01.220 --> 00:07.160 다시 리더보드 페스티벌입니다 리더보드를 더 살펴보죠 00:07.160 --> 00:13.490 하지만 이번에는 상위 리더보드에서 믹스 오픈 소스와 비공개 소스 모델을 함께 00:13.490 --> 00:15.080 가지고 올 거예요. 00:15.080 --> 00:18.650 밖에서 얼굴이나 안아주고요 00:18.650 --> 00:21.440 이제 포옹은 안 할 거예요 00:21.440 --> 00:27.200 첫 번째 리더보드를 보여드릴게요 이것도 분명히 여러분 책갈피에 들어갈 00:27.200 --> 00:29.780 거예요 피지 리더보드죠 00:29.780 --> 00:31.760 과거에 잠깐 언급한 적이 있죠 00:31.940 --> 00:40.520 피지 인공지능 회사는 LM 종사자들을 위한 필수 자료를 발표했고 페이지 맨 위에 있는 00:40.520 --> 00:43.310 다른 모델을 비교했어요 00:43.310 --> 00:49.910 비교 차트가 있는데 기본 벤치마크에 관한 거죠 요즘엔 쉬운 벤치마크예요 00:49.970 --> 00:56.150 MLU는 추론이고 Pro는 아니고 기본 수치예요 소금 한 꼬집이지만 00:56.150 --> 00:59.240 여전히 많이 인용되죠 00:59.420 --> 01:02.480 파이썬 코딩과 수학에 대한 인간 평가예요 01:02.810 --> 01:08.240 여기서 보시는 건 일반적으로 비공개 소스 모델입니다 여러분이 잘 알고 01:08.240 --> 01:14.000 사랑하는 GPT 4, 소넷 3처럼요 5번 소네트와 GPT 터보 그리고 4번요 01:14.030 --> 01:15.140 저것 좀 보세요 01:15.140 --> 01:20.540 혼합물에 llama 3 형태의 오픈 소스 모델이 있어요 1분 4초 5억 5천만 달러요 01:20.570 --> 01:24.500 지구상에서 가장 큰 오픈 소스 모델이죠 01:24.500 --> 01:32.300 보다시피 일부 비공개 소스 모델과 호의적으로 경쟁하고 있어요 01:32.540 --> 01:39.590 현재 가장 강력한 팀이 선두를 달리고 있습니다 GPT 40, MLU가 01:39.590 --> 01:42.410 압도적으로 앞섰죠 01:42.410 --> 01:47.780 하지만 라마는 405B에 살짝 뒤처져 있어요 01:47.840 --> 01:50.000 다들 막상막하예요 01:50.000 --> 01:50.720 정말요? 01:50.750 --> 01:57.740 라마는 40억 혹은 50억 개로 오픈 소스 모델이 강력한 경쟁자죠 01:58.280 --> 02:02.900 코딩을 할 때는 이 순서가 보이시죠 02:02.900 --> 02:12.050 3항을 보세요 5 소네트가 선두 그다음은 GPT 405 그 뒤는 라마 405 미니 02:12.050 --> 02:14.150 버전 GPT 405가 3위죠 02:14.330 --> 02:17.930 얼마 안 되는 것 같아요 훨씬 저렴하니까요 02:18.170 --> 02:20.420 GPT 터보도 있죠 02:20.990 --> 02:28.610 GPT 수학 문제 순위표입니다 GPT는 4-0이었고 그 뒤에는 라마가 4,050억 02:28.610 --> 02:35.300 달러였죠 그 뒤로는 다른 순위표들이 나왔고 클로드가 4위를 차지했어요 02:35.300 --> 02:41.570 그런 톱모델을 위해 아주 유용한 실적 차트를 보여드릴게요 02:41.810 --> 02:47.270 얼굴 안기 때 봤던 다차원 차트보다 해석하기가 좀 더 쉽죠 물론 비트는 02:47.300 --> 02:48.620 더 적지만요 02:48.800 --> 02:57.020 속도 측면에서 보면 초당 토큰으로 토큰을 가장 빨리 생성하는 건 라마다 80억 오픈 02:57.050 --> 02:59.060 소스 모델이에요 02:59.060 --> 03:05.780 당연하죠, 매개 변수가 적을수록 작업량도 less니까요 그러니 이해할 가치가 있죠 03:05.810 --> 03:06.500 네 03:06.530 --> 03:07.310 그렇군요 03:07.340 --> 03:07.520 그래서요? 03:07.520 --> 03:13.160 최대한 일관되게 달리려고 노력하는 게 중요해요 03:13.160 --> 03:16.040 비트에 대한 정보가 조금 더 설명해줘요 03:16.160 --> 03:23.060 라마 8 다음은 더 큰 모델인 라마 70 그리고 제미니 1호예요 5번 섬광이에요 03:23.120 --> 03:26.480 클로드, 하이쿠 3개 GPT 4개요 03:26.510 --> 03:28.070 미니예요 03:28.070 --> 03:29.060 미니 변형요 03:29.060 --> 03:32.270 작은 모델이 더 빠르죠 03:32.270 --> 03:33.950 놀랍지도 않네요 03:34.220 --> 03:36.020 대기 시간 때문에요 03:36.050 --> 03:42.830 첫 번째 토큰이 도착하기까지 남은 시간을 의미하죠 03:42.860 --> 03:44.480 그걸 포착하는 좋은 방법이죠 03:44.480 --> 03:49.730 아까 말씀드렸던 걸 설명하기에 좋은 방법이네요 기본 속성에 대한 대기 시간을 보여드렸을 때요 03:49.730 --> 03:55.910 작은 모델도 빠르게 반응하는 게 놀랍지 않죠 03:55.970 --> 04:01.970 GPT 4는 놀랍게도 4보다 대기 시간이 개선됐어요 04:02.010 --> 04:02.280 0명요 04:02.310 --> 04:08.070 하드웨어 셋업과 관련 있는 게 많아요 04:08.070 --> 04:10.170 잘은 모르지만 둘이 친해요 04:10.740 --> 04:17.730 가장 싼 모델은 백만 달러당 달러로 계산하죠 04:17.730 --> 04:25.080 라마 80억 달러는 제미니 1호에서 가장 싼 가격에 나온 거예요 5 플래시도 잘 팔리고 GPT 4와 미니는 물론 아주 저렴하죠 04:25.080 --> 04:34.950 클로드 3 하이쿠와 GPT 3도 있어요 5 터보로 바꿨죠 04:34.950 --> 04:40.890 두 개의 다른 막대로서 보여지고 있습니다 하나는 입력 비용, 하나는 출력 비용이죠 04:41.190 --> 04:48.000 두 모델을 비교할 수 있는 상호 작용적 기능이 있어요 다른 측정법에 따라 04:48.000 --> 04:50.190 나란히 볼 수 있죠 04:50.190 --> 04:56.430 이건 클로드 3점 아니, 클로드 3점이에요 GPT 4에 맞서는 클로드 3집이에요 04:56.460 --> 05:04.320 비트를 좀 바꿔서 픽 3을 선택해 보죠 소네트 5번과 GPT 4번요 05:04.350 --> 05:07.200 우리가 보고 싶어 하는 얼굴이죠 05:07.680 --> 05:09.900 자, 시작하죠 05:10.140 --> 05:14.910 두 사람이 막상막하인 것처럼 보여요 05:14.940 --> 05:15.750 뭐라는 거예요? 05:15.780 --> 05:22.650 88살요 클로드는 3%고요 5살, 88살요 GPT 4는 7%예요 05:22.680 --> 05:22.920 네 05:22.950 --> 05:28.080 클로드가 코딩을 더 잘하는 이유가 GPT 4 때문이군요 05:28.080 --> 05:32.820 클로드는 계산을 더 잘하지만 도구 사용은 형편없어요 05:32.940 --> 05:36.540 2주 차에 겪은 일요 05:36.660 --> 05:41.580 클로드가 더 잘해요 다국어를 잘하는 클로드 05:41.580 --> 05:43.320 정말 좋아요 05:43.320 --> 05:48.120 이렇게 모델을 나란히 비교할 수 있다니 흥미롭네요 05:48.390 --> 05:54.840 이 테이블에는 여러 모델이 한 줄씩 있어요 05:54.870 --> 06:01.290 클로드 3 같은 비공개 소스의 모델을 볼 수 있어요 5 소네트요 06:01.290 --> 06:06.720 평균 점수와 비교해서 1위에 오른 선수는 바로 이 선수예요 06:06.870 --> 06:12.570 다시 MLU를 보고 계시는데요 모든 점수가 아주 좋은 수치예요 06:12.990 --> 06:18.000 파이썬에 대한 인간 평가 지표에서 얘기했던 거죠 06:18.000 --> 06:25.620 이게 제가 말씀드린 벤치마크입니다 모델의 능력 이상의 미래 역량을 시험하기 06:25.620 --> 06:28.290 위해 고안된 벤치마크죠 06:28.380 --> 06:36.480 이 클라우드 스리를 보면 믿겨지세요? 5점, 소네트가 벌써 93점을 득점했어요 B 하드에서 1%로 향후 06:36.570 --> 06:41.580 역량을 평가하는 기준이 아니라는 뜻이죠 06:41.580 --> 06:43.680 현재의 기능이라고 할 수 있죠 06:43.680 --> 06:46.500 클라우드 스리도요 5번 소네트가 끝내줬어요 06:46.980 --> 06:51.390 초등학교 수학이랑 더 어려운 수학 문제요 06:51.420 --> 06:57.870 여기 보시면 다양한 모델에서 나온 결과가 있어요 06:57.870 --> 07:03.180 앞서 제가 좀 아리송한 걸 언급했는데요 클라우드 3 비트는 5분 07:03.210 --> 07:06.210 소네트가 클로드 3세보다 잘하네요 07:06.240 --> 07:07.230 오퍼스요 07:07.320 --> 07:16.590 클로드 3권은 여전히 API로도 제공되고 가격도 3백 달러가 훨씬 넘어요 07:16.590 --> 07:16.590 5 소네트요 07:16.800 --> 07:20.010 왜 클로드를 골랐는지 모르겠어요 07:20.040 --> 07:23.700 3부작 이상이에요 특별한 게 없다면 소네트 5편요 07:23.730 --> 07:29.100 논리에 관한 문제라면 클로드 3집이 더 잘했네요 07:29.100 --> 07:33.840 어떤 면에서는 더 잘 팔리지만 추가 가격 포인트를 받을 가치가 있는지는 07:33.840 --> 07:35.340 모르겠어요 07:36.210 --> 07:43.560 그리고 라마가 이 비교 모델에 등장하는 것도 보실 수 있어요 07:43.560 --> 07:49.530 라마 4,050억 달러는 안 보이네요 상상이 안 돼요 07:49.530 --> 07:56.310 아직 라마 4의 모든 검사를 수행하지 못했기 때문이죠 50억 달러요, 왜냐하면 07:56.310 --> 08:04.350 700억 라마 3 변종보다 훨씬 뛰어나다고 상상할 수 있거든요 08:06.120 --> 08:06.840 네 08:07.710 --> 08:13.590 이 테이블로 내려오면 전에 보여드린 건데요 08:13.590 --> 08:18.300 다양한 모델을 볼 수 있는 유일한 장소예요 08:18.330 --> 08:22.920 컨텍스트, 창 크기, 입력 및 출력 토큰 당 비용은 얼마일까요? 08:22.920 --> 08:32.310 물론 데이터가 있는 모델을 비교하는 거지만 굉장히 08:32.310 --> 08:34.140 유용해요 08:34.140 --> 08:41.400 온라인에서 여러 페이지를 찾아볼 수도 있고 여기 와서 한곳에 다 볼 수도 있어요 08:41.400 --> 08:45.120 그래서 책갈피에 적어두셔야 해요 08:45.120 --> 08:52.410 제미니 1호를 강조하죠 5번 플래시는 백만 가지 문맥을 보여주는 놀라운 창이 있죠 08:52.410 --> 08:59.250 일반적인 영어로는 750,000단어 정도 됩니다 셰익스피어 작품의 08:59.280 --> 09:03.190 거의 전부죠 문맥상 아주 큰 창이에요 09:03.670 --> 09:06.010 클로드 가족은 200,000살이에요 09:06.040 --> 09:09.250 GPT 가족은 128,000살이었죠 09:09.280 --> 09:15.400 제미니 1호의 백만 대에 비하면 다소 적은 숫자죠 5번 섬광이에요 09:15.400 --> 09:23.080 하지만 컨텍스트 창에서 소화해야 할 정보가 여전히 많아요 좋은 반응도 09:23.080 --> 09:24.220 주고요 09:24.430 --> 09:24.940 네 09:24.970 --> 09:28.930 오픈 소스 모델도 보이실 거예요 09:28.930 --> 09:36.640 혼합 평가판과 컨텍스트 창의 크기가 보입니다 llama 3 모델은 8000 토큰 컨텍스트 창을 가지고 09:36.640 --> 09:37.660 있네요 09:37.660 --> 09:43.660 오픈 소스 모델과 비공개 소스 모델을 비교할 때 명심할 가치가 있어요 09:43.660 --> 09:49.930 이런 거대한 컨텍스트 창문이 필요하다면 비공개 소스 경로로 가야겠죠 09:52.120 --> 10:00.100 코딩 리더보드가 있는데 사람 평가를 비교할 수 있어요 그게 피지 10:00.130 --> 10:04.870 웹페이지의 리더보드를 마무리하죠 10:04.870 --> 10:06.370 한 명 더 있어요 10:06.400 --> 10:14.020 비즈니스 사이트들인데 실 리더보드라고 해요 스케일이라는 회사에서 제공하죠 10:14.020 --> 10:18.730 컴 앤 스케일의 전문 분야는 맞춤형 데이터 세트 생성이죠 10:18.820 --> 10:26.080 특정 문제를 작업 중이라면 자신의 문제에 맞는 데이터 세트를 제작하고 큐레이팅해야 합니다 10:26.080 --> 10:30.550 스케일 컴이 비즈니스를 하는 게 바로 그런 거죠 10:30.760 --> 10:38.290 데이터 발생기를 사용할 수 없다면 지난주 과제의 일부로 만든 것이길 바라요 10:38.350 --> 10:46.720 이 leaderboard에는 여러 가지 작업에 대한 아주 구체적인 leaderboard가 있어요 10:46.750 --> 10:53.890 그리고 대립적 견고성에 관한 것도 있습니다 이 강의에서 잘 설명했듯이 시험 10:53.920 --> 11:02.230 학습 프롬프트에 대한 것도 큰 언어 모델에서 해로운 반응을 촉발하도록 설계됐죠 11:02.230 --> 11:08.800 그래서 문제가 되는 질문의 구체적인 예가 있어요 11:08.920 --> 11:12.790 예를 들어, 당신이∙∙∙ 미안해요, 일부러 그런 건 아니에요 11:12.790 --> 11:20.290 예를 들어 이걸 항공사 고객 지원 챗봇으로 나타내고 싶다면 11:20.290 --> 11:27.580 이게 궤도를 벗어나거나 뭔가 크게 잘못되지 않도록 한다는 11:27.580 --> 11:31.210 걸 명심해야 해요 11:31.210 --> 11:34.090 그 목적을 위한 유용한 벤치마크죠 11:34.090 --> 11:41.800 코딩은 코딩 기술의 더 상세한 척도를 제공합니다 클로드 3을 보세요 소네트 5편이 길을 인도하죠 11:41.980 --> 11:46.930 미스트랄도 마찬가지로 닫힌 소스와 오픈 소스를 결합한 회로죠 11:46.930 --> 11:57.130 미스트랄 라지 투가 3위 안에 들어요 오픈 소스로서 참가 강좌죠 여기 11:57.310 --> 12:04.780 보시면 라마 3이 있어요 1억 4,500억 달러요 12:04.810 --> 12:07.570 지시를 따르지 않고도 이를 시험할 수 있었죠 12:07.570 --> 12:09.130 2위에 올랐죠 12:09.130 --> 12:11.140 GPT 40보다 앞섰어요 12:11.320 --> 12:14.110 클로드 3호 바로 뒤예요 5 소네트요 12:14.290 --> 12:21.010 오픈 소스 세계와 메타에 있어서 놀라운 결과입니다 2위를 차지했어요 12:21.250 --> 12:23.230 수학 문제도 풀었고요 12:23.260 --> 12:30.280 라마 3요 1 405 B가 3위 GPT 40, 2위는 클로드 3이죠 5분 12:30.310 --> 12:33.490 소네트가 수학을 이끌고 있어요 12:33.610 --> 12:40.570 스페인어 순위표도 있어요 여기 결과를 보여주죠 12:40.660 --> 12:47.980 오픈 소스의 선두 주자 미스트랄은 4위입니다 GPT가 4위인 가운데 선두를 달리고 12:47.980 --> 12:48.790 있죠 12:49.000 --> 12:55.450 Qxl도요 비즈니스 특정 리더보드를 늘 추가하고 있어요 12:55.450 --> 13:03.700 다시 돌아와서 추가된 다른 것이 있는지 보고 비즈니스 문제에 대한 보다 구체적인 leaderboard를 위한 훌륭한 리소스로 13:03.700 --> 13:05.020 이걸 사용하세요