WEBVTT 00:01.040 --> 00:05.300 여러분이 순위표에 질릴 위험이 있다는 걸 압니다 순위표에 00:05.300 --> 00:12.020 대해 많은 얘기를 나눴는데 벤치마크와 순위표만 보는 데 지쳤을 수도 있어요 00:12.020 --> 00:13.010 다 즐겨찾기 해놨잖아요 00:13.010 --> 00:14.780 Get it, get it, get.라고 생각하죠 00:14.780 --> 00:18.110 LMS를 선택할 때 훌륭한 리소스가 많아요 00:18.110 --> 00:21.590 리더보드를 보고 나서 그렇게 할게요 00:21.590 --> 00:22.280 하지만 그만하죠 00:22.280 --> 00:23.390 순위표는 그만 봐요 00:23.390 --> 00:25.400 잠깐만요, 하나 더 있어요 00:25.400 --> 00:26.480 정말 재미있어요 00:26.480 --> 00:27.770 여러분도 좋아하실 거예요 00:27.800 --> 00:32.390 그러니 순위표는 신경 쓰지 않아도 되겠죠 00:32.390 --> 00:35.240 사실 평범한 순위표는 아니에요 00:35.240 --> 00:38.810 LMS 챗봇 아레나라는 아레나예요 00:38.810 --> 00:43.820 이미 들어봤을 거예요 아주 인기 있고 재미있고 많은 사람이 얘기하니까요 00:43.820 --> 00:48.860 이미 알고 계신다면 조금만 더 기다려 주세요 함께 사용해 보면서 재밌게 해 볼 00:48.860 --> 00:49.610 테니까요 00:49.610 --> 00:57.290 LMS 챗봇 아레나는 아주 인기가 많은데 채팅 능력을 평가하는 00:57.290 --> 01:02.030 참가자들이 모델을 평가하는 곳이죠 01:02.090 --> 01:05.830 크라우드소싱한 오픈 플랫폼이라고 하죠 01:05.830 --> 01:15.760 100만 개가 넘는 인권 투표를 모아 llms의 순위를 매기고 결과를 표시합니다 체스 선수들에게 01:15.790 --> 01:20.440 익숙한 Elo 평가 방식이죠 01:20.440 --> 01:28.360 헤드 라이딩의 결과에 따라 전체 순위표를 평가하는 방식이에요 01:28.720 --> 01:32.410 여기 결과를 좀 보세요 01:32.710 --> 01:45.640 지금부터 살펴볼 것은 1위에 오른 GPT 4의 변종입니다 챗GPT 4라고 하죠 최근에 나온 0개요 01:45.640 --> 01:54.820 이 영상은 2024년 8월 초에 공개됐는데 이전 GPT 4는 순위표에서 조금 더 아래였어요 01:54.850 --> 01:56.170 비트 코어링 01:56.170 --> 02:05.470 하지만 최신식 정교하게 훈련된 모델 챗GPT 4가 Elo 1을 기록하며 이 경기장의 02:05.470 --> 02:10.490 선두를 차지했죠 316번요 02:10.700 --> 02:11.270 네 02:11.420 --> 02:16.400 여기서 유용한 건 지식이 차단된 부분이 오른쪽에 인용됐다는 거죠 02:16.400 --> 02:20.210 모든 지식을 단절된 곳을 한 군데서 보고 싶다면요 02:20.240 --> 02:26.180 LMS 챗봇 아레나도 좋은 곳이니까 알아두면 좋죠 02:26.210 --> 02:30.860 그게 주요한 이유가 될 의도는 아니었을 거예요 하지만 유용한 정보죠 02:31.490 --> 02:39.770 제미니 1호가 보일 거예요 5프로 이즈는 인체 평가에서 아주 잘하고 있어요 02:40.040 --> 02:49.730 그록 2는 트위터였던 엑스 사의 최신 모델로 현재 강세를 보이고 02:49.730 --> 02:50.600 있죠 02:50.630 --> 02:52.430 그록 1은 잘하지 못했어요 02:52.460 --> 02:54.860 그록 2는 아주 잘하고 있어요 02:55.250 --> 03:01.220 5월 GPT 40 기록을 앞섰어요 03:01.610 --> 03:05.410 네, 맞아요 03:05.410 --> 03:10.310 ELO에서는 차이가 별로 안 나지만 현재 1위인 클로드 03:10.550 --> 03:17.720 3과는 상당히 큰 차이가 있어요 5 소넷은 한때 선두주자였어요 03:17.750 --> 03:27.650 제 기억으로는 출시 당시만 해도요 지금은 거의 6위까지 올라왔고요 03:27.650 --> 03:38.450 여기 아래는 1270이고 위쪽은 1316이에요 GPT 채팅방은 1316이고 03:38.450 --> 03:44.930 그다음은 제미니 1호죠 5 플래시요 물론 좀 더 작은 모델이죠 03:44.930 --> 03:52.610 라마 3이 나오네요 1266에 1억 4,500억 달러요 03:52.820 --> 03:57.140 이 라인업을 보는 게 아주 흥미로워요 03:57.140 --> 03:59.840 좋아하는 모델을 계속 찾을 수 있어요 03:59.840 --> 04:02.570 클로드 3백작은 이 아래에 있어요 04:02.780 --> 04:11.810 그리고 여긴 사용법이 정립된 다양한 챗봇과 채팅하는 경험을 인간이 어떻게 생각하는지 04:11.820 --> 04:17.550 알 수 있는 좋은 곳이에요 Get it 04:17.580 --> 04:23.400 아까 봤던 명령 r이 보일 거예요 04:23.400 --> 04:27.120 명령어 R이 여기 어디 있는 걸 봤어요 04:27.420 --> 04:30.810 그건 스스로 찾아야 해요 04:31.050 --> 04:32.310 이제 못 하겠어요 04:32.310 --> 04:32.940 저기 있네요 04:32.940 --> 04:34.830 커맨드 R 플러스예요 04:34.950 --> 04:37.680 12시 13분이에요 04:37.680 --> 04:41.760 첫째 주에 시작할 때부터 계속 살펴본 부분이에요 04:41.940 --> 04:51.210 여기는 그 유명한 LMS 챗봇 아레나입니다 이 링크를 클릭하면 투표할 수 있어요 그럼 04:51.210 --> 04:53.910 이 투표 화면이 나오죠 04:53.910 --> 04:55.290 이렇게 하는 거예요 04:55.290 --> 04:58.620 모델 A와 B가 두 가지씩 준비돼 있어요. Get it. 04:58.650 --> 05:02.160 누가 누군지 모르고 둘 다와 대화를 해야 해요 05:02.160 --> 05:05.910 우리가 좋아하는 간단한 대화를 해보죠 05:05.940 --> 05:19.930 가벼운 농담 하나 해 주세요 데이터 과학자들이 가득한 방에 어울리는 거로요 05:19.930 --> 05:26.920 두 모델이 동시에 이 질문을 받고 어떻게 대답하는지 보죠 05:26.950 --> 05:31.990 모델 A는 왜 과학자들이 컴퓨터와 분리하는 걸까요? 05:31.990 --> 05:37.270 아무 가치도 없는 가치 때문에 헌신에 문제가 많았거든요 05:37.660 --> 05:43.480 과학적이긴 했지만 재미는 없었어요 05:43.510 --> 05:44.860 재미있었나 보죠 05:45.280 --> 05:47.200 모델 B, 농담 하나 해 주세요 05:47.200 --> 05:48.310 가벼운 농담이 있어요 05:48.310 --> 05:49.990 과학자들은 왜 라이브러리에 가죠? 05:49.990 --> 05:52.720 양이 많다고 들었거든요 05:52.840 --> 05:54.670 네, 꽤 괜찮죠? 05:54.670 --> 05:58.030 그건 이중적 의미의 볼륨을 사용하는 거예요 05:58.030 --> 05:59.050 설명이 나오죠 05:59.080 --> 05:59.770 농담은 간단해요 05:59.770 --> 06:04.540 데이터 과학자들이 좋아하는 말장난이죠 기술적 전문성과 약간의 말장난이 합쳐진 06:04.540 --> 06:05.410 거니까요 비트 06:05.440 --> 06:06.790 튼튼한 것 같아요 06:06.790 --> 06:07.900 탄탄하네요 06:08.140 --> 06:10.630 B가 더 나은 것 같아요 06:10.660 --> 06:12.310 동의하시길 바라요 06:12.340 --> 06:17.560 그게 아니라면 경기장에 들어가서 비슷한 질문을 하고 투표하세요 06:17.560 --> 06:23.570 하지만 제가 여러분을 대신해 투표하겠습니다 B가 더 낫다 버튼을 누르면 06:23.570 --> 06:25.730 모델이 공개될 거예요 06:25.730 --> 06:26.600 어디 보죠 06:26.900 --> 06:34.490 흥미롭게도 클로드 3 하이쿠와 그록 2를 대조했어요 06:34.610 --> 06:39.740 제 기억이 맞는다면 그록 2가 클로드 3 하이쿠보다 훨씬 높았어요 06:39.740 --> 06:45.050 투표를 통해 균형이 약간 흔들린 거죠 06:45.050 --> 06:47.030 즐겁게 보셨길 바라요 06:47.060 --> 06:52.130 물론 비과학적인 방법이긴 하지만 상호 작용에 근거해 인간이 결정해야 06:52.130 --> 06:53.690 한다는 게 핵심이죠 06:53.900 --> 06:57.260 지금 당신에게 필요한 건 가서 이걸 하는 거예요 06:57.290 --> 06:59.270 지역 사회에 다시 기여하는 중요한 방법이죠 06:59.300 --> 07:00.980 사용될 데이터는 데이터죠 07:01.010 --> 07:03.020 게다가 정말 재미있어요 07:03.050 --> 07:09.620 다양한 모델의 기능과 스코프를 알게 되고 직접 체험해 보는 경험을 07:09.620 --> 07:14.630 통해 데이터 과학계에 비트를 더할 수 있죠 07:14.630 --> 07:20.930 챗봇 아레나에서 즐거운 시간 보내시고 다음 시간에는 상업적 용도에 대해 얘기 07:20.930 --> 07:21.710 나누죠