You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

313 lines
8.1 KiB

WEBVTT
00:01.040 --> 00:05.300
여러분이 순위표에 질릴 위험이 있다는 걸 압니다 순위표에
00:05.300 --> 00:12.020
대해 많은 얘기를 나눴는데 벤치마크와 순위표만 보는 데 지쳤을 수도 있어요
00:12.020 --> 00:13.010
다 즐겨찾기 해놨잖아요
00:13.010 --> 00:14.780
Get it, get it, get.라고 생각하죠
00:14.780 --> 00:18.110
LMS를 선택할 때 훌륭한 리소스가 많아요
00:18.110 --> 00:21.590
리더보드를 보고 나서 그렇게 할게요
00:21.590 --> 00:22.280
하지만 그만하죠
00:22.280 --> 00:23.390
순위표는 그만 봐요
00:23.390 --> 00:25.400
잠깐만요, 하나 더 있어요
00:25.400 --> 00:26.480
정말 재미있어요
00:26.480 --> 00:27.770
여러분도 좋아하실 거예요
00:27.800 --> 00:32.390
그러니 순위표는 신경 쓰지 않아도 되겠죠
00:32.390 --> 00:35.240
사실 평범한 순위표는 아니에요
00:35.240 --> 00:38.810
LMS 챗봇 아레나라는 아레나예요
00:38.810 --> 00:43.820
이미 들어봤을 거예요 아주 인기 있고 재미있고 많은 사람이 얘기하니까요
00:43.820 --> 00:48.860
이미 알고 계신다면 조금만 더 기다려 주세요 함께 사용해 보면서 재밌게 해 볼
00:48.860 --> 00:49.610
테니까요
00:49.610 --> 00:57.290
LMS 챗봇 아레나는 아주 인기가 많은데 채팅 능력을 평가하는
00:57.290 --> 01:02.030
참가자들이 모델을 평가하는 곳이죠
01:02.090 --> 01:05.830
크라우드소싱한 오픈 플랫폼이라고 하죠
01:05.830 --> 01:15.760
100만 개가 넘는 인권 투표를 모아 llms의 순위를 매기고 결과를 표시합니다 체스 선수들에게
01:15.790 --> 01:20.440
익숙한 Elo 평가 방식이죠
01:20.440 --> 01:28.360
헤드 라이딩의 결과에 따라 전체 순위표를 평가하는 방식이에요
01:28.720 --> 01:32.410
여기 결과를 좀 보세요
01:32.710 --> 01:45.640
지금부터 살펴볼 것은 1위에 오른 GPT 4의 변종입니다 챗GPT 4라고 하죠 최근에 나온 0개요
01:45.640 --> 01:54.820
이 영상은 2024년 8월 초에 공개됐는데 이전 GPT 4는 순위표에서 조금 더 아래였어요
01:54.850 --> 01:56.170
비트 코어링
01:56.170 --> 02:05.470
하지만 최신식 정교하게 훈련된 모델 챗GPT 4가 Elo 1을 기록하며 이 경기장의
02:05.470 --> 02:10.490
선두를 차지했죠 316번요
02:10.700 --> 02:11.270
02:11.420 --> 02:16.400
여기서 유용한 건 지식이 차단된 부분이 오른쪽에 인용됐다는 거죠
02:16.400 --> 02:20.210
모든 지식을 단절된 곳을 한 군데서 보고 싶다면요
02:20.240 --> 02:26.180
LMS 챗봇 아레나도 좋은 곳이니까 알아두면 좋죠
02:26.210 --> 02:30.860
그게 주요한 이유가 될 의도는 아니었을 거예요 하지만 유용한 정보죠
02:31.490 --> 02:39.770
제미니 1호가 보일 거예요 5프로 이즈는 인체 평가에서 아주 잘하고 있어요
02:40.040 --> 02:49.730
그록 2는 트위터였던 엑스 사의 최신 모델로 현재 강세를 보이고
02:49.730 --> 02:50.600
있죠
02:50.630 --> 02:52.430
그록 1은 잘하지 못했어요
02:52.460 --> 02:54.860
그록 2는 아주 잘하고 있어요
02:55.250 --> 03:01.220
5월 GPT 40 기록을 앞섰어요
03:01.610 --> 03:05.410
네, 맞아요
03:05.410 --> 03:10.310
ELO에서는 차이가 별로 안 나지만 현재 1위인 클로드
03:10.550 --> 03:17.720
3과는 상당히 큰 차이가 있어요 5 소넷은 한때 선두주자였어요
03:17.750 --> 03:27.650
제 기억으로는 출시 당시만 해도요 지금은 거의 6위까지 올라왔고요
03:27.650 --> 03:38.450
여기 아래는 1270이고 위쪽은 1316이에요 GPT 채팅방은 1316이고
03:38.450 --> 03:44.930
그다음은 제미니 1호죠 5 플래시요 물론 좀 더 작은 모델이죠
03:44.930 --> 03:52.610
라마 3이 나오네요 1266에 1억 4,500억 달러요
03:52.820 --> 03:57.140
이 라인업을 보는 게 아주 흥미로워요
03:57.140 --> 03:59.840
좋아하는 모델을 계속 찾을 수 있어요
03:59.840 --> 04:02.570
클로드 3백작은 이 아래에 있어요
04:02.780 --> 04:11.810
그리고 여긴 사용법이 정립된 다양한 챗봇과 채팅하는 경험을 인간이 어떻게 생각하는지
04:11.820 --> 04:17.550
알 수 있는 좋은 곳이에요 Get it
04:17.580 --> 04:23.400
아까 봤던 명령 r이 보일 거예요
04:23.400 --> 04:27.120
명령어 R이 여기 어디 있는 걸 봤어요
04:27.420 --> 04:30.810
그건 스스로 찾아야 해요
04:31.050 --> 04:32.310
이제 못 하겠어요
04:32.310 --> 04:32.940
저기 있네요
04:32.940 --> 04:34.830
커맨드 R 플러스예요
04:34.950 --> 04:37.680
12시 13분이에요
04:37.680 --> 04:41.760
첫째 주에 시작할 때부터 계속 살펴본 부분이에요
04:41.940 --> 04:51.210
여기는 그 유명한 LMS 챗봇 아레나입니다 이 링크를 클릭하면 투표할 수 있어요 그럼
04:51.210 --> 04:53.910
이 투표 화면이 나오죠
04:53.910 --> 04:55.290
이렇게 하는 거예요
04:55.290 --> 04:58.620
모델 A와 B가 두 가지씩 준비돼 있어요. Get it.
04:58.650 --> 05:02.160
누가 누군지 모르고 둘 다와 대화를 해야 해요
05:02.160 --> 05:05.910
우리가 좋아하는 간단한 대화를 해보죠
05:05.940 --> 05:19.930
가벼운 농담 하나 해 주세요 데이터 과학자들이 가득한 방에 어울리는 거로요
05:19.930 --> 05:26.920
두 모델이 동시에 이 질문을 받고 어떻게 대답하는지 보죠
05:26.950 --> 05:31.990
모델 A는 왜 과학자들이 컴퓨터와 분리하는 걸까요?
05:31.990 --> 05:37.270
아무 가치도 없는 가치 때문에 헌신에 문제가 많았거든요
05:37.660 --> 05:43.480
과학적이긴 했지만 재미는 없었어요
05:43.510 --> 05:44.860
재미있었나 보죠
05:45.280 --> 05:47.200
모델 B, 농담 하나 해 주세요
05:47.200 --> 05:48.310
가벼운 농담이 있어요
05:48.310 --> 05:49.990
과학자들은 왜 라이브러리에 가죠?
05:49.990 --> 05:52.720
양이 많다고 들었거든요
05:52.840 --> 05:54.670
네, 꽤 괜찮죠?
05:54.670 --> 05:58.030
그건 이중적 의미의 볼륨을 사용하는 거예요
05:58.030 --> 05:59.050
설명이 나오죠
05:59.080 --> 05:59.770
농담은 간단해요
05:59.770 --> 06:04.540
데이터 과학자들이 좋아하는 말장난이죠 기술적 전문성과 약간의 말장난이 합쳐진
06:04.540 --> 06:05.410
거니까요 비트
06:05.440 --> 06:06.790
튼튼한 것 같아요
06:06.790 --> 06:07.900
탄탄하네요
06:08.140 --> 06:10.630
B가 더 나은 것 같아요
06:10.660 --> 06:12.310
동의하시길 바라요
06:12.340 --> 06:17.560
그게 아니라면 경기장에 들어가서 비슷한 질문을 하고 투표하세요
06:17.560 --> 06:23.570
하지만 제가 여러분을 대신해 투표하겠습니다 B가 더 낫다 버튼을 누르면
06:23.570 --> 06:25.730
모델이 공개될 거예요
06:25.730 --> 06:26.600
어디 보죠
06:26.900 --> 06:34.490
흥미롭게도 클로드 3 하이쿠와 그록 2를 대조했어요
06:34.610 --> 06:39.740
제 기억이 맞는다면 그록 2가 클로드 3 하이쿠보다 훨씬 높았어요
06:39.740 --> 06:45.050
투표를 통해 균형이 약간 흔들린 거죠
06:45.050 --> 06:47.030
즐겁게 보셨길 바라요
06:47.060 --> 06:52.130
물론 비과학적인 방법이긴 하지만 상호 작용에 근거해 인간이 결정해야
06:52.130 --> 06:53.690
한다는 게 핵심이죠
06:53.900 --> 06:57.260
지금 당신에게 필요한 건 가서 이걸 하는 거예요
06:57.290 --> 06:59.270
지역 사회에 다시 기여하는 중요한 방법이죠
06:59.300 --> 07:00.980
사용될 데이터는 데이터죠
07:01.010 --> 07:03.020
게다가 정말 재미있어요
07:03.050 --> 07:09.620
다양한 모델의 기능과 스코프를 알게 되고 직접 체험해 보는 경험을
07:09.620 --> 07:14.630
통해 데이터 과학계에 비트를 더할 수 있죠
07:14.630 --> 07:20.930
챗봇 아레나에서 즐거운 시간 보내시고 다음 시간에는 상업적 용도에 대해 얘기
07:20.930 --> 07:21.710
나누죠