From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
313 lines
8.1 KiB
313 lines
8.1 KiB
WEBVTT |
|
|
|
00:01.040 --> 00:05.300 |
|
여러분이 순위표에 질릴 위험이 있다는 걸 압니다 순위표에 |
|
|
|
00:05.300 --> 00:12.020 |
|
대해 많은 얘기를 나눴는데 벤치마크와 순위표만 보는 데 지쳤을 수도 있어요 |
|
|
|
00:12.020 --> 00:13.010 |
|
다 즐겨찾기 해놨잖아요 |
|
|
|
00:13.010 --> 00:14.780 |
|
Get it, get it, get.라고 생각하죠 |
|
|
|
00:14.780 --> 00:18.110 |
|
LMS를 선택할 때 훌륭한 리소스가 많아요 |
|
|
|
00:18.110 --> 00:21.590 |
|
리더보드를 보고 나서 그렇게 할게요 |
|
|
|
00:21.590 --> 00:22.280 |
|
하지만 그만하죠 |
|
|
|
00:22.280 --> 00:23.390 |
|
순위표는 그만 봐요 |
|
|
|
00:23.390 --> 00:25.400 |
|
잠깐만요, 하나 더 있어요 |
|
|
|
00:25.400 --> 00:26.480 |
|
정말 재미있어요 |
|
|
|
00:26.480 --> 00:27.770 |
|
여러분도 좋아하실 거예요 |
|
|
|
00:27.800 --> 00:32.390 |
|
그러니 순위표는 신경 쓰지 않아도 되겠죠 |
|
|
|
00:32.390 --> 00:35.240 |
|
사실 평범한 순위표는 아니에요 |
|
|
|
00:35.240 --> 00:38.810 |
|
LMS 챗봇 아레나라는 아레나예요 |
|
|
|
00:38.810 --> 00:43.820 |
|
이미 들어봤을 거예요 아주 인기 있고 재미있고 많은 사람이 얘기하니까요 |
|
|
|
00:43.820 --> 00:48.860 |
|
이미 알고 계신다면 조금만 더 기다려 주세요 함께 사용해 보면서 재밌게 해 볼 |
|
|
|
00:48.860 --> 00:49.610 |
|
테니까요 |
|
|
|
00:49.610 --> 00:57.290 |
|
LMS 챗봇 아레나는 아주 인기가 많은데 채팅 능력을 평가하는 |
|
|
|
00:57.290 --> 01:02.030 |
|
참가자들이 모델을 평가하는 곳이죠 |
|
|
|
01:02.090 --> 01:05.830 |
|
크라우드소싱한 오픈 플랫폼이라고 하죠 |
|
|
|
01:05.830 --> 01:15.760 |
|
100만 개가 넘는 인권 투표를 모아 llms의 순위를 매기고 결과를 표시합니다 체스 선수들에게 |
|
|
|
01:15.790 --> 01:20.440 |
|
익숙한 Elo 평가 방식이죠 |
|
|
|
01:20.440 --> 01:28.360 |
|
헤드 라이딩의 결과에 따라 전체 순위표를 평가하는 방식이에요 |
|
|
|
01:28.720 --> 01:32.410 |
|
여기 결과를 좀 보세요 |
|
|
|
01:32.710 --> 01:45.640 |
|
지금부터 살펴볼 것은 1위에 오른 GPT 4의 변종입니다 챗GPT 4라고 하죠 최근에 나온 0개요 |
|
|
|
01:45.640 --> 01:54.820 |
|
이 영상은 2024년 8월 초에 공개됐는데 이전 GPT 4는 순위표에서 조금 더 아래였어요 |
|
|
|
01:54.850 --> 01:56.170 |
|
비트 코어링 |
|
|
|
01:56.170 --> 02:05.470 |
|
하지만 최신식 정교하게 훈련된 모델 챗GPT 4가 Elo 1을 기록하며 이 경기장의 |
|
|
|
02:05.470 --> 02:10.490 |
|
선두를 차지했죠 316번요 |
|
|
|
02:10.700 --> 02:11.270 |
|
네 |
|
|
|
02:11.420 --> 02:16.400 |
|
여기서 유용한 건 지식이 차단된 부분이 오른쪽에 인용됐다는 거죠 |
|
|
|
02:16.400 --> 02:20.210 |
|
모든 지식을 단절된 곳을 한 군데서 보고 싶다면요 |
|
|
|
02:20.240 --> 02:26.180 |
|
LMS 챗봇 아레나도 좋은 곳이니까 알아두면 좋죠 |
|
|
|
02:26.210 --> 02:30.860 |
|
그게 주요한 이유가 될 의도는 아니었을 거예요 하지만 유용한 정보죠 |
|
|
|
02:31.490 --> 02:39.770 |
|
제미니 1호가 보일 거예요 5프로 이즈는 인체 평가에서 아주 잘하고 있어요 |
|
|
|
02:40.040 --> 02:49.730 |
|
그록 2는 트위터였던 엑스 사의 최신 모델로 현재 강세를 보이고 |
|
|
|
02:49.730 --> 02:50.600 |
|
있죠 |
|
|
|
02:50.630 --> 02:52.430 |
|
그록 1은 잘하지 못했어요 |
|
|
|
02:52.460 --> 02:54.860 |
|
그록 2는 아주 잘하고 있어요 |
|
|
|
02:55.250 --> 03:01.220 |
|
5월 GPT 40 기록을 앞섰어요 |
|
|
|
03:01.610 --> 03:05.410 |
|
네, 맞아요 |
|
|
|
03:05.410 --> 03:10.310 |
|
ELO에서는 차이가 별로 안 나지만 현재 1위인 클로드 |
|
|
|
03:10.550 --> 03:17.720 |
|
3과는 상당히 큰 차이가 있어요 5 소넷은 한때 선두주자였어요 |
|
|
|
03:17.750 --> 03:27.650 |
|
제 기억으로는 출시 당시만 해도요 지금은 거의 6위까지 올라왔고요 |
|
|
|
03:27.650 --> 03:38.450 |
|
여기 아래는 1270이고 위쪽은 1316이에요 GPT 채팅방은 1316이고 |
|
|
|
03:38.450 --> 03:44.930 |
|
그다음은 제미니 1호죠 5 플래시요 물론 좀 더 작은 모델이죠 |
|
|
|
03:44.930 --> 03:52.610 |
|
라마 3이 나오네요 1266에 1억 4,500억 달러요 |
|
|
|
03:52.820 --> 03:57.140 |
|
이 라인업을 보는 게 아주 흥미로워요 |
|
|
|
03:57.140 --> 03:59.840 |
|
좋아하는 모델을 계속 찾을 수 있어요 |
|
|
|
03:59.840 --> 04:02.570 |
|
클로드 3백작은 이 아래에 있어요 |
|
|
|
04:02.780 --> 04:11.810 |
|
그리고 여긴 사용법이 정립된 다양한 챗봇과 채팅하는 경험을 인간이 어떻게 생각하는지 |
|
|
|
04:11.820 --> 04:17.550 |
|
알 수 있는 좋은 곳이에요 Get it |
|
|
|
04:17.580 --> 04:23.400 |
|
아까 봤던 명령 r이 보일 거예요 |
|
|
|
04:23.400 --> 04:27.120 |
|
명령어 R이 여기 어디 있는 걸 봤어요 |
|
|
|
04:27.420 --> 04:30.810 |
|
그건 스스로 찾아야 해요 |
|
|
|
04:31.050 --> 04:32.310 |
|
이제 못 하겠어요 |
|
|
|
04:32.310 --> 04:32.940 |
|
저기 있네요 |
|
|
|
04:32.940 --> 04:34.830 |
|
커맨드 R 플러스예요 |
|
|
|
04:34.950 --> 04:37.680 |
|
12시 13분이에요 |
|
|
|
04:37.680 --> 04:41.760 |
|
첫째 주에 시작할 때부터 계속 살펴본 부분이에요 |
|
|
|
04:41.940 --> 04:51.210 |
|
여기는 그 유명한 LMS 챗봇 아레나입니다 이 링크를 클릭하면 투표할 수 있어요 그럼 |
|
|
|
04:51.210 --> 04:53.910 |
|
이 투표 화면이 나오죠 |
|
|
|
04:53.910 --> 04:55.290 |
|
이렇게 하는 거예요 |
|
|
|
04:55.290 --> 04:58.620 |
|
모델 A와 B가 두 가지씩 준비돼 있어요. Get it. |
|
|
|
04:58.650 --> 05:02.160 |
|
누가 누군지 모르고 둘 다와 대화를 해야 해요 |
|
|
|
05:02.160 --> 05:05.910 |
|
우리가 좋아하는 간단한 대화를 해보죠 |
|
|
|
05:05.940 --> 05:19.930 |
|
가벼운 농담 하나 해 주세요 데이터 과학자들이 가득한 방에 어울리는 거로요 |
|
|
|
05:19.930 --> 05:26.920 |
|
두 모델이 동시에 이 질문을 받고 어떻게 대답하는지 보죠 |
|
|
|
05:26.950 --> 05:31.990 |
|
모델 A는 왜 과학자들이 컴퓨터와 분리하는 걸까요? |
|
|
|
05:31.990 --> 05:37.270 |
|
아무 가치도 없는 가치 때문에 헌신에 문제가 많았거든요 |
|
|
|
05:37.660 --> 05:43.480 |
|
과학적이긴 했지만 재미는 없었어요 |
|
|
|
05:43.510 --> 05:44.860 |
|
재미있었나 보죠 |
|
|
|
05:45.280 --> 05:47.200 |
|
모델 B, 농담 하나 해 주세요 |
|
|
|
05:47.200 --> 05:48.310 |
|
가벼운 농담이 있어요 |
|
|
|
05:48.310 --> 05:49.990 |
|
과학자들은 왜 라이브러리에 가죠? |
|
|
|
05:49.990 --> 05:52.720 |
|
양이 많다고 들었거든요 |
|
|
|
05:52.840 --> 05:54.670 |
|
네, 꽤 괜찮죠? |
|
|
|
05:54.670 --> 05:58.030 |
|
그건 이중적 의미의 볼륨을 사용하는 거예요 |
|
|
|
05:58.030 --> 05:59.050 |
|
설명이 나오죠 |
|
|
|
05:59.080 --> 05:59.770 |
|
농담은 간단해요 |
|
|
|
05:59.770 --> 06:04.540 |
|
데이터 과학자들이 좋아하는 말장난이죠 기술적 전문성과 약간의 말장난이 합쳐진 |
|
|
|
06:04.540 --> 06:05.410 |
|
거니까요 비트 |
|
|
|
06:05.440 --> 06:06.790 |
|
튼튼한 것 같아요 |
|
|
|
06:06.790 --> 06:07.900 |
|
탄탄하네요 |
|
|
|
06:08.140 --> 06:10.630 |
|
B가 더 나은 것 같아요 |
|
|
|
06:10.660 --> 06:12.310 |
|
동의하시길 바라요 |
|
|
|
06:12.340 --> 06:17.560 |
|
그게 아니라면 경기장에 들어가서 비슷한 질문을 하고 투표하세요 |
|
|
|
06:17.560 --> 06:23.570 |
|
하지만 제가 여러분을 대신해 투표하겠습니다 B가 더 낫다 버튼을 누르면 |
|
|
|
06:23.570 --> 06:25.730 |
|
모델이 공개될 거예요 |
|
|
|
06:25.730 --> 06:26.600 |
|
어디 보죠 |
|
|
|
06:26.900 --> 06:34.490 |
|
흥미롭게도 클로드 3 하이쿠와 그록 2를 대조했어요 |
|
|
|
06:34.610 --> 06:39.740 |
|
제 기억이 맞는다면 그록 2가 클로드 3 하이쿠보다 훨씬 높았어요 |
|
|
|
06:39.740 --> 06:45.050 |
|
투표를 통해 균형이 약간 흔들린 거죠 |
|
|
|
06:45.050 --> 06:47.030 |
|
즐겁게 보셨길 바라요 |
|
|
|
06:47.060 --> 06:52.130 |
|
물론 비과학적인 방법이긴 하지만 상호 작용에 근거해 인간이 결정해야 |
|
|
|
06:52.130 --> 06:53.690 |
|
한다는 게 핵심이죠 |
|
|
|
06:53.900 --> 06:57.260 |
|
지금 당신에게 필요한 건 가서 이걸 하는 거예요 |
|
|
|
06:57.290 --> 06:59.270 |
|
지역 사회에 다시 기여하는 중요한 방법이죠 |
|
|
|
06:59.300 --> 07:00.980 |
|
사용될 데이터는 데이터죠 |
|
|
|
07:01.010 --> 07:03.020 |
|
게다가 정말 재미있어요 |
|
|
|
07:03.050 --> 07:09.620 |
|
다양한 모델의 기능과 스코프를 알게 되고 직접 체험해 보는 경험을 |
|
|
|
07:09.620 --> 07:14.630 |
|
통해 데이터 과학계에 비트를 더할 수 있죠 |
|
|
|
07:14.630 --> 07:20.930 |
|
챗봇 아레나에서 즐거운 시간 보내시고 다음 시간에는 상업적 용도에 대해 얘기 |
|
|
|
07:20.930 --> 07:21.710 |
|
나누죠
|
|
|