From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
490 lines
14 KiB
490 lines
14 KiB
WEBVTT |
|
|
|
00:01.220 --> 00:07.160 |
|
다시 리더보드 페스티벌입니다 리더보드를 더 살펴보죠 |
|
|
|
00:07.160 --> 00:13.490 |
|
하지만 이번에는 상위 리더보드에서 믹스 오픈 소스와 비공개 소스 모델을 함께 |
|
|
|
00:13.490 --> 00:15.080 |
|
가지고 올 거예요. |
|
|
|
00:15.080 --> 00:18.650 |
|
밖에서 얼굴이나 안아주고요 |
|
|
|
00:18.650 --> 00:21.440 |
|
이제 포옹은 안 할 거예요 |
|
|
|
00:21.440 --> 00:27.200 |
|
첫 번째 리더보드를 보여드릴게요 이것도 분명히 여러분 책갈피에 들어갈 |
|
|
|
00:27.200 --> 00:29.780 |
|
거예요 피지 리더보드죠 |
|
|
|
00:29.780 --> 00:31.760 |
|
과거에 잠깐 언급한 적이 있죠 |
|
|
|
00:31.940 --> 00:40.520 |
|
피지 인공지능 회사는 LM 종사자들을 위한 필수 자료를 발표했고 페이지 맨 위에 있는 |
|
|
|
00:40.520 --> 00:43.310 |
|
다른 모델을 비교했어요 |
|
|
|
00:43.310 --> 00:49.910 |
|
비교 차트가 있는데 기본 벤치마크에 관한 거죠 요즘엔 쉬운 벤치마크예요 |
|
|
|
00:49.970 --> 00:56.150 |
|
MLU는 추론이고 Pro는 아니고 기본 수치예요 소금 한 꼬집이지만 |
|
|
|
00:56.150 --> 00:59.240 |
|
여전히 많이 인용되죠 |
|
|
|
00:59.420 --> 01:02.480 |
|
파이썬 코딩과 수학에 대한 인간 평가예요 |
|
|
|
01:02.810 --> 01:08.240 |
|
여기서 보시는 건 일반적으로 비공개 소스 모델입니다 여러분이 잘 알고 |
|
|
|
01:08.240 --> 01:14.000 |
|
사랑하는 GPT 4, 소넷 3처럼요 5번 소네트와 GPT 터보 그리고 4번요 |
|
|
|
01:14.030 --> 01:15.140 |
|
저것 좀 보세요 |
|
|
|
01:15.140 --> 01:20.540 |
|
혼합물에 llama 3 형태의 오픈 소스 모델이 있어요 1분 4초 5억 5천만 달러요 |
|
|
|
01:20.570 --> 01:24.500 |
|
지구상에서 가장 큰 오픈 소스 모델이죠 |
|
|
|
01:24.500 --> 01:32.300 |
|
보다시피 일부 비공개 소스 모델과 호의적으로 경쟁하고 있어요 |
|
|
|
01:32.540 --> 01:39.590 |
|
현재 가장 강력한 팀이 선두를 달리고 있습니다 GPT 40, MLU가 |
|
|
|
01:39.590 --> 01:42.410 |
|
압도적으로 앞섰죠 |
|
|
|
01:42.410 --> 01:47.780 |
|
하지만 라마는 405B에 살짝 뒤처져 있어요 |
|
|
|
01:47.840 --> 01:50.000 |
|
다들 막상막하예요 |
|
|
|
01:50.000 --> 01:50.720 |
|
정말요? |
|
|
|
01:50.750 --> 01:57.740 |
|
라마는 40억 혹은 50억 개로 오픈 소스 모델이 강력한 경쟁자죠 |
|
|
|
01:58.280 --> 02:02.900 |
|
코딩을 할 때는 이 순서가 보이시죠 |
|
|
|
02:02.900 --> 02:12.050 |
|
3항을 보세요 5 소네트가 선두 그다음은 GPT 405 그 뒤는 라마 405 미니 |
|
|
|
02:12.050 --> 02:14.150 |
|
버전 GPT 405가 3위죠 |
|
|
|
02:14.330 --> 02:17.930 |
|
얼마 안 되는 것 같아요 훨씬 저렴하니까요 |
|
|
|
02:18.170 --> 02:20.420 |
|
GPT 터보도 있죠 |
|
|
|
02:20.990 --> 02:28.610 |
|
GPT 수학 문제 순위표입니다 GPT는 4-0이었고 그 뒤에는 라마가 4,050억 |
|
|
|
02:28.610 --> 02:35.300 |
|
달러였죠 그 뒤로는 다른 순위표들이 나왔고 클로드가 4위를 차지했어요 |
|
|
|
02:35.300 --> 02:41.570 |
|
그런 톱모델을 위해 아주 유용한 실적 차트를 보여드릴게요 |
|
|
|
02:41.810 --> 02:47.270 |
|
얼굴 안기 때 봤던 다차원 차트보다 해석하기가 좀 더 쉽죠 물론 비트는 |
|
|
|
02:47.300 --> 02:48.620 |
|
더 적지만요 |
|
|
|
02:48.800 --> 02:57.020 |
|
속도 측면에서 보면 초당 토큰으로 토큰을 가장 빨리 생성하는 건 라마다 80억 오픈 |
|
|
|
02:57.050 --> 02:59.060 |
|
소스 모델이에요 |
|
|
|
02:59.060 --> 03:05.780 |
|
당연하죠, 매개 변수가 적을수록 작업량도 less니까요 그러니 이해할 가치가 있죠 |
|
|
|
03:05.810 --> 03:06.500 |
|
네 |
|
|
|
03:06.530 --> 03:07.310 |
|
그렇군요 |
|
|
|
03:07.340 --> 03:07.520 |
|
그래서요? |
|
|
|
03:07.520 --> 03:13.160 |
|
최대한 일관되게 달리려고 노력하는 게 중요해요 |
|
|
|
03:13.160 --> 03:16.040 |
|
비트에 대한 정보가 조금 더 설명해줘요 |
|
|
|
03:16.160 --> 03:23.060 |
|
라마 8 다음은 더 큰 모델인 라마 70 그리고 제미니 1호예요 5번 섬광이에요 |
|
|
|
03:23.120 --> 03:26.480 |
|
클로드, 하이쿠 3개 GPT 4개요 |
|
|
|
03:26.510 --> 03:28.070 |
|
미니예요 |
|
|
|
03:28.070 --> 03:29.060 |
|
미니 변형요 |
|
|
|
03:29.060 --> 03:32.270 |
|
작은 모델이 더 빠르죠 |
|
|
|
03:32.270 --> 03:33.950 |
|
놀랍지도 않네요 |
|
|
|
03:34.220 --> 03:36.020 |
|
대기 시간 때문에요 |
|
|
|
03:36.050 --> 03:42.830 |
|
첫 번째 토큰이 도착하기까지 남은 시간을 의미하죠 |
|
|
|
03:42.860 --> 03:44.480 |
|
그걸 포착하는 좋은 방법이죠 |
|
|
|
03:44.480 --> 03:49.730 |
|
아까 말씀드렸던 걸 설명하기에 좋은 방법이네요 기본 속성에 대한 대기 시간을 보여드렸을 때요 |
|
|
|
03:49.730 --> 03:55.910 |
|
작은 모델도 빠르게 반응하는 게 놀랍지 않죠 |
|
|
|
03:55.970 --> 04:01.970 |
|
GPT 4는 놀랍게도 4보다 대기 시간이 개선됐어요 |
|
|
|
04:02.010 --> 04:02.280 |
|
0명요 |
|
|
|
04:02.310 --> 04:08.070 |
|
하드웨어 셋업과 관련 있는 게 많아요 |
|
|
|
04:08.070 --> 04:10.170 |
|
잘은 모르지만 둘이 친해요 |
|
|
|
04:10.740 --> 04:17.730 |
|
가장 싼 모델은 백만 달러당 달러로 계산하죠 |
|
|
|
04:17.730 --> 04:25.080 |
|
라마 80억 달러는 제미니 1호에서 가장 싼 가격에 나온 거예요 5 플래시도 잘 팔리고 GPT 4와 미니는 물론 아주 저렴하죠 |
|
|
|
04:25.080 --> 04:34.950 |
|
클로드 3 하이쿠와 GPT 3도 있어요 5 터보로 바꿨죠 |
|
|
|
04:34.950 --> 04:40.890 |
|
두 개의 다른 막대로서 보여지고 있습니다 하나는 입력 비용, 하나는 출력 비용이죠 |
|
|
|
04:41.190 --> 04:48.000 |
|
두 모델을 비교할 수 있는 상호 작용적 기능이 있어요 다른 측정법에 따라 |
|
|
|
04:48.000 --> 04:50.190 |
|
나란히 볼 수 있죠 |
|
|
|
04:50.190 --> 04:56.430 |
|
이건 클로드 3점 아니, 클로드 3점이에요 GPT 4에 맞서는 클로드 3집이에요 |
|
|
|
04:56.460 --> 05:04.320 |
|
비트를 좀 바꿔서 픽 3을 선택해 보죠 소네트 5번과 GPT 4번요 |
|
|
|
05:04.350 --> 05:07.200 |
|
우리가 보고 싶어 하는 얼굴이죠 |
|
|
|
05:07.680 --> 05:09.900 |
|
자, 시작하죠 |
|
|
|
05:10.140 --> 05:14.910 |
|
두 사람이 막상막하인 것처럼 보여요 |
|
|
|
05:14.940 --> 05:15.750 |
|
뭐라는 거예요? |
|
|
|
05:15.780 --> 05:22.650 |
|
88살요 클로드는 3%고요 5살, 88살요 GPT 4는 7%예요 |
|
|
|
05:22.680 --> 05:22.920 |
|
네 |
|
|
|
05:22.950 --> 05:28.080 |
|
클로드가 코딩을 더 잘하는 이유가 GPT 4 때문이군요 |
|
|
|
05:28.080 --> 05:32.820 |
|
클로드는 계산을 더 잘하지만 도구 사용은 형편없어요 |
|
|
|
05:32.940 --> 05:36.540 |
|
2주 차에 겪은 일요 |
|
|
|
05:36.660 --> 05:41.580 |
|
클로드가 더 잘해요 다국어를 잘하는 클로드 |
|
|
|
05:41.580 --> 05:43.320 |
|
정말 좋아요 |
|
|
|
05:43.320 --> 05:48.120 |
|
이렇게 모델을 나란히 비교할 수 있다니 흥미롭네요 |
|
|
|
05:48.390 --> 05:54.840 |
|
이 테이블에는 여러 모델이 한 줄씩 있어요 |
|
|
|
05:54.870 --> 06:01.290 |
|
클로드 3 같은 비공개 소스의 모델을 볼 수 있어요 5 소네트요 |
|
|
|
06:01.290 --> 06:06.720 |
|
평균 점수와 비교해서 1위에 오른 선수는 바로 이 선수예요 |
|
|
|
06:06.870 --> 06:12.570 |
|
다시 MLU를 보고 계시는데요 모든 점수가 아주 좋은 수치예요 |
|
|
|
06:12.990 --> 06:18.000 |
|
파이썬에 대한 인간 평가 지표에서 얘기했던 거죠 |
|
|
|
06:18.000 --> 06:25.620 |
|
이게 제가 말씀드린 벤치마크입니다 모델의 능력 이상의 미래 역량을 시험하기 |
|
|
|
06:25.620 --> 06:28.290 |
|
위해 고안된 벤치마크죠 |
|
|
|
06:28.380 --> 06:36.480 |
|
이 클라우드 스리를 보면 믿겨지세요? 5점, 소네트가 벌써 93점을 득점했어요 B 하드에서 1%로 향후 |
|
|
|
06:36.570 --> 06:41.580 |
|
역량을 평가하는 기준이 아니라는 뜻이죠 |
|
|
|
06:41.580 --> 06:43.680 |
|
현재의 기능이라고 할 수 있죠 |
|
|
|
06:43.680 --> 06:46.500 |
|
클라우드 스리도요 5번 소네트가 끝내줬어요 |
|
|
|
06:46.980 --> 06:51.390 |
|
초등학교 수학이랑 더 어려운 수학 문제요 |
|
|
|
06:51.420 --> 06:57.870 |
|
여기 보시면 다양한 모델에서 나온 결과가 있어요 |
|
|
|
06:57.870 --> 07:03.180 |
|
앞서 제가 좀 아리송한 걸 언급했는데요 클라우드 3 비트는 5분 |
|
|
|
07:03.210 --> 07:06.210 |
|
소네트가 클로드 3세보다 잘하네요 |
|
|
|
07:06.240 --> 07:07.230 |
|
오퍼스요 |
|
|
|
07:07.320 --> 07:16.590 |
|
클로드 3권은 여전히 API로도 제공되고 가격도 3백 달러가 훨씬 넘어요 |
|
|
|
07:16.590 --> 07:16.590 |
|
5 소네트요 |
|
|
|
07:16.800 --> 07:20.010 |
|
왜 클로드를 골랐는지 모르겠어요 |
|
|
|
07:20.040 --> 07:23.700 |
|
3부작 이상이에요 특별한 게 없다면 소네트 5편요 |
|
|
|
07:23.730 --> 07:29.100 |
|
논리에 관한 문제라면 클로드 3집이 더 잘했네요 |
|
|
|
07:29.100 --> 07:33.840 |
|
어떤 면에서는 더 잘 팔리지만 추가 가격 포인트를 받을 가치가 있는지는 |
|
|
|
07:33.840 --> 07:35.340 |
|
모르겠어요 |
|
|
|
07:36.210 --> 07:43.560 |
|
그리고 라마가 이 비교 모델에 등장하는 것도 보실 수 있어요 |
|
|
|
07:43.560 --> 07:49.530 |
|
라마 4,050억 달러는 안 보이네요 상상이 안 돼요 |
|
|
|
07:49.530 --> 07:56.310 |
|
아직 라마 4의 모든 검사를 수행하지 못했기 때문이죠 50억 달러요, 왜냐하면 |
|
|
|
07:56.310 --> 08:04.350 |
|
700억 라마 3 변종보다 훨씬 뛰어나다고 상상할 수 있거든요 |
|
|
|
08:06.120 --> 08:06.840 |
|
네 |
|
|
|
08:07.710 --> 08:13.590 |
|
이 테이블로 내려오면 전에 보여드린 건데요 |
|
|
|
08:13.590 --> 08:18.300 |
|
다양한 모델을 볼 수 있는 유일한 장소예요 |
|
|
|
08:18.330 --> 08:22.920 |
|
컨텍스트, 창 크기, 입력 및 출력 토큰 당 비용은 얼마일까요? |
|
|
|
08:22.920 --> 08:32.310 |
|
물론 데이터가 있는 모델을 비교하는 거지만 굉장히 |
|
|
|
08:32.310 --> 08:34.140 |
|
유용해요 |
|
|
|
08:34.140 --> 08:41.400 |
|
온라인에서 여러 페이지를 찾아볼 수도 있고 여기 와서 한곳에 다 볼 수도 있어요 |
|
|
|
08:41.400 --> 08:45.120 |
|
그래서 책갈피에 적어두셔야 해요 |
|
|
|
08:45.120 --> 08:52.410 |
|
제미니 1호를 강조하죠 5번 플래시는 백만 가지 문맥을 보여주는 놀라운 창이 있죠 |
|
|
|
08:52.410 --> 08:59.250 |
|
일반적인 영어로는 750,000단어 정도 됩니다 셰익스피어 작품의 |
|
|
|
08:59.280 --> 09:03.190 |
|
거의 전부죠 문맥상 아주 큰 창이에요 |
|
|
|
09:03.670 --> 09:06.010 |
|
클로드 가족은 200,000살이에요 |
|
|
|
09:06.040 --> 09:09.250 |
|
GPT 가족은 128,000살이었죠 |
|
|
|
09:09.280 --> 09:15.400 |
|
제미니 1호의 백만 대에 비하면 다소 적은 숫자죠 5번 섬광이에요 |
|
|
|
09:15.400 --> 09:23.080 |
|
하지만 컨텍스트 창에서 소화해야 할 정보가 여전히 많아요 좋은 반응도 |
|
|
|
09:23.080 --> 09:24.220 |
|
주고요 |
|
|
|
09:24.430 --> 09:24.940 |
|
네 |
|
|
|
09:24.970 --> 09:28.930 |
|
오픈 소스 모델도 보이실 거예요 |
|
|
|
09:28.930 --> 09:36.640 |
|
혼합 평가판과 컨텍스트 창의 크기가 보입니다 llama 3 모델은 8000 토큰 컨텍스트 창을 가지고 |
|
|
|
09:36.640 --> 09:37.660 |
|
있네요 |
|
|
|
09:37.660 --> 09:43.660 |
|
오픈 소스 모델과 비공개 소스 모델을 비교할 때 명심할 가치가 있어요 |
|
|
|
09:43.660 --> 09:49.930 |
|
이런 거대한 컨텍스트 창문이 필요하다면 비공개 소스 경로로 가야겠죠 |
|
|
|
09:52.120 --> 10:00.100 |
|
코딩 리더보드가 있는데 사람 평가를 비교할 수 있어요 그게 피지 |
|
|
|
10:00.130 --> 10:04.870 |
|
웹페이지의 리더보드를 마무리하죠 |
|
|
|
10:04.870 --> 10:06.370 |
|
한 명 더 있어요 |
|
|
|
10:06.400 --> 10:14.020 |
|
비즈니스 사이트들인데 실 리더보드라고 해요 스케일이라는 회사에서 제공하죠 |
|
|
|
10:14.020 --> 10:18.730 |
|
컴 앤 스케일의 전문 분야는 맞춤형 데이터 세트 생성이죠 |
|
|
|
10:18.820 --> 10:26.080 |
|
특정 문제를 작업 중이라면 자신의 문제에 맞는 데이터 세트를 제작하고 큐레이팅해야 합니다 |
|
|
|
10:26.080 --> 10:30.550 |
|
스케일 컴이 비즈니스를 하는 게 바로 그런 거죠 |
|
|
|
10:30.760 --> 10:38.290 |
|
데이터 발생기를 사용할 수 없다면 지난주 과제의 일부로 만든 것이길 바라요 |
|
|
|
10:38.350 --> 10:46.720 |
|
이 leaderboard에는 여러 가지 작업에 대한 아주 구체적인 leaderboard가 있어요 |
|
|
|
10:46.750 --> 10:53.890 |
|
그리고 대립적 견고성에 관한 것도 있습니다 이 강의에서 잘 설명했듯이 시험 |
|
|
|
10:53.920 --> 11:02.230 |
|
학습 프롬프트에 대한 것도 큰 언어 모델에서 해로운 반응을 촉발하도록 설계됐죠 |
|
|
|
11:02.230 --> 11:08.800 |
|
그래서 문제가 되는 질문의 구체적인 예가 있어요 |
|
|
|
11:08.920 --> 11:12.790 |
|
예를 들어, 당신이∙∙∙ 미안해요, 일부러 그런 건 아니에요 |
|
|
|
11:12.790 --> 11:20.290 |
|
예를 들어 이걸 항공사 고객 지원 챗봇으로 나타내고 싶다면 |
|
|
|
11:20.290 --> 11:27.580 |
|
이게 궤도를 벗어나거나 뭔가 크게 잘못되지 않도록 한다는 |
|
|
|
11:27.580 --> 11:31.210 |
|
걸 명심해야 해요 |
|
|
|
11:31.210 --> 11:34.090 |
|
그 목적을 위한 유용한 벤치마크죠 |
|
|
|
11:34.090 --> 11:41.800 |
|
코딩은 코딩 기술의 더 상세한 척도를 제공합니다 클로드 3을 보세요 소네트 5편이 길을 인도하죠 |
|
|
|
11:41.980 --> 11:46.930 |
|
미스트랄도 마찬가지로 닫힌 소스와 오픈 소스를 결합한 회로죠 |
|
|
|
11:46.930 --> 11:57.130 |
|
미스트랄 라지 투가 3위 안에 들어요 오픈 소스로서 참가 강좌죠 여기 |
|
|
|
11:57.310 --> 12:04.780 |
|
보시면 라마 3이 있어요 1억 4,500억 달러요 |
|
|
|
12:04.810 --> 12:07.570 |
|
지시를 따르지 않고도 이를 시험할 수 있었죠 |
|
|
|
12:07.570 --> 12:09.130 |
|
2위에 올랐죠 |
|
|
|
12:09.130 --> 12:11.140 |
|
GPT 40보다 앞섰어요 |
|
|
|
12:11.320 --> 12:14.110 |
|
클로드 3호 바로 뒤예요 5 소네트요 |
|
|
|
12:14.290 --> 12:21.010 |
|
오픈 소스 세계와 메타에 있어서 놀라운 결과입니다 2위를 차지했어요 |
|
|
|
12:21.250 --> 12:23.230 |
|
수학 문제도 풀었고요 |
|
|
|
12:23.260 --> 12:30.280 |
|
라마 3요 1 405 B가 3위 GPT 40, 2위는 클로드 3이죠 5분 |
|
|
|
12:30.310 --> 12:33.490 |
|
소네트가 수학을 이끌고 있어요 |
|
|
|
12:33.610 --> 12:40.570 |
|
스페인어 순위표도 있어요 여기 결과를 보여주죠 |
|
|
|
12:40.660 --> 12:47.980 |
|
오픈 소스의 선두 주자 미스트랄은 4위입니다 GPT가 4위인 가운데 선두를 달리고 |
|
|
|
12:47.980 --> 12:48.790 |
|
있죠 |
|
|
|
12:49.000 --> 12:55.450 |
|
Qxl도요 비즈니스 특정 리더보드를 늘 추가하고 있어요 |
|
|
|
12:55.450 --> 13:03.700 |
|
다시 돌아와서 추가된 다른 것이 있는지 보고 비즈니스 문제에 대한 보다 구체적인 leaderboard를 위한 훌륭한 리소스로 |
|
|
|
13:03.700 --> 13:05.020 |
|
이걸 사용하세요
|
|
|