From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
274 lines
8.5 KiB
274 lines
8.5 KiB
WEBVTT |
|
|
|
00:00.620 --> 00:08.900 |
|
네, 순위표에 오신 걸 환영합니다 여러분의 컬렉션에 필요한 필수 순위표를 살펴보고 있는데요 |
|
|
|
00:08.900 --> 00:13.160 |
|
그 중 첫 번째는 빅 코드 모델의 leaderboard죠 |
|
|
|
00:13.430 --> 00:18.440 |
|
URL 보이시죠? 하지만 안는 얼굴에서 검색할 수도 있어요 |
|
|
|
00:18.590 --> 00:23.600 |
|
다른 것들처럼 스페이스 앱으로 실행되고 있어요 |
|
|
|
00:23.600 --> 00:27.920 |
|
클래스 리소스에 링크도 포함시킬 거예요 |
|
|
|
00:28.070 --> 00:34.430 |
|
여기 보시는 건 모형 세트예요 |
|
|
|
00:34.430 --> 00:36.890 |
|
베이스 모델에서 필터링부터 할게요 |
|
|
|
00:36.890 --> 00:39.590 |
|
우리 모두 아는 이름이죠 |
|
|
|
00:39.590 --> 00:47.900 |
|
그리고 점수를 보면 앞서 언급했던 인체 평가 시험 세트인 파이썬 테스트와 |
|
|
|
00:47.900 --> 00:53.360 |
|
자바스크립트 테스트 C 플러스 테스트가 있죠 |
|
|
|
00:53.360 --> 00:59.930 |
|
이 모델의 성능을 다른 프로그래밍 언어와 비교할 수 있어요 |
|
|
|
00:59.930 --> 01:05.180 |
|
승률은 전체의 평균과 비슷하다고 할 수 있죠 |
|
|
|
01:05.180 --> 01:12.410 |
|
get each 페이지로 가시면 더 많은 정보를 얻을 수 있습니다. 이 열을 계산하는 |
|
|
|
01:12.410 --> 01:19.820 |
|
방식을 보면 코딩의 가장 윗부분이 코드를 작성하기 위한 퀸의 특수 버전인 것을 볼 수 있습니다. |
|
|
|
01:19.820 --> 01:23.570 |
|
이것을 코드 퀸이라고 부르죠. |
|
|
|
01:23.570 --> 01:27.740 |
|
근처에 라마 코드도 있어요 |
|
|
|
01:27.860 --> 01:31.340 |
|
심해 코더는 아주 잘 나가는 모델이에요 |
|
|
|
01:31.460 --> 01:34.610 |
|
코드 라마의 변종이죠 |
|
|
|
01:34.610 --> 01:39.800 |
|
스타 코더 2는 초기에 우리가 사용한 모델이죠 |
|
|
|
01:39.860 --> 01:43.160 |
|
스타 코더 2의 기능도 여기 있고요 |
|
|
|
01:43.340 --> 01:48.110 |
|
다음은 코드 젬마 구글의 오픈 소스 코드 생성 모델이죠 |
|
|
|
01:48.110 --> 01:54.680 |
|
전부를 포함하면 좀 더 구체적인 데이터 세트에 맞춰 조정된 일부도 |
|
|
|
01:54.680 --> 01:56.690 |
|
포함할 거예요 |
|
|
|
01:56.690 --> 02:01.190 |
|
점수를 비교해 보면 알 수 있어요 |
|
|
|
02:01.400 --> 02:09.470 |
|
요즘 코드는 훨씬 더 낮아졌고 많은 것들이 더 잘 튜닝되었어요 |
|
|
|
02:09.590 --> 02:19.190 |
|
좀 놀랍지만 코드 콴 1이에요 채팅 5개가 1을 능가하는 것 같아요 여기에는 50억 70억 명이 있어요 |
|
|
|
02:19.190 --> 02:23.480 |
|
하지만 여러 가지 이유가 있을 수 있죠 |
|
|
|
02:23.480 --> 02:28.400 |
|
그 목적으로 데이터를 훈련하는 데 사용된 방식 때문일 수도 있고 여기서 |
|
|
|
02:28.400 --> 02:31.010 |
|
제기되는 질문 때문일 수도 있어요 |
|
|
|
02:31.100 --> 02:37.670 |
|
여러분이 풀어야 할 문제가 대형 코드 모델 코딩과 관련 있다면 leaderboard가 |
|
|
|
02:37.670 --> 02:39.200 |
|
딱이죠 |
|
|
|
02:39.980 --> 02:45.380 |
|
다음은 LM 향기 리더보드입니다 속도나 메모리 소비량 |
|
|
|
02:45.380 --> 02:51.050 |
|
같은 것에 관련된 다양한 모델의 성능을 살펴보는 거죠 |
|
|
|
02:51.080 --> 02:57.170 |
|
leaderboard를 보면 다양한 변형이 있는 모델들이 나와 있습니다 |
|
|
|
02:57.170 --> 03:02.570 |
|
속도, 에너지 소비량 메모리 사용량 등 정보도 있고요 |
|
|
|
03:02.570 --> 03:10.310 |
|
하지만 제가 권하고 싶은 것은 그 페이지에서 시작하지 말고 이 페이지로 넘어가서 |
|
|
|
03:10.340 --> 03:16.340 |
|
최고의 모델을 찾는 것입니다. 당신이 보고 있는 하드웨어 구조를 |
|
|
|
03:16.340 --> 03:22.640 |
|
선택하고, 최고의 모델을 고릅니다. 여기 보이는 것은 매우 흥미로운 |
|
|
|
03:22.640 --> 03:32.090 |
|
도표입니다. 다이어그램으로 적어도 세 가지의 양을 보여주고 있죠. |
|
|
|
03:32.120 --> 03:35.930 |
|
그렇지 않다면 엑스 축을 따라야겠죠 |
|
|
|
03:35.930 --> 03:38.360 |
|
여기서 속도에 대한 뭔가를 보게 되죠 |
|
|
|
03:38.360 --> 03:42.650 |
|
이 모델이 토큰 64개를 생성하는 데 걸리는 시간이죠 |
|
|
|
03:42.650 --> 03:45.530 |
|
왼쪽으로 더 기울일수록 좋아요 |
|
|
|
03:45.530 --> 03:47.420 |
|
시간이 단축되니까요 |
|
|
|
03:47.420 --> 03:54.110 |
|
왼쪽으로 오는 모델을 찾고 있어요 성능, 속도, 성능에 신경 쓴다면요 |
|
|
|
03:54.140 --> 03:59.450 |
|
정확성에 신경 쓰신다면, 성능에 신경 쓰신다면 합계를 이용하실 수 있어요 |
|
|
|
03:59.480 --> 04:07.500 |
|
오픈 LM 점수요 모델 정확도의 척도로써의 총점이죠 |
|
|
|
04:07.680 --> 04:14.760 |
|
메모리 공간 측면에서 비용을 고려하고 이 모델을 실행하기 위해 필요한 하드웨어의 |
|
|
|
04:14.760 --> 04:19.890 |
|
크기를 고려한다면 blob의 크기를 봐야 해요 |
|
|
|
04:19.920 --> 04:27.480 |
|
큰 덩어리는 더 많은 메모리 수요를 나타내요 여러분이 필요한 게 뭔지 감을 잡게 해주죠 |
|
|
|
04:27.480 --> 04:34.620 |
|
저희가 찾는 모델은 작은 점으로 왼쪽 위쪽에 있는 게 이상적이죠 |
|
|
|
04:34.620 --> 04:39.720 |
|
높은 곳만 아니면 좋은 결과가 나올 거예요 |
|
|
|
04:39.720 --> 04:44.820 |
|
특히 이런 모델이 아주 잘 되고 있는 걸 볼 수 있어요 Quan the Quan |
|
|
|
04:44.850 --> 04:47.040 |
|
1이죠 5가지 변형이 있어요 |
|
|
|
04:47.130 --> 04:53.250 |
|
여길 보시면 가장 신경 쓰이는 건 성능이 뛰어나고 |
|
|
|
04:53.250 --> 04:59.820 |
|
정확하며 벤치마킹 점수 면에서 빠른 기술이죠 |
|
|
|
05:00.090 --> 05:06.720 |
|
그리고 이 제품으로 오세요 라마 라마 3 모델이에요 |
|
|
|
05:07.050 --> 05:11.970 |
|
여기서 마지막 요점이 등장합니다 이 도표에 표현된 또 |
|
|
|
05:11.970 --> 05:17.340 |
|
다른 정보는 모델의 가족인데 비트의 색깔로 표현되죠 |
|
|
|
05:17.340 --> 05:25.830 |
|
여기 보시면 노란색은 파이나 훈련을 받은 모델이란 뜻이에요 |
|
|
|
05:25.830 --> 05:29.250 |
|
저기 노란색 파이 모델이 보일 거예요 |
|
|
|
05:29.610 --> 05:36.900 |
|
속도와 정확도, 메모리 풋프린트의 양면성에 있어서 오픈 소스 모델의 |
|
|
|
05:36.900 --> 05:43.290 |
|
실행 비용에 영향을 미칠 텐데 이건 환상적인 리소스예요 |
|
|
|
05:43.290 --> 05:51.330 |
|
leaderboard를 눌러보세요. 여기로 오세요. 항상 당신의 가장 좋은 모델 찾기 탭을 누르세요. |
|
|
|
05:51.330 --> 05:55.020 |
|
그리고 당신의 옵션이 뭔지 살펴보세요. |
|
|
|
05:55.020 --> 06:01.260 |
|
예를 들어 T4 하드웨어를 이야기할 때 T4 탭으로 가서 어떤 |
|
|
|
06:01.260 --> 06:04.320 |
|
옵션이 있는지 볼 수 있어요 |
|
|
|
06:04.320 --> 06:08.400 |
|
보세요, 01I 청음이에요 |
|
|
|
06:08.430 --> 06:10.560 |
|
콴은 잘 지내고 있나요? |
|
|
|
06:10.830 --> 06:17.250 |
|
다른 모델도 볼 수 있어요 사용 사례에 따라 가장 적절한 모델이죠 |
|
|
|
06:19.140 --> 06:26.040 |
|
제가 말씀드리고 싶은 것은 빈 공간이 있는데 빈 공간으로 가서 leaderboard를 |
|
|
|
06:26.040 --> 06:27.540 |
|
검색할 수 있어요 |
|
|
|
06:27.540 --> 06:32.670 |
|
여기서 한 건 공간에서 leaderboard를 검색한 것뿐입니다 |
|
|
|
06:32.670 --> 06:41.340 |
|
다양한 leaderboard를 볼 수 있죠 LMS 벤치마크에 대한 보다 상세한 정보를 볼 수 있어요 |
|
|
|
06:41.610 --> 06:48.780 |
|
여기 있는 정보의 양에 압도되지 않으셨다면 제가 조금 전에 언급한 이 다양한 leaderboard를 보는 |
|
|
|
06:48.810 --> 06:51.420 |
|
데에 아주 훌륭한 유틸리티가 있어요 |
|
|
|
06:51.420 --> 06:53.370 |
|
포르투갈이 집중해서 순위를 매기고 있어요 |
|
|
|
06:53.370 --> 07:00.840 |
|
많은 언어가 독자적인 순위표를 갖고 있어요 능력을 평가하기 위해서요 |
|
|
|
07:00.840 --> 07:03.390 |
|
오픈 메디컬 리더보드를 언급했죠 |
|
|
|
07:03.390 --> 07:10.350 |
|
이걸 띄워 보면 여러 의학적 벤치마크가 있습니다 임상 지식, 대학 |
|
|
|
07:10.350 --> 07:17.520 |
|
생물학 의학 유전학, 그리고 퍼브메드 QA 같은 것들이죠 |
|
|
|
07:17.610 --> 07:22.230 |
|
의학 모델과 비교해서 점수를 매겨요 |
|
|
|
07:22.230 --> 07:29.280 |
|
의료 유스 케이스용으로 설계된 솔루션을 개발하려 한다면 바로 이 순위표를 |
|
|
|
07:29.280 --> 07:31.050 |
|
봐야 해요 |
|
|
|
07:31.260 --> 07:38.490 |
|
어바웃 페이지는 추가 정보를 제공합니다 데이터 집합과 어떻게 사용되고 |
|
|
|
07:38.490 --> 07:42.510 |
|
어떻게 계산되는지에 대해서요 |
|
|
|
07:42.540 --> 07:50.820 |
|
이걸 보면 문제가 발생했을 때 올바른 오픈 소스 모델을 어떻게 선택할지 |
|
|
|
07:50.820 --> 07:52.800 |
|
감이 올 거예요 |
|
|
|
07:52.830 --> 07:59.340 |
|
유용한 순위표를 어떻게 찾고 다양한 지표를 어떻게 해석하고 다양한 모델을 어떻게 순위 |
|
|
|
07:59.340 --> 08:00.720 |
|
매길지 말이죠 |
|
|
|
08:00.750 --> 08:05.250 |
|
다음 시간에는 오픈 소스와 폐쇄 소스를 결합한 리더보드를 살펴보죠
|
|
|