From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
502 lines
14 KiB
502 lines
14 KiB
WEBVTT |
|
|
|
00:00.920 --> 00:02.510 |
|
모두 다 알아요 |
|
|
|
00:02.510 --> 00:08.210 |
|
함께 여정을 시작하던 게 엊그제 같은데 벌써 4주 차가 |
|
|
|
00:08.210 --> 00:13.490 |
|
시작됐고 여정의 절반이 빠르게 다가오고 있어요 |
|
|
|
00:13.490 --> 00:17.090 |
|
이번엔 어떤 일이 벌어질까요? |
|
|
|
00:17.210 --> 00:24.770 |
|
이번 주에는 핵심 지식을 쌓는 중요한 단계에 들어갈 거예요 |
|
|
|
00:24.770 --> 00:30.560 |
|
우리 모두에게 닥치는 어려운 질문에 관한 내용일 거예요 우리는 선택권이 너무 많다는 |
|
|
|
00:30.560 --> 00:31.070 |
|
거죠 |
|
|
|
00:31.070 --> 00:33.140 |
|
llm이 너무 많아요 |
|
|
|
00:33.140 --> 00:36.590 |
|
오픈 소스냐 폐쇄 소스냐 결정할 게 너무 많아요 |
|
|
|
00:36.590 --> 00:39.590 |
|
각 카테고리에 정말 많아요 |
|
|
|
00:39.620 --> 00:43.910 |
|
당장의 문제에 맞는 LLM을 어떻게 고르죠? |
|
|
|
00:43.910 --> 00:46.610 |
|
그게 이번 주의 주요 주제죠 |
|
|
|
00:46.700 --> 00:53.900 |
|
추가로 오픈 소스 랜드에서 코드를 작성하는 llms를 생성할 거예요 |
|
|
|
00:53.930 --> 00:55.400 |
|
재미있을 거예요 |
|
|
|
00:55.910 --> 01:01.970 |
|
오늘 우리가 할 일은 작업에 적합한 모델을 어떻게 고르느냐에 |
|
|
|
01:01.980 --> 01:03.450 |
|
관한 거예요 |
|
|
|
01:03.450 --> 01:08.370 |
|
특성과 벤치마크에 대해 얘기하고 오픈ml leaderboard라는 |
|
|
|
01:08.370 --> 01:16.950 |
|
걸 사용할 겁니다 얼굴을 끌어안고 오픈 소스 모델 비교를 돕는 놀라운 리소스죠 |
|
|
|
01:17.550 --> 01:21.690 |
|
그 전에 먼저 8주간의 여정을 돌아보죠 |
|
|
|
01:21.690 --> 01:23.340 |
|
왼쪽에서부터 시작했어요 |
|
|
|
01:23.340 --> 01:25.320 |
|
오른쪽을 마무리할 거예요 |
|
|
|
01:25.320 --> 01:26.490 |
|
첫 주에요 |
|
|
|
01:26.490 --> 01:32.070 |
|
프런티어 모델에 관해 얘기하면서 프런티어 LMS를 6대나 비교했어요 |
|
|
|
01:32.070 --> 01:39.630 |
|
2주차에선 그래디오 에이전트화와 함께 UI를 소개했고 3주차엔 다중 양상을 |
|
|
|
01:39.660 --> 01:40.410 |
|
다뤘죠 |
|
|
|
01:40.440 --> 01:43.980 |
|
지난주엔 얼굴 맞대고 오픈 소스나 찍었잖아요 |
|
|
|
01:43.980 --> 01:49.110 |
|
허브와 상위 레벨 API 파이프라인, 토큰라이저 모델도 살펴봤습니다 |
|
|
|
01:49.110 --> 01:54.540 |
|
많은 도움이 됐기를 바랍니다 채팅 인터페이스가 어떻게 작동하고 |
|
|
|
01:54.540 --> 02:01.830 |
|
이런 종류의 사전 목록이 어떻게 토큰이 되는지에 대해서요 특별한 토큰을 llms나 |
|
|
|
02:01.830 --> 02:08.200 |
|
LMS에 공급해 다음 예상 토큰을 결과로 내놓는 거죠 |
|
|
|
02:09.190 --> 02:15.820 |
|
LMS 선택에 관한 4주 차에 접어들었죠 코드 생성 문제도 있어요 아주 흥미로울 |
|
|
|
02:15.820 --> 02:16.510 |
|
거예요 |
|
|
|
02:16.540 --> 02:18.700 |
|
5주 차가 누더기였으면 좋겠어요 |
|
|
|
02:18.700 --> 02:20.620 |
|
6주 차에는 조율을 잘해야 해요 |
|
|
|
02:20.650 --> 02:22.090 |
|
훈련 시작부터요 |
|
|
|
02:22.120 --> 02:27.970 |
|
개척지에서 훈련하고 오픈 소스를 훈련해서 전부 합쳤어요 |
|
|
|
02:28.090 --> 02:30.520 |
|
그게 8주 계획이에요 |
|
|
|
02:30.910 --> 02:36.820 |
|
오늘은 모델과 LMS 비교에 대해 얘기해보죠 |
|
|
|
02:36.820 --> 02:44.140 |
|
이번 세션에서 얻은 교훈이 있다면 가장 중요한 점은 이 LLM이 다른 것보다 |
|
|
|
02:44.170 --> 02:48.340 |
|
낫다는 간단한 답이 없다는 거예요 |
|
|
|
02:48.370 --> 02:52.360 |
|
이건 순위를 매기는 문제가 아니에요 |
|
|
|
02:52.390 --> 02:55.690 |
|
무엇을 이루고 싶은지가 중요하죠 |
|
|
|
02:55.690 --> 02:59.830 |
|
작업에 적합한 LLM을 고르는 것도 중요하죠 |
|
|
|
02:59.830 --> 03:05.420 |
|
다른 LMS를 저울질하고 요구 사항과 비교하는 게 게임 이름입니다 |
|
|
|
03:05.420 --> 03:10.160 |
|
모델을 쌍으로 연결하는 두 가지 다른 방법이 있어요 |
|
|
|
03:10.160 --> 03:14.810 |
|
첫 번째는 모델에 대한 기본적인 사실이죠 |
|
|
|
03:14.900 --> 03:18.320 |
|
모델 가격 같은 뻔한 것들이요 |
|
|
|
03:18.410 --> 03:23.630 |
|
그러면 선택할 공간이 줄어들어요 선택지가 줄어들죠 |
|
|
|
03:23.630 --> 03:29.270 |
|
다양한 모델의 기본 속성과 기본 측면을 조사하고 나면 |
|
|
|
03:29.270 --> 03:32.750 |
|
상세한 결과를 보기 시작하죠 |
|
|
|
03:32.750 --> 03:37.100 |
|
벤치마크, 리더보드 경기장을 살펴봐야 해요 |
|
|
|
03:37.100 --> 03:43.700 |
|
이 모든 걸 기반으로 여러분은 소수의 후보 llms를 갖게 됩니다 시제품 |
|
|
|
03:43.700 --> 03:50.660 |
|
제작에 사용하여 당면한 작업에 최적의 LLM을 선택할 수 있도록 하죠 |
|
|
|
03:51.500 --> 03:54.770 |
|
그럼 기본 비트부터 살펴보죠 |
|
|
|
03:55.610 --> 04:01.880 |
|
제가 기초를 비교한다고 했을 때 다른 모델에서 평가해야 할 가장 명백한 |
|
|
|
04:01.880 --> 04:03.740 |
|
점을 말하는 거예요 |
|
|
|
04:03.740 --> 04:08.960 |
|
먼저 여러분이 오픈 소스 모델을 볼 건지 비공개 소스 모델을 볼 건지 이해해야 |
|
|
|
04:08.990 --> 04:10.070 |
|
해요 |
|
|
|
04:10.070 --> 04:15.020 |
|
물론 장단점이 있고 다른 기본 속성에 영향을 미치겠죠 |
|
|
|
04:15.020 --> 04:20.030 |
|
최종 목록을 만들 때 가장 먼저 기억해야 할 건 소스 공개냐, 폐쇄냐죠 |
|
|
|
04:20.150 --> 04:21.860 |
|
언제 출시됐죠? |
|
|
|
04:21.890 --> 04:26.450 |
|
개봉일이 언제고 아마 같은 날짜일 거예요 |
|
|
|
04:26.450 --> 04:30.170 |
|
하지만 중요한 건 지식의 제한이 얼마냐는 거죠 |
|
|
|
04:30.170 --> 04:31.370 |
|
날짜가 언제죠? |
|
|
|
04:31.430 --> 04:38.180 |
|
훈련 데이터의 마지막 날짜입니다 그 이후에는 현재 사건에 대한 지식이 전혀 없죠 |
|
|
|
04:38.180 --> 04:41.780 |
|
사용 사례에 따라 중요할 수도 있고 아닐 수도 있죠 |
|
|
|
04:42.200 --> 04:44.570 |
|
다음은 매개 변수의 수죠 |
|
|
|
04:44.600 --> 04:49.190 |
|
모델의 힘이 느껴질 거예요 |
|
|
|
04:49.190 --> 04:54.440 |
|
또한 앞으로의 비용에 대한 확신을 줄 수 있고 훈련 데이터가 얼마나 필요한지 |
|
|
|
04:54.440 --> 04:55.820 |
|
알 수 있죠 |
|
|
|
04:55.820 --> 04:59.630 |
|
모델을 조정하고 싶다면 잠시 후에 다시 이야기하도록 하죠 |
|
|
|
04:59.630 --> 05:04.760 |
|
모델의 크기 같은 매개변수의 개수는 훈련에서 사용된 |
|
|
|
05:04.760 --> 05:09.000 |
|
패의 개수를 기록하는 것과 같죠 |
|
|
|
05:09.000 --> 05:15.120 |
|
훈련 데이터셋의 크기는 중요한 겁니다 모델의 힘과 수준, 전문성의 |
|
|
|
05:15.150 --> 05:24.180 |
|
깊이를 다시 한 번 느끼게 될 겁니다 물론 컨텍스트 길이 컨텍스트 창의 크기도요 |
|
|
|
05:24.210 --> 05:27.750 |
|
예전에 자주 얘기했던 거요 |
|
|
|
05:27.810 --> 05:33.840 |
|
메모리에 효과적으로 저장할 수 있는 토큰의 총량을 계산하고 다음 토큰을 예측할 수 있습니다. |
|
|
|
05:33.870 --> 05:38.280 |
|
이 토큰에는 기존 시스템인 입력 프롬프트가 있어야 하는데요. |
|
|
|
05:38.280 --> 05:44.820 |
|
채팅방 사용 사례를 보면 사용자와 보조 사이의 모든 익스체인지가 |
|
|
|
05:44.820 --> 05:47.940 |
|
컨텍스트 길이에 맞아야 하죠 |
|
|
|
05:47.940 --> 05:53.970 |
|
Multi Shot PRpting을 사용할 때 모델을 추론할 시간에 |
|
|
|
05:53.970 --> 05:57.900 |
|
여러 개의 예제를 제공한다면 이 예제들을 받아들이기에 |
|
|
|
05:57.900 --> 06:03.090 |
|
충분한 컨텍스트 길이를 가지고 있는지 확인해야 해요 |
|
|
|
06:03.480 --> 06:06.450 |
|
오늘 컨텍스트 길이가 가장 긴 모델이 뭐였죠? |
|
|
|
06:06.760 --> 06:13.480 |
|
제미니 1호요 지금은 백만 개 크기의 연락처 창이 있지만 곧 |
|
|
|
06:13.480 --> 06:17.410 |
|
살펴볼 거예요 모든 컨텍스트 길이를 비교할 수 있죠 |
|
|
|
06:17.680 --> 06:19.780 |
|
이게 기본이고요 |
|
|
|
06:19.780 --> 06:23.440 |
|
여러분이 살펴볼 만한 기본으로 넘어가 보죠 |
|
|
|
06:23.440 --> 06:27.850 |
|
고려해야 할 비용이 아주 많아요 |
|
|
|
06:27.880 --> 06:32.350 |
|
조사 비용, 훈련 비용 건축 비용으로 나눴어요 |
|
|
|
06:32.350 --> 06:38.170 |
|
추론 비용은 물론 프로덕션에서 이 모델을 실행할 때마다 입력된 산출물을 생성하기 |
|
|
|
06:38.170 --> 06:40.420 |
|
위해 드는 비용은 얼마일까요? |
|
|
|
06:40.420 --> 06:43.750 |
|
간단히 말하자면요. 추측성으로 말하는 거예요. |
|
|
|
06:43.930 --> 06:49.330 |
|
오픈 소스를 다루느냐 폐쇄 소스를 다루느냐 상호 작용 방식에 따라 비용이 여러 가지 |
|
|
|
06:49.330 --> 06:51.430 |
|
유형으로 발생할 수 있어요 |
|
|
|
06:51.460 --> 06:56.500 |
|
물론 프런티어 모델에서는 API 비용을 고려합니다 입력 토큰과 |
|
|
|
06:56.500 --> 07:01.840 |
|
출력 토큰의 개수로 구성되어 있는데 API 비용에 들어가는 것이죠 |
|
|
|
07:02.170 --> 07:08.330 |
|
Pro 사용자 인터페이스나 채팅 UI를 사용하는 것에 대해 얘기할 때 구독을 |
|
|
|
07:08.330 --> 07:11.630 |
|
생각하게 됩니다 월간 구독 비용이죠 |
|
|
|
07:11.630 --> 07:16.820 |
|
여러분이 직접 실행하는 오픈 소스 모델에 관해 얘기한다면 런타임 |
|
|
|
07:16.820 --> 07:22.970 |
|
계산 비용이 있을 겁니다 Colab 비용과 비슷하죠 프로덕션으로 배포하는 |
|
|
|
07:23.000 --> 07:26.960 |
|
방법에 관해 이 과정의 마지막 주에 얘기할 거예요 |
|
|
|
07:26.990 --> 07:33.170 |
|
GPU 박스에서 프로덕션에서 모델을 실행하게 해주는 Modal 같은 플랫폼을 |
|
|
|
07:33.170 --> 07:40.430 |
|
생각해보면 클라우드에서 계산 상자를 실행하는 데 약간의 비용을 지불하게 되죠 |
|
|
|
07:40.430 --> 07:44.180 |
|
오픈 소스를 위한 계산 런타임도 또 다른 요소죠 |
|
|
|
07:44.180 --> 07:49.820 |
|
일반적으로 여러분이 여러분이 직접 훈련한 오픈 소스 모델로 작업하는 경우 추론 비용은 |
|
|
|
07:49.820 --> 07:52.400 |
|
낮아집니다 여러분 모델이니까요 |
|
|
|
07:52.400 --> 07:55.400 |
|
매번 API 비용을 지불하지 않아도 돼요 |
|
|
|
07:55.400 --> 07:58.100 |
|
하지만 명확한 계산은 아니에요 |
|
|
|
07:58.130 --> 07:59.300 |
|
사용 사례에 따라 다르죠 |
|
|
|
07:59.300 --> 08:03.350 |
|
모델 선택과 매개 변수 개수에 따라 달라요 |
|
|
|
08:04.220 --> 08:06.710 |
|
훈련 비용도 있고요 |
|
|
|
08:06.710 --> 08:13.470 |
|
틀에 박히지 않은 개척자 모델을 사용하면 훈련비가 안 들어요 |
|
|
|
08:13.470 --> 08:16.770 |
|
7주 차에 할 건데 더 세밀하게 조정하지 않으면요 |
|
|
|
08:17.010 --> 08:22.380 |
|
하지만 여러분의 도메인에 특화하고 싶은 오픈 소스 모델을 구축하는데 |
|
|
|
08:22.380 --> 08:27.810 |
|
거기에 교육 비용을 추가한다면 그에 따른 비용이 발생하겠죠 |
|
|
|
08:27.810 --> 08:29.820 |
|
그것도 고려해야 해요 |
|
|
|
08:30.000 --> 08:31.680 |
|
공사비요 |
|
|
|
08:31.740 --> 08:37.650 |
|
이 솔루션을 만드는 데 얼마나 많은 일이 필요할까요? |
|
|
|
08:37.770 --> 08:42.900 |
|
다음 제품과 밀접한 관련이 있어요 다음 제품은 출시까지 얼마나 걸릴까요? |
|
|
|
08:43.170 --> 08:47.610 |
|
개척지 모델을 쓰는 것의 장점 중 하나죠 |
|
|
|
08:47.610 --> 08:50.280 |
|
지금이 시장철인가요? |
|
|
|
08:50.280 --> 08:52.590 |
|
건축 비용은 아주 낮을 수 있죠 |
|
|
|
08:52.590 --> 08:59.640 |
|
개척 시대 모델을 이용한 강력한 해결책을 실행하려면 시간이 아주 오래 걸리지 않아요 |
|
|
|
08:59.640 --> 09:04.140 |
|
일반적으로, 여러분 고유의 오픈 소스 모델을 세밀하게 조정하려는 경우 더 오래 걸리고 |
|
|
|
09:04.140 --> 09:05.340 |
|
더 어려워지죠 |
|
|
|
09:05.490 --> 09:16.150 |
|
그게 선구 모델의 속도 제한을 높이는 데 중요한 요소입니다 제한에 부딪힐 |
|
|
|
09:16.180 --> 09:18.790 |
|
수도 있어요 |
|
|
|
09:18.790 --> 09:21.820 |
|
구독 플랜의 전형적인 경우죠 |
|
|
|
09:22.030 --> 09:25.660 |
|
요금 제한도 포함해서요 |
|
|
|
09:25.660 --> 09:30.610 |
|
API를 통한 프론티어 모델을 사용할 때도 신뢰성을 강조하죠 |
|
|
|
09:30.610 --> 09:36.430 |
|
이런 경험을 한 모델들이 있어요 GPT |
|
|
|
09:36.460 --> 09:43.930 |
|
4와 클로드 3 둘 다요 5개의 소네트 API가 에러에 반응하는데 과부하가 걸렸다는 거죠 |
|
|
|
09:43.930 --> 09:45.970 |
|
당시엔 생산하느라 너무 바빴거든요 |
|
|
|
09:45.970 --> 09:54.460 |
|
속도 한계에 관한 것이고 안정점과 속도도 있습니다 처리량과 관련된 것입니다 전체 |
|
|
|
09:54.460 --> 10:02.740 |
|
응답을 생성하는 데 얼마나 걸릴까요? 새 토큰을 생성하는 데 얼마나 걸릴까요? |
|
|
|
10:02.740 --> 10:04.780 |
|
아주 비슷하죠 |
|
|
|
10:05.050 --> 10:11.230 |
|
속도와 대기 시간 사이에는 미묘한 차이가 있어요 요청 응답 시간 같은 |
|
|
|
10:11.230 --> 10:11.980 |
|
거죠 |
|
|
|
10:12.040 --> 10:17.620 |
|
토큰 하나에 얼마나 빨리 반응하는지 물으면요? |
|
|
|
10:17.920 --> 10:25.990 |
|
기억하실지 모르겠지만 저희 항공사의 인공지능 보조 멀티모달에서 저희에게 말을 걸었어요 |
|
|
|
10:25.990 --> 10:28.090 |
|
대기 시간이 문제였어요 비트 |
|
|
|
10:28.120 --> 10:33.040 |
|
그때 언급 안 한 것 같은데 어색한 침묵이 흘렀어요 텍스트가 |
|
|
|
10:33.040 --> 10:35.260 |
|
뜨면 모델로 가니까요 |
|
|
|
10:35.260 --> 10:39.940 |
|
개척자 모델을 불러내서 음향을 생성하고 돌아와서 재생하죠 |
|
|
|
10:39.940 --> 10:45.910 |
|
이미지를 생성할 때는 더 힘들었어요 이미지가 돌아오는 데 시간이 좀 걸렸고 |
|
|
|
10:45.910 --> 10:49.510 |
|
우리는 앉아서 이미지를 기다려야 했거든요 |
|
|
|
10:49.540 --> 10:54.310 |
|
물론 프로토타입보다 더 우아하게 다룰 방법은 있지만 반드시 |
|
|
|
10:54.310 --> 10:56.200 |
|
그래야만 하는 요소죠 |
|
|
|
10:56.350 --> 11:01.330 |
|
자신의 오픈 소스 모델을 다루고 있다면 여러분이 더 통제할 수 있다는 |
|
|
|
11:01.330 --> 11:02.590 |
|
걸 기억하세요 |
|
|
|
11:02.890 --> 11:08.800 |
|
마지막으로 기본이지만 가장 중요한 건 라이선스예요 |
|
|
|
11:09.010 --> 11:12.620 |
|
오픈 소스든 비공개 소스든 말이에요 |
|
|
|
11:12.740 --> 11:20.660 |
|
라이선스 제한을 잘 아셔야 합니다 여러분이 있는 곳과 사용 금지라는 측면에서요 |
|
|
|
11:20.810 --> 11:25.130 |
|
많은 오픈 소스 모델은 오픈 라이선싱을 갖고 있어요 |
|
|
|
11:25.160 --> 11:27.380 |
|
작은 글씨가 있는 것도 있어요 |
|
|
|
11:27.380 --> 11:32.150 |
|
안정적인 확산이라는 건 상업적으로 어느 정도 사용할 수 있다는 |
|
|
|
11:32.150 --> 11:33.200 |
|
뜻인데요 |
|
|
|
11:33.200 --> 11:38.120 |
|
귀사의 수입이 일정 수준을 넘으면 안정적으로 |
|
|
|
11:38.120 --> 11:43.730 |
|
확산하는 일종의 계약 사업 협약이 필요한 시점이죠 |
|
|
|
11:43.760 --> 11:51.260 |
|
라마 3과 함께 서비스 약관에 서명하는 경험을 했어요 메타 1이요 |
|
|
|
11:51.290 --> 11:56.090 |
|
좋은 목적으로 사용하고 있는지 확인하기 위한 것이지만 라이선스의 |
|
|
|
11:56.090 --> 11:58.490 |
|
일부라는 걸 알아야 해요 |
|
|
|
11:58.520 --> 12:01.310 |
|
자, 기본은 다 됐고요 |
|
|
|
12:01.310 --> 12:07.790 |
|
성능을 더 자세히 분석하기 전에 기록해야 할 것들이죠 작업에 필요한 |
|
|
|
12:07.820 --> 12:11.240 |
|
모델의 정확성도 마찬가지고요 |
|
|
|
12:11.240 --> 12:13.880 |
|
다음 시간에 계속하죠
|
|
|