You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

502 lines
14 KiB

WEBVTT
00:00.920 --> 00:02.510
모두 다 알아요
00:02.510 --> 00:08.210
함께 여정을 시작하던 게 엊그제 같은데 벌써 4주 차가
00:08.210 --> 00:13.490
시작됐고 여정의 절반이 빠르게 다가오고 있어요
00:13.490 --> 00:17.090
이번엔 어떤 일이 벌어질까요?
00:17.210 --> 00:24.770
이번 주에는 핵심 지식을 쌓는 중요한 단계에 들어갈 거예요
00:24.770 --> 00:30.560
우리 모두에게 닥치는 어려운 질문에 관한 내용일 거예요 우리는 선택권이 너무 많다는
00:30.560 --> 00:31.070
거죠
00:31.070 --> 00:33.140
llm이 너무 많아요
00:33.140 --> 00:36.590
오픈 소스냐 폐쇄 소스냐 결정할 게 너무 많아요
00:36.590 --> 00:39.590
각 카테고리에 정말 많아요
00:39.620 --> 00:43.910
당장의 문제에 맞는 LLM을 어떻게 고르죠?
00:43.910 --> 00:46.610
그게 이번 주의 주요 주제죠
00:46.700 --> 00:53.900
추가로 오픈 소스 랜드에서 코드를 작성하는 llms를 생성할 거예요
00:53.930 --> 00:55.400
재미있을 거예요
00:55.910 --> 01:01.970
오늘 우리가 할 일은 작업에 적합한 모델을 어떻게 고르느냐에
01:01.980 --> 01:03.450
관한 거예요
01:03.450 --> 01:08.370
특성과 벤치마크에 대해 얘기하고 오픈ml leaderboard라는
01:08.370 --> 01:16.950
걸 사용할 겁니다 얼굴을 끌어안고 오픈 소스 모델 비교를 돕는 놀라운 리소스죠
01:17.550 --> 01:21.690
그 전에 먼저 8주간의 여정을 돌아보죠
01:21.690 --> 01:23.340
왼쪽에서부터 시작했어요
01:23.340 --> 01:25.320
오른쪽을 마무리할 거예요
01:25.320 --> 01:26.490
첫 주에요
01:26.490 --> 01:32.070
프런티어 모델에 관해 얘기하면서 프런티어 LMS를 6대나 비교했어요
01:32.070 --> 01:39.630
2주차에선 그래디오 에이전트화와 함께 UI를 소개했고 3주차엔 다중 양상을
01:39.660 --> 01:40.410
다뤘죠
01:40.440 --> 01:43.980
지난주엔 얼굴 맞대고 오픈 소스나 찍었잖아요
01:43.980 --> 01:49.110
허브와 상위 레벨 API 파이프라인, 토큰라이저 모델도 살펴봤습니다
01:49.110 --> 01:54.540
많은 도움이 됐기를 바랍니다 채팅 인터페이스가 어떻게 작동하고
01:54.540 --> 02:01.830
이런 종류의 사전 목록이 어떻게 토큰이 되는지에 대해서요 특별한 토큰을 llms나
02:01.830 --> 02:08.200
LMS에 공급해 다음 예상 토큰을 결과로 내놓는 거죠
02:09.190 --> 02:15.820
LMS 선택에 관한 4주 차에 접어들었죠 코드 생성 문제도 있어요 아주 흥미로울
02:15.820 --> 02:16.510
거예요
02:16.540 --> 02:18.700
5주 차가 누더기였으면 좋겠어요
02:18.700 --> 02:20.620
6주 차에는 조율을 잘해야 해요
02:20.650 --> 02:22.090
훈련 시작부터요
02:22.120 --> 02:27.970
개척지에서 훈련하고 오픈 소스를 훈련해서 전부 합쳤어요
02:28.090 --> 02:30.520
그게 8주 계획이에요
02:30.910 --> 02:36.820
오늘은 모델과 LMS 비교에 대해 얘기해보죠
02:36.820 --> 02:44.140
이번 세션에서 얻은 교훈이 있다면 가장 중요한 점은 이 LLM이 다른 것보다
02:44.170 --> 02:48.340
낫다는 간단한 답이 없다는 거예요
02:48.370 --> 02:52.360
이건 순위를 매기는 문제가 아니에요
02:52.390 --> 02:55.690
무엇을 이루고 싶은지가 중요하죠
02:55.690 --> 02:59.830
작업에 적합한 LLM을 고르는 것도 중요하죠
02:59.830 --> 03:05.420
다른 LMS를 저울질하고 요구 사항과 비교하는 게 게임 이름입니다
03:05.420 --> 03:10.160
모델을 쌍으로 연결하는 두 가지 다른 방법이 있어요
03:10.160 --> 03:14.810
첫 번째는 모델에 대한 기본적인 사실이죠
03:14.900 --> 03:18.320
모델 가격 같은 뻔한 것들이요
03:18.410 --> 03:23.630
그러면 선택할 공간이 줄어들어요 선택지가 줄어들죠
03:23.630 --> 03:29.270
다양한 모델의 기본 속성과 기본 측면을 조사하고 나면
03:29.270 --> 03:32.750
상세한 결과를 보기 시작하죠
03:32.750 --> 03:37.100
벤치마크, 리더보드 경기장을 살펴봐야 해요
03:37.100 --> 03:43.700
이 모든 걸 기반으로 여러분은 소수의 후보 llms를 갖게 됩니다 시제품
03:43.700 --> 03:50.660
제작에 사용하여 당면한 작업에 최적의 LLM을 선택할 수 있도록 하죠
03:51.500 --> 03:54.770
그럼 기본 비트부터 살펴보죠
03:55.610 --> 04:01.880
제가 기초를 비교한다고 했을 때 다른 모델에서 평가해야 할 가장 명백한
04:01.880 --> 04:03.740
점을 말하는 거예요
04:03.740 --> 04:08.960
먼저 여러분이 오픈 소스 모델을 볼 건지 비공개 소스 모델을 볼 건지 이해해야
04:08.990 --> 04:10.070
해요
04:10.070 --> 04:15.020
물론 장단점이 있고 다른 기본 속성에 영향을 미치겠죠
04:15.020 --> 04:20.030
최종 목록을 만들 때 가장 먼저 기억해야 할 건 소스 공개냐, 폐쇄냐죠
04:20.150 --> 04:21.860
언제 출시됐죠?
04:21.890 --> 04:26.450
개봉일이 언제고 아마 같은 날짜일 거예요
04:26.450 --> 04:30.170
하지만 중요한 건 지식의 제한이 얼마냐는 거죠
04:30.170 --> 04:31.370
날짜가 언제죠?
04:31.430 --> 04:38.180
훈련 데이터의 마지막 날짜입니다 그 이후에는 현재 사건에 대한 지식이 전혀 없죠
04:38.180 --> 04:41.780
사용 사례에 따라 중요할 수도 있고 아닐 수도 있죠
04:42.200 --> 04:44.570
다음은 매개 변수의 수죠
04:44.600 --> 04:49.190
모델의 힘이 느껴질 거예요
04:49.190 --> 04:54.440
또한 앞으로의 비용에 대한 확신을 줄 수 있고 훈련 데이터가 얼마나 필요한지
04:54.440 --> 04:55.820
알 수 있죠
04:55.820 --> 04:59.630
모델을 조정하고 싶다면 잠시 후에 다시 이야기하도록 하죠
04:59.630 --> 05:04.760
모델의 크기 같은 매개변수의 개수는 훈련에서 사용된
05:04.760 --> 05:09.000
패의 개수를 기록하는 것과 같죠
05:09.000 --> 05:15.120
훈련 데이터셋의 크기는 중요한 겁니다 모델의 힘과 수준, 전문성의
05:15.150 --> 05:24.180
깊이를 다시 한 번 느끼게 될 겁니다 물론 컨텍스트 길이 컨텍스트 창의 크기도요
05:24.210 --> 05:27.750
예전에 자주 얘기했던 거요
05:27.810 --> 05:33.840
메모리에 효과적으로 저장할 수 있는 토큰의 총량을 계산하고 다음 토큰을 예측할 수 있습니다.
05:33.870 --> 05:38.280
이 토큰에는 기존 시스템인 입력 프롬프트가 있어야 하는데요.
05:38.280 --> 05:44.820
채팅방 사용 사례를 보면 사용자와 보조 사이의 모든 익스체인지가
05:44.820 --> 05:47.940
컨텍스트 길이에 맞아야 하죠
05:47.940 --> 05:53.970
Multi Shot PRpting을 사용할 때 모델을 추론할 시간에
05:53.970 --> 05:57.900
여러 개의 예제를 제공한다면 이 예제들을 받아들이기에
05:57.900 --> 06:03.090
충분한 컨텍스트 길이를 가지고 있는지 확인해야 해요
06:03.480 --> 06:06.450
오늘 컨텍스트 길이가 가장 긴 모델이 뭐였죠?
06:06.760 --> 06:13.480
제미니 1호요 지금은 백만 개 크기의 연락처 창이 있지만 곧
06:13.480 --> 06:17.410
살펴볼 거예요 모든 컨텍스트 길이를 비교할 수 있죠
06:17.680 --> 06:19.780
이게 기본이고요
06:19.780 --> 06:23.440
여러분이 살펴볼 만한 기본으로 넘어가 보죠
06:23.440 --> 06:27.850
고려해야 할 비용이 아주 많아요
06:27.880 --> 06:32.350
조사 비용, 훈련 비용 건축 비용으로 나눴어요
06:32.350 --> 06:38.170
추론 비용은 물론 프로덕션에서 이 모델을 실행할 때마다 입력된 산출물을 생성하기
06:38.170 --> 06:40.420
위해 드는 비용은 얼마일까요?
06:40.420 --> 06:43.750
간단히 말하자면요. 추측성으로 말하는 거예요.
06:43.930 --> 06:49.330
오픈 소스를 다루느냐 폐쇄 소스를 다루느냐 상호 작용 방식에 따라 비용이 여러 가지
06:49.330 --> 06:51.430
유형으로 발생할 수 있어요
06:51.460 --> 06:56.500
물론 프런티어 모델에서는 API 비용을 고려합니다 입력 토큰과
06:56.500 --> 07:01.840
출력 토큰의 개수로 구성되어 있는데 API 비용에 들어가는 것이죠
07:02.170 --> 07:08.330
Pro 사용자 인터페이스나 채팅 UI를 사용하는 것에 대해 얘기할 때 구독을
07:08.330 --> 07:11.630
생각하게 됩니다 월간 구독 비용이죠
07:11.630 --> 07:16.820
여러분이 직접 실행하는 오픈 소스 모델에 관해 얘기한다면 런타임
07:16.820 --> 07:22.970
계산 비용이 있을 겁니다 Colab 비용과 비슷하죠 프로덕션으로 배포하는
07:23.000 --> 07:26.960
방법에 관해 이 과정의 마지막 주에 얘기할 거예요
07:26.990 --> 07:33.170
GPU 박스에서 프로덕션에서 모델을 실행하게 해주는 Modal 같은 플랫폼을
07:33.170 --> 07:40.430
생각해보면 클라우드에서 계산 상자를 실행하는 데 약간의 비용을 지불하게 되죠
07:40.430 --> 07:44.180
오픈 소스를 위한 계산 런타임도 또 다른 요소죠
07:44.180 --> 07:49.820
일반적으로 여러분이 여러분이 직접 훈련한 오픈 소스 모델로 작업하는 경우 추론 비용은
07:49.820 --> 07:52.400
낮아집니다 여러분 모델이니까요
07:52.400 --> 07:55.400
매번 API 비용을 지불하지 않아도 돼요
07:55.400 --> 07:58.100
하지만 명확한 계산은 아니에요
07:58.130 --> 07:59.300
사용 사례에 따라 다르죠
07:59.300 --> 08:03.350
모델 선택과 매개 변수 개수에 따라 달라요
08:04.220 --> 08:06.710
훈련 비용도 있고요
08:06.710 --> 08:13.470
틀에 박히지 않은 개척자 모델을 사용하면 훈련비가 안 들어요
08:13.470 --> 08:16.770
7주 차에 할 건데 더 세밀하게 조정하지 않으면요
08:17.010 --> 08:22.380
하지만 여러분의 도메인에 특화하고 싶은 오픈 소스 모델을 구축하는데
08:22.380 --> 08:27.810
거기에 교육 비용을 추가한다면 그에 따른 비용이 발생하겠죠
08:27.810 --> 08:29.820
그것도 고려해야 해요
08:30.000 --> 08:31.680
공사비요
08:31.740 --> 08:37.650
이 솔루션을 만드는 데 얼마나 많은 일이 필요할까요?
08:37.770 --> 08:42.900
다음 제품과 밀접한 관련이 있어요 다음 제품은 출시까지 얼마나 걸릴까요?
08:43.170 --> 08:47.610
개척지 모델을 쓰는 것의 장점 중 하나죠
08:47.610 --> 08:50.280
지금이 시장철인가요?
08:50.280 --> 08:52.590
건축 비용은 아주 낮을 수 있죠
08:52.590 --> 08:59.640
개척 시대 모델을 이용한 강력한 해결책을 실행하려면 시간이 아주 오래 걸리지 않아요
08:59.640 --> 09:04.140
일반적으로, 여러분 고유의 오픈 소스 모델을 세밀하게 조정하려는 경우 더 오래 걸리고
09:04.140 --> 09:05.340
더 어려워지죠
09:05.490 --> 09:16.150
그게 선구 모델의 속도 제한을 높이는 데 중요한 요소입니다 제한에 부딪힐
09:16.180 --> 09:18.790
수도 있어요
09:18.790 --> 09:21.820
구독 플랜의 전형적인 경우죠
09:22.030 --> 09:25.660
요금 제한도 포함해서요
09:25.660 --> 09:30.610
API를 통한 프론티어 모델을 사용할 때도 신뢰성을 강조하죠
09:30.610 --> 09:36.430
이런 경험을 한 모델들이 있어요 GPT
09:36.460 --> 09:43.930
4와 클로드 3 둘 다요 5개의 소네트 API가 에러에 반응하는데 과부하가 걸렸다는 거죠
09:43.930 --> 09:45.970
당시엔 생산하느라 너무 바빴거든요
09:45.970 --> 09:54.460
속도 한계에 관한 것이고 안정점과 속도도 있습니다 처리량과 관련된 것입니다 전체
09:54.460 --> 10:02.740
응답을 생성하는 데 얼마나 걸릴까요? 새 토큰을 생성하는 데 얼마나 걸릴까요?
10:02.740 --> 10:04.780
아주 비슷하죠
10:05.050 --> 10:11.230
속도와 대기 시간 사이에는 미묘한 차이가 있어요 요청 응답 시간 같은
10:11.230 --> 10:11.980
거죠
10:12.040 --> 10:17.620
토큰 하나에 얼마나 빨리 반응하는지 물으면요?
10:17.920 --> 10:25.990
기억하실지 모르겠지만 저희 항공사의 인공지능 보조 멀티모달에서 저희에게 말을 걸었어요
10:25.990 --> 10:28.090
대기 시간이 문제였어요 비트
10:28.120 --> 10:33.040
그때 언급 안 한 것 같은데 어색한 침묵이 흘렀어요 텍스트가
10:33.040 --> 10:35.260
뜨면 모델로 가니까요
10:35.260 --> 10:39.940
개척자 모델을 불러내서 음향을 생성하고 돌아와서 재생하죠
10:39.940 --> 10:45.910
이미지를 생성할 때는 더 힘들었어요 이미지가 돌아오는 데 시간이 좀 걸렸고
10:45.910 --> 10:49.510
우리는 앉아서 이미지를 기다려야 했거든요
10:49.540 --> 10:54.310
물론 프로토타입보다 더 우아하게 다룰 방법은 있지만 반드시
10:54.310 --> 10:56.200
그래야만 하는 요소죠
10:56.350 --> 11:01.330
자신의 오픈 소스 모델을 다루고 있다면 여러분이 더 통제할 수 있다는
11:01.330 --> 11:02.590
걸 기억하세요
11:02.890 --> 11:08.800
마지막으로 기본이지만 가장 중요한 건 라이선스예요
11:09.010 --> 11:12.620
오픈 소스든 비공개 소스든 말이에요
11:12.740 --> 11:20.660
라이선스 제한을 잘 아셔야 합니다 여러분이 있는 곳과 사용 금지라는 측면에서요
11:20.810 --> 11:25.130
많은 오픈 소스 모델은 오픈 라이선싱을 갖고 있어요
11:25.160 --> 11:27.380
작은 글씨가 있는 것도 있어요
11:27.380 --> 11:32.150
안정적인 확산이라는 건 상업적으로 어느 정도 사용할 수 있다는
11:32.150 --> 11:33.200
뜻인데요
11:33.200 --> 11:38.120
귀사의 수입이 일정 수준을 넘으면 안정적으로
11:38.120 --> 11:43.730
확산하는 일종의 계약 사업 협약이 필요한 시점이죠
11:43.760 --> 11:51.260
라마 3과 함께 서비스 약관에 서명하는 경험을 했어요 메타 1이요
11:51.290 --> 11:56.090
좋은 목적으로 사용하고 있는지 확인하기 위한 것이지만 라이선스의
11:56.090 --> 11:58.490
일부라는 걸 알아야 해요
11:58.520 --> 12:01.310
자, 기본은 다 됐고요
12:01.310 --> 12:07.790
성능을 더 자세히 분석하기 전에 기록해야 할 것들이죠 작업에 필요한
12:07.820 --> 12:11.240
모델의 정확성도 마찬가지고요
12:11.240 --> 12:13.880
다음 시간에 계속하죠