WEBVTT 00:00.920 --> 00:02.510 모두 다 알아요 00:02.510 --> 00:08.210 함께 여정을 시작하던 게 엊그제 같은데 벌써 4주 차가 00:08.210 --> 00:13.490 시작됐고 여정의 절반이 빠르게 다가오고 있어요 00:13.490 --> 00:17.090 이번엔 어떤 일이 벌어질까요? 00:17.210 --> 00:24.770 이번 주에는 핵심 지식을 쌓는 중요한 단계에 들어갈 거예요 00:24.770 --> 00:30.560 우리 모두에게 닥치는 어려운 질문에 관한 내용일 거예요 우리는 선택권이 너무 많다는 00:30.560 --> 00:31.070 거죠 00:31.070 --> 00:33.140 llm이 너무 많아요 00:33.140 --> 00:36.590 오픈 소스냐 폐쇄 소스냐 결정할 게 너무 많아요 00:36.590 --> 00:39.590 각 카테고리에 정말 많아요 00:39.620 --> 00:43.910 당장의 문제에 맞는 LLM을 어떻게 고르죠? 00:43.910 --> 00:46.610 그게 이번 주의 주요 주제죠 00:46.700 --> 00:53.900 추가로 오픈 소스 랜드에서 코드를 작성하는 llms를 생성할 거예요 00:53.930 --> 00:55.400 재미있을 거예요 00:55.910 --> 01:01.970 오늘 우리가 할 일은 작업에 적합한 모델을 어떻게 고르느냐에 01:01.980 --> 01:03.450 관한 거예요 01:03.450 --> 01:08.370 특성과 벤치마크에 대해 얘기하고 오픈ml leaderboard라는 01:08.370 --> 01:16.950 걸 사용할 겁니다 얼굴을 끌어안고 오픈 소스 모델 비교를 돕는 놀라운 리소스죠 01:17.550 --> 01:21.690 그 전에 먼저 8주간의 여정을 돌아보죠 01:21.690 --> 01:23.340 왼쪽에서부터 시작했어요 01:23.340 --> 01:25.320 오른쪽을 마무리할 거예요 01:25.320 --> 01:26.490 첫 주에요 01:26.490 --> 01:32.070 프런티어 모델에 관해 얘기하면서 프런티어 LMS를 6대나 비교했어요 01:32.070 --> 01:39.630 2주차에선 그래디오 에이전트화와 함께 UI를 소개했고 3주차엔 다중 양상을 01:39.660 --> 01:40.410 다뤘죠 01:40.440 --> 01:43.980 지난주엔 얼굴 맞대고 오픈 소스나 찍었잖아요 01:43.980 --> 01:49.110 허브와 상위 레벨 API 파이프라인, 토큰라이저 모델도 살펴봤습니다 01:49.110 --> 01:54.540 많은 도움이 됐기를 바랍니다 채팅 인터페이스가 어떻게 작동하고 01:54.540 --> 02:01.830 이런 종류의 사전 목록이 어떻게 토큰이 되는지에 대해서요 특별한 토큰을 llms나 02:01.830 --> 02:08.200 LMS에 공급해 다음 예상 토큰을 결과로 내놓는 거죠 02:09.190 --> 02:15.820 LMS 선택에 관한 4주 차에 접어들었죠 코드 생성 문제도 있어요 아주 흥미로울 02:15.820 --> 02:16.510 거예요 02:16.540 --> 02:18.700 5주 차가 누더기였으면 좋겠어요 02:18.700 --> 02:20.620 6주 차에는 조율을 잘해야 해요 02:20.650 --> 02:22.090 훈련 시작부터요 02:22.120 --> 02:27.970 개척지에서 훈련하고 오픈 소스를 훈련해서 전부 합쳤어요 02:28.090 --> 02:30.520 그게 8주 계획이에요 02:30.910 --> 02:36.820 오늘은 모델과 LMS 비교에 대해 얘기해보죠 02:36.820 --> 02:44.140 이번 세션에서 얻은 교훈이 있다면 가장 중요한 점은 이 LLM이 다른 것보다 02:44.170 --> 02:48.340 낫다는 간단한 답이 없다는 거예요 02:48.370 --> 02:52.360 이건 순위를 매기는 문제가 아니에요 02:52.390 --> 02:55.690 무엇을 이루고 싶은지가 중요하죠 02:55.690 --> 02:59.830 작업에 적합한 LLM을 고르는 것도 중요하죠 02:59.830 --> 03:05.420 다른 LMS를 저울질하고 요구 사항과 비교하는 게 게임 이름입니다 03:05.420 --> 03:10.160 모델을 쌍으로 연결하는 두 가지 다른 방법이 있어요 03:10.160 --> 03:14.810 첫 번째는 모델에 대한 기본적인 사실이죠 03:14.900 --> 03:18.320 모델 가격 같은 뻔한 것들이요 03:18.410 --> 03:23.630 그러면 선택할 공간이 줄어들어요 선택지가 줄어들죠 03:23.630 --> 03:29.270 다양한 모델의 기본 속성과 기본 측면을 조사하고 나면 03:29.270 --> 03:32.750 상세한 결과를 보기 시작하죠 03:32.750 --> 03:37.100 벤치마크, 리더보드 경기장을 살펴봐야 해요 03:37.100 --> 03:43.700 이 모든 걸 기반으로 여러분은 소수의 후보 llms를 갖게 됩니다 시제품 03:43.700 --> 03:50.660 제작에 사용하여 당면한 작업에 최적의 LLM을 선택할 수 있도록 하죠 03:51.500 --> 03:54.770 그럼 기본 비트부터 살펴보죠 03:55.610 --> 04:01.880 제가 기초를 비교한다고 했을 때 다른 모델에서 평가해야 할 가장 명백한 04:01.880 --> 04:03.740 점을 말하는 거예요 04:03.740 --> 04:08.960 먼저 여러분이 오픈 소스 모델을 볼 건지 비공개 소스 모델을 볼 건지 이해해야 04:08.990 --> 04:10.070 해요 04:10.070 --> 04:15.020 물론 장단점이 있고 다른 기본 속성에 영향을 미치겠죠 04:15.020 --> 04:20.030 최종 목록을 만들 때 가장 먼저 기억해야 할 건 소스 공개냐, 폐쇄냐죠 04:20.150 --> 04:21.860 언제 출시됐죠? 04:21.890 --> 04:26.450 개봉일이 언제고 아마 같은 날짜일 거예요 04:26.450 --> 04:30.170 하지만 중요한 건 지식의 제한이 얼마냐는 거죠 04:30.170 --> 04:31.370 날짜가 언제죠? 04:31.430 --> 04:38.180 훈련 데이터의 마지막 날짜입니다 그 이후에는 현재 사건에 대한 지식이 전혀 없죠 04:38.180 --> 04:41.780 사용 사례에 따라 중요할 수도 있고 아닐 수도 있죠 04:42.200 --> 04:44.570 다음은 매개 변수의 수죠 04:44.600 --> 04:49.190 모델의 힘이 느껴질 거예요 04:49.190 --> 04:54.440 또한 앞으로의 비용에 대한 확신을 줄 수 있고 훈련 데이터가 얼마나 필요한지 04:54.440 --> 04:55.820 알 수 있죠 04:55.820 --> 04:59.630 모델을 조정하고 싶다면 잠시 후에 다시 이야기하도록 하죠 04:59.630 --> 05:04.760 모델의 크기 같은 매개변수의 개수는 훈련에서 사용된 05:04.760 --> 05:09.000 패의 개수를 기록하는 것과 같죠 05:09.000 --> 05:15.120 훈련 데이터셋의 크기는 중요한 겁니다 모델의 힘과 수준, 전문성의 05:15.150 --> 05:24.180 깊이를 다시 한 번 느끼게 될 겁니다 물론 컨텍스트 길이 컨텍스트 창의 크기도요 05:24.210 --> 05:27.750 예전에 자주 얘기했던 거요 05:27.810 --> 05:33.840 메모리에 효과적으로 저장할 수 있는 토큰의 총량을 계산하고 다음 토큰을 예측할 수 있습니다. 05:33.870 --> 05:38.280 이 토큰에는 기존 시스템인 입력 프롬프트가 있어야 하는데요. 05:38.280 --> 05:44.820 채팅방 사용 사례를 보면 사용자와 보조 사이의 모든 익스체인지가 05:44.820 --> 05:47.940 컨텍스트 길이에 맞아야 하죠 05:47.940 --> 05:53.970 Multi Shot PRpting을 사용할 때 모델을 추론할 시간에 05:53.970 --> 05:57.900 여러 개의 예제를 제공한다면 이 예제들을 받아들이기에 05:57.900 --> 06:03.090 충분한 컨텍스트 길이를 가지고 있는지 확인해야 해요 06:03.480 --> 06:06.450 오늘 컨텍스트 길이가 가장 긴 모델이 뭐였죠? 06:06.760 --> 06:13.480 제미니 1호요 지금은 백만 개 크기의 연락처 창이 있지만 곧 06:13.480 --> 06:17.410 살펴볼 거예요 모든 컨텍스트 길이를 비교할 수 있죠 06:17.680 --> 06:19.780 이게 기본이고요 06:19.780 --> 06:23.440 여러분이 살펴볼 만한 기본으로 넘어가 보죠 06:23.440 --> 06:27.850 고려해야 할 비용이 아주 많아요 06:27.880 --> 06:32.350 조사 비용, 훈련 비용 건축 비용으로 나눴어요 06:32.350 --> 06:38.170 추론 비용은 물론 프로덕션에서 이 모델을 실행할 때마다 입력된 산출물을 생성하기 06:38.170 --> 06:40.420 위해 드는 비용은 얼마일까요? 06:40.420 --> 06:43.750 간단히 말하자면요. 추측성으로 말하는 거예요. 06:43.930 --> 06:49.330 오픈 소스를 다루느냐 폐쇄 소스를 다루느냐 상호 작용 방식에 따라 비용이 여러 가지 06:49.330 --> 06:51.430 유형으로 발생할 수 있어요 06:51.460 --> 06:56.500 물론 프런티어 모델에서는 API 비용을 고려합니다 입력 토큰과 06:56.500 --> 07:01.840 출력 토큰의 개수로 구성되어 있는데 API 비용에 들어가는 것이죠 07:02.170 --> 07:08.330 Pro 사용자 인터페이스나 채팅 UI를 사용하는 것에 대해 얘기할 때 구독을 07:08.330 --> 07:11.630 생각하게 됩니다 월간 구독 비용이죠 07:11.630 --> 07:16.820 여러분이 직접 실행하는 오픈 소스 모델에 관해 얘기한다면 런타임 07:16.820 --> 07:22.970 계산 비용이 있을 겁니다 Colab 비용과 비슷하죠 프로덕션으로 배포하는 07:23.000 --> 07:26.960 방법에 관해 이 과정의 마지막 주에 얘기할 거예요 07:26.990 --> 07:33.170 GPU 박스에서 프로덕션에서 모델을 실행하게 해주는 Modal 같은 플랫폼을 07:33.170 --> 07:40.430 생각해보면 클라우드에서 계산 상자를 실행하는 데 약간의 비용을 지불하게 되죠 07:40.430 --> 07:44.180 오픈 소스를 위한 계산 런타임도 또 다른 요소죠 07:44.180 --> 07:49.820 일반적으로 여러분이 여러분이 직접 훈련한 오픈 소스 모델로 작업하는 경우 추론 비용은 07:49.820 --> 07:52.400 낮아집니다 여러분 모델이니까요 07:52.400 --> 07:55.400 매번 API 비용을 지불하지 않아도 돼요 07:55.400 --> 07:58.100 하지만 명확한 계산은 아니에요 07:58.130 --> 07:59.300 사용 사례에 따라 다르죠 07:59.300 --> 08:03.350 모델 선택과 매개 변수 개수에 따라 달라요 08:04.220 --> 08:06.710 훈련 비용도 있고요 08:06.710 --> 08:13.470 틀에 박히지 않은 개척자 모델을 사용하면 훈련비가 안 들어요 08:13.470 --> 08:16.770 7주 차에 할 건데 더 세밀하게 조정하지 않으면요 08:17.010 --> 08:22.380 하지만 여러분의 도메인에 특화하고 싶은 오픈 소스 모델을 구축하는데 08:22.380 --> 08:27.810 거기에 교육 비용을 추가한다면 그에 따른 비용이 발생하겠죠 08:27.810 --> 08:29.820 그것도 고려해야 해요 08:30.000 --> 08:31.680 공사비요 08:31.740 --> 08:37.650 이 솔루션을 만드는 데 얼마나 많은 일이 필요할까요? 08:37.770 --> 08:42.900 다음 제품과 밀접한 관련이 있어요 다음 제품은 출시까지 얼마나 걸릴까요? 08:43.170 --> 08:47.610 개척지 모델을 쓰는 것의 장점 중 하나죠 08:47.610 --> 08:50.280 지금이 시장철인가요? 08:50.280 --> 08:52.590 건축 비용은 아주 낮을 수 있죠 08:52.590 --> 08:59.640 개척 시대 모델을 이용한 강력한 해결책을 실행하려면 시간이 아주 오래 걸리지 않아요 08:59.640 --> 09:04.140 일반적으로, 여러분 고유의 오픈 소스 모델을 세밀하게 조정하려는 경우 더 오래 걸리고 09:04.140 --> 09:05.340 더 어려워지죠 09:05.490 --> 09:16.150 그게 선구 모델의 속도 제한을 높이는 데 중요한 요소입니다 제한에 부딪힐 09:16.180 --> 09:18.790 수도 있어요 09:18.790 --> 09:21.820 구독 플랜의 전형적인 경우죠 09:22.030 --> 09:25.660 요금 제한도 포함해서요 09:25.660 --> 09:30.610 API를 통한 프론티어 모델을 사용할 때도 신뢰성을 강조하죠 09:30.610 --> 09:36.430 이런 경험을 한 모델들이 있어요 GPT 09:36.460 --> 09:43.930 4와 클로드 3 둘 다요 5개의 소네트 API가 에러에 반응하는데 과부하가 걸렸다는 거죠 09:43.930 --> 09:45.970 당시엔 생산하느라 너무 바빴거든요 09:45.970 --> 09:54.460 속도 한계에 관한 것이고 안정점과 속도도 있습니다 처리량과 관련된 것입니다 전체 09:54.460 --> 10:02.740 응답을 생성하는 데 얼마나 걸릴까요? 새 토큰을 생성하는 데 얼마나 걸릴까요? 10:02.740 --> 10:04.780 아주 비슷하죠 10:05.050 --> 10:11.230 속도와 대기 시간 사이에는 미묘한 차이가 있어요 요청 응답 시간 같은 10:11.230 --> 10:11.980 거죠 10:12.040 --> 10:17.620 토큰 하나에 얼마나 빨리 반응하는지 물으면요? 10:17.920 --> 10:25.990 기억하실지 모르겠지만 저희 항공사의 인공지능 보조 멀티모달에서 저희에게 말을 걸었어요 10:25.990 --> 10:28.090 대기 시간이 문제였어요 비트 10:28.120 --> 10:33.040 그때 언급 안 한 것 같은데 어색한 침묵이 흘렀어요 텍스트가 10:33.040 --> 10:35.260 뜨면 모델로 가니까요 10:35.260 --> 10:39.940 개척자 모델을 불러내서 음향을 생성하고 돌아와서 재생하죠 10:39.940 --> 10:45.910 이미지를 생성할 때는 더 힘들었어요 이미지가 돌아오는 데 시간이 좀 걸렸고 10:45.910 --> 10:49.510 우리는 앉아서 이미지를 기다려야 했거든요 10:49.540 --> 10:54.310 물론 프로토타입보다 더 우아하게 다룰 방법은 있지만 반드시 10:54.310 --> 10:56.200 그래야만 하는 요소죠 10:56.350 --> 11:01.330 자신의 오픈 소스 모델을 다루고 있다면 여러분이 더 통제할 수 있다는 11:01.330 --> 11:02.590 걸 기억하세요 11:02.890 --> 11:08.800 마지막으로 기본이지만 가장 중요한 건 라이선스예요 11:09.010 --> 11:12.620 오픈 소스든 비공개 소스든 말이에요 11:12.740 --> 11:20.660 라이선스 제한을 잘 아셔야 합니다 여러분이 있는 곳과 사용 금지라는 측면에서요 11:20.810 --> 11:25.130 많은 오픈 소스 모델은 오픈 라이선싱을 갖고 있어요 11:25.160 --> 11:27.380 작은 글씨가 있는 것도 있어요 11:27.380 --> 11:32.150 안정적인 확산이라는 건 상업적으로 어느 정도 사용할 수 있다는 11:32.150 --> 11:33.200 뜻인데요 11:33.200 --> 11:38.120 귀사의 수입이 일정 수준을 넘으면 안정적으로 11:38.120 --> 11:43.730 확산하는 일종의 계약 사업 협약이 필요한 시점이죠 11:43.760 --> 11:51.260 라마 3과 함께 서비스 약관에 서명하는 경험을 했어요 메타 1이요 11:51.290 --> 11:56.090 좋은 목적으로 사용하고 있는지 확인하기 위한 것이지만 라이선스의 11:56.090 --> 11:58.490 일부라는 걸 알아야 해요 11:58.520 --> 12:01.310 자, 기본은 다 됐고요 12:01.310 --> 12:07.790 성능을 더 자세히 분석하기 전에 기록해야 할 것들이죠 작업에 필요한 12:07.820 --> 12:11.240 모델의 정확성도 마찬가지고요 12:11.240 --> 12:13.880 다음 시간에 계속하죠