WEBVTT 00:01.400 --> 00:08.090 LMS로 상업적 문제를 해결하는 전략을 계속하겠습니다 4단계를 거치죠 모델 00:08.090 --> 00:13.040 최적화하기입니다 문제를 아주 잘 해결하기 위해서요 00:13.310 --> 00:19.220 기존의 선구 모델이나 훈련된 모델을 넘어서서 더 많은 00:19.220 --> 00:21.530 걸 끌어내는 거죠 00:21.770 --> 00:26.930 세 가지 다른 접근법이 있는데 두 가지는 이미 사용했고 한 가지는 많이 00:27.110 --> 00:33.170 사용했다는 프롬프트입니다 멀티샷 프롬프트, 여러 프롬프트가 있을 때 연결하기, 00:33.170 --> 00:36.170 도구를 사용하는 것 등이죠 00:36.170 --> 00:39.800 모두 더 나은 결과를 얻는 방법이죠. Get up! 00:39.920 --> 00:44.360 여러분이 아주 잘 아는 랙도 있어요 00:44.360 --> 00:50.270 자신의 삶을 위한 지식을 쌓을 수 있는 프로젝트를 만들었길 바라요 00:50.540 --> 00:59.240 래그와 새로운 게 있어요 파인 튜닝인데 모델이 더 나아지도록 훈련하는 00:59.240 --> 01:00.140 거예요 01:00.140 --> 01:03.260 이 세 가지 기술이 필요해요 01:03.260 --> 01:07.160 확실히 혼란스러운 상황이에요 01:07.190 --> 01:08.870 Get in get 질문이 많아요 01:08.870 --> 01:12.140 어떤 기술을 어떤 상황에서 쓸지 어떻게 결정하나요? 01:12.140 --> 01:17.390 물론 모든 기술을 함께 사용할 수도 있지만 보통은 한 가지 기술에 집중하죠 01:17.390 --> 01:19.730 적어도 처음에는요 01:19.730 --> 01:25.520 첫 두 가지 기술은 시간을 추론하는 기술이에요 01:25.520 --> 01:31.490 숙련된 모델을 취하고 추론 시간에 어떻게 즙을 더 얻을 수 있는지 알아내는 과정이죠. 01:31.490 --> 01:35.930 세 번째는 훈련 시간과 기술이에요 01:35.930 --> 01:41.720 미리 훈련된 모델을 가지고 더 많은 데이터를 공급하고 01:41.720 --> 01:46.790 무게를 조정해서 문제를 더 잘 해결하자는 거죠 01:47.510 --> 01:55.700 각각의 테크닉의 장점에 대해 아주 빠르게 말씀드릴게요 물론 01:55.700 --> 01:57.470 아주 빠르죠 01:57.500 --> 02:05.960 아주 빠르고 쉽게 다양한 프롬프트 전략을 쓸 수 있죠 도구는 예외지만 비트만 좀 더 복잡해요 02:05.960 --> 02:08.990 그래도 감은 잡으셨죠 02:08.990 --> 02:10.280 그걸 복제하면 돼요 02:10.280 --> 02:17.900 쉽게 개선되는 지점에 도달할 수 있어요 신속하게 LLM에 메시지를 보내면서 점점 더 나은 02:17.930 --> 02:20.480 결과를 내는 거죠 Get it 02:20.600 --> 02:25.280 일반적으로 아주 빠른 직접적 향상을 볼 수 있죠 02:25.280 --> 02:31.040 멀티샷 프롬프트 배경, 컨텍스트를 프롬프트 안에 추가하면 즉시 개선되죠 02:31.040 --> 02:32.450 Get up 02:32.450 --> 02:34.100 비용도 저렴하고요 02:34.130 --> 02:36.650 즉, 입력을 하면 장점이 많아요 02:37.520 --> 02:47.240 랙은 매우 정확하게 정보를 수집할 수 있습니다 LLM을 무장할 02:47.300 --> 02:54.650 수 있는 아주 구체적인 정보를 캐낼 수 있죠 02:54.680 --> 03:02.240 매우 확장 가능합니다 엄청난 양의 데이터가 쏟아져 들어올 수 있고 래그 파이프라인이 관련 컨텍스트를 03:02.240 --> 03:07.250 제거할 수 있으니까요 모델에 점점 더 큰 프롬프트를 만드는 데 추가 03:07.250 --> 03:09.560 돈을 쓰지 않아도 되죠 03:09.710 --> 03:14.630 세 번째 요점과 연결됩니다 효율적이라는 거죠 그렇게 할 수 있으니까요 03:15.140 --> 03:17.390 미세한 조율이죠 03:17.390 --> 03:19.670 어떤 혜택이 있죠? 03:19.700 --> 03:27.080 깊은 전문 지식과 전문 기술을 모델에 구축할 수 있게 해주죠 03:27.080 --> 03:33.530 아주 미묘한 방식으로 뭔가를 하는 데 뛰어난 모델을 만들 수 있어요 03:33.530 --> 03:36.470 추가적인 사실만 알려주는 게 아니에요 03:36.590 --> 03:38.600 CEO 말인데요 03:38.630 --> 03:39.620 대표 이름이 뭐였죠? 03:39.650 --> 03:40.730 에이버리 랭커스터요 03:40.730 --> 03:45.320 에이버리가 과거에 뭘 했는지 구체적인 사실만 알려주는 게 아니에요 03:45.500 --> 03:48.350 시간이 지나면서 배우는 거예요 03:48.380 --> 03:56.060 CEO들의 경력은 몰라요 인큐러 엘름 컴퍼니와 그 문화와 통신에 03:56.060 --> 03:59.000 대해 배우는 거죠 03:59.000 --> 04:07.790 더 깊은 통찰력을 얻어서 보여주는 데이터를 추론하는 인간 같은 04:07.790 --> 04:10.160 능력을 보여줘요 04:10.160 --> 04:20.660 모델의 능력과 기능을 바꾸는 훨씬 심오한 방법이죠 시간 04:20.660 --> 04:25.040 추론 기술보다요 04:25.280 --> 04:29.210 모델이 다른 스타일과 톤을 익히게 해주죠 04:29.360 --> 04:34.190 물론 일부는 그냥 요청만 하면 할 수 있습니다 앞서 시스템 프롬프트를 04:34.190 --> 04:42.710 추가하고 비꼬는 코믹한 스타일을 요청했을 때나 llms 배틀이 있었을 때 GPT 40이 상대였다면요 04:42.710 --> 04:45.410 시스템 프롬프트와 함께 할 수 있어요 04:45.410 --> 04:52.250 하지만 고객 서비스 전문가들의 스타일을 모방하는 아주 04:52.250 --> 04:58.970 섬세한 톤의 모델을 원한다면 많은 데이터를 봐야겠죠 04:59.000 --> 05:01.280 배울 점이 많아요 05:01.700 --> 05:09.620 네 번째 요점은 이 기능은 훈련에 많은 투자가 필요하지만 일단 훈련이 끝나면 05:09.620 --> 05:13.550 추론 시간에 실행할 수 있다는 거예요 05:13.550 --> 05:16.250 랙 같은 건 필요 없어요 05:16.250 --> 05:21.050 그러면 컨텍스트를 찾아서 더 이상 필요하지 않은 컨텍스트에서 제공해야 합니다 05:21.050 --> 05:24.740 왜냐하면 모델의 무게에 이미 굽어 놓았기 때문이죠 05:24.770 --> 05:26.210 더 빠르게요 05:27.020 --> 05:28.820 단점은 뭐죠? 05:28.850 --> 05:33.110 단점의 대부분은 장점을 따라가는 거죠 05:33.110 --> 05:38.810 어, 프롬프트할 때 단점 중 하나는 전체 컨텍스트 창에 의해 제한된다는 거예요 05:38.810 --> 05:44.270 물론 프롬프트에 밀어 넣는 것에는 한계가 있습니다. 다 사용한다고 05:44.270 --> 05:50.780 해도, 제미니1-5 플래시처럼 메가 컨텍스트 윈도우를 가지고 있고 백만 05:50.780 --> 05:56.150 토큰을 가지고 있다고 해도, 컨텍스트에 많은 양을 집어넣어도 05:56.220 --> 06:03.270 결과물은 감소합니다. 추론 시간 동안 학습하는 양에 비해서요. 06:03.300 --> 06:06.990 추론 자체가 느려지고 비용이 더 들죠 06:07.020 --> 06:10.080 더 많은 맥락을 끌어당기죠 06:10.080 --> 06:16.380 프롬프트 연결 같은 걸 작업하는 경우 큰 문제를 해결하기 위해 다수의 06:16.410 --> 06:19.890 추론 호출을 할 경우 모든 게 느려지죠 06:20.670 --> 06:26.370 단점을 없애고 짓는 게 더 어렵겠어요 06:26.580 --> 06:29.100 벡터 데이터베이스가 필요해요 06:29.100 --> 06:31.080 벡터 데이터베이스를 채워야 해요 06:31.380 --> 06:38.460 그래서 필요한 게 최신 정보를 제공하고 유지해야 합니다 만약 에이버리 랭커스터가 06:38.460 --> 06:44.370 CEO 자리에서 물러난다면 누더기에도 정확한 데이터가 반영되어야 06:44.370 --> 06:47.310 하겠죠 06:47.550 --> 06:49.710 뉘앙스가 부족해요 06:49.800 --> 06:57.450 데이터 뒤에 숨겨진 더 깊은 의미를 알아내는 능력이 없어요 06:57.450 --> 07:03.420 섬세 조율의 사실과 단점을 취할 뿐이죠 07:03.450 --> 07:04.710 당연히 그렇겠죠 07:04.740 --> 07:05.820 어렵네요 07:06.150 --> 07:07.920 만들기가 더 어렵죠 07:07.950 --> 07:12.180 아주 재미있을 거예요 땀도 많이 나겠지만요 07:12.180 --> 07:13.410 쉽지 않을 거예요 07:13.710 --> 07:16.320 데이터가 엄청 많이 필요해요 07:16.350 --> 07:18.510 예시가 많이 필요하죠 07:18.570 --> 07:24.360 어느 정도 전문화하고 싶은지 목표에 따라 달라요 07:24.360 --> 07:29.400 일반적으로 보면 데이터 수요가 높을 것이고 훈련 비용이 07:29.400 --> 07:30.960 들 거예요 07:30.960 --> 07:37.260 자주 언급되는 단점이 하나 더 있어요 재앙적 망각이라고 하는데 아주 07:37.260 --> 07:38.910 심각하게 들려요 07:38.910 --> 07:46.320 치명적인 망각이란 미리 훈련된 라마 3 같은 07:46.680 --> 07:54.480 모델을 말하는 거예요 Get 1 많은 양의 데이터로 미세 조정하면 여러분의 문제 해결에 07:54.480 --> 07:57.480 점점 더 나아집니다 시간이 지나면 그렇게 되죠 07:57.510 --> 08:05.220 훈련 시간이 지나면서 기본 모델의 기본 정보를 잊기 시작할 겁니다 그 결과 품질의 일부가 08:05.220 --> 08:11.880 떨어질 수 있어요 여러분이 훈련하는 특정 종류의 질문을 벗어나면요 08:12.090 --> 08:21.120 그런 행동이 눈에 띄었고 우려스러운 결과도 있었어요 08:21.120 --> 08:27.450 기본 모델에서 어떤 정보도 잃지 않도록 해야만 한다면 그게 여러분의 성능에 영향을 08:27.450 --> 08:30.270 미친다면 이걸 조심해야 해요 08:31.410 --> 08:32.160 좋아요 08:32.160 --> 08:39.570 마무리로 이 말만 할게요 보통 프롬프트할 때 프롬프트를 사용하는 시간은 08:39.570 --> 08:44.430 프로젝트의 시작점으로 자주 사용돼요 08:44.460 --> 08:49.830 종종 첫 번째 모델은 프런티어 모델일 수 있습니다. 프롬프트 08:49.830 --> 09:00.780 기능을 추가하는 방법으로 사용할 수도 있습니다. 퍼포먼스 래그는 정확성이 필요한 특정한 경우에 사용하죠. 09:00.930 --> 09:06.780 훈련에 추가 비용을 쓰고 싶지 않고 이미 존재하는 데이터 기반도 갖고 싶지 않죠 09:06.810 --> 09:07.020 그럼 말이죠 09:07.050 --> 09:13.770 그러면 래그 워크플로우에 완벽하게 적응하게 됩니다 미세 튜닝은 특별한 작업을 수행하는 09:13.800 --> 09:19.110 것이고 데이터의 양이 매우 많기 때문에 최고의 성능이 필요하죠 09:19.350 --> 09:22.980 뉘앙스도 있어야 하고요 09:22.980 --> 09:28.650 물론 우리 제품 가격 예측기가 처한 상황이죠 09:28.650 --> 09:30.060 데이터는 많아요 09:30.060 --> 09:31.650 특별한 작업이 있어요 09:31.650 --> 09:39.030 우리는 최고의 성능을 원하고 제품에 대한 미묘한 이해도 원합니다 그래서 훌륭한 09:39.030 --> 09:43.410 제품 가격의 차이를 만들 수 있어야 하죠 09:44.430 --> 09:51.030 여기서 잠시 멈추고 전략 섹션을 마무리하러 돌아오겠습니다 그 후에 09:51.030 --> 09:55.170 데이터로 돌아가 큐레이션으로 가죠