From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
310 lines
9.4 KiB
310 lines
9.4 KiB
WEBVTT |
|
|
|
00:00.770 --> 00:02.240 |
|
6주 차에 잘 오셨어요 |
|
|
|
00:02.240 --> 00:03.320 |
|
하루 이틀씩요 |
|
|
|
00:03.320 --> 00:09.560 |
|
데이터로 돌아가면 데이터셋에 분노하며 돌아봅니다 엄청난 양의 데이터셋을 구축해서 |
|
|
|
00:09.590 --> 00:13.520 |
|
훈련할 때 진척이 있게 할 거예요 Get it |
|
|
|
00:13.640 --> 00:18.470 |
|
하지만 먼저, 오늘 수업은 대부분 대화를 나눌 거예요 |
|
|
|
00:18.470 --> 00:24.380 |
|
전략에 대해 이야기하는 세션이 될 것입니다. 아주 흥미로운 내용은 아닐 것입니다. |
|
|
|
00:24.380 --> 00:29.630 |
|
왜 등록했는지는 모르겠지만 매우 중요한 내용이죠. |
|
|
|
00:29.630 --> 00:34.880 |
|
이건 좋은 기본 정보예요 올바른 방식으로 접근하고 있다는 걸 확실히 |
|
|
|
00:34.880 --> 00:36.050 |
|
해줄 거예요 |
|
|
|
00:36.050 --> 00:42.170 |
|
특히 전략에 대해 말씀드리고 싶습니다 비즈니스 문제에 직면하는 것에서부터 프로덕션에서 |
|
|
|
00:42.170 --> 00:48.020 |
|
LM 솔루션으로 가는 방법과 그 경로를 따라 진행되는 단계에 대해서요 |
|
|
|
00:48.020 --> 00:52.340 |
|
지금 말씀드리고 싶은 건 우리가 그걸 하려고 하기 때문에 그 연습을 통해 진짜 상업적 |
|
|
|
00:52.340 --> 00:54.170 |
|
문제를 해결할 거라는 거예요 |
|
|
|
00:54.170 --> 00:59.340 |
|
우리가 겪는 여정에 공감하는 게 중요해요 여러분도 |
|
|
|
00:59.340 --> 01:02.550 |
|
사업 문제로 똑같이 할 테니까요 |
|
|
|
01:02.580 --> 01:08.250 |
|
잠시 시간을 내서 우리가 설명할 세 가지 테크닉을 비교해 보죠 모델 |
|
|
|
01:08.250 --> 01:11.640 |
|
최적화에 관해선 이미 얘기했죠 |
|
|
|
01:11.640 --> 01:16.590 |
|
랙을 사용하든 미세 튜닝을 하든 말이에요 |
|
|
|
01:16.590 --> 01:23.100 |
|
많은 혼란이 있었어요 어떤 상황에서 그런 다양한 접근법 중 하나를 선택해야 하는지에 대해서요 |
|
|
|
01:23.100 --> 01:29.040 |
|
어떤 기술을 사용할지 어떻게 결정하는지 구체적인 예를 들어 설명해 |
|
|
|
01:29.070 --> 01:30.270 |
|
드릴게요 |
|
|
|
01:31.050 --> 01:38.970 |
|
그럼 먼저 상업적 문제에 모델을 적용하는 5단계 전략을 말씀드리죠 |
|
|
|
01:39.510 --> 01:42.150 |
|
첫 단계는 이해예요 |
|
|
|
01:42.150 --> 01:47.130 |
|
사업 요구 사항을 깊이 파고들고 어떤 문제를 해결하는지 이해하는 게 |
|
|
|
01:47.130 --> 01:47.940 |
|
중요해요 |
|
|
|
01:47.940 --> 01:49.560 |
|
성공을 어떻게 판단하죠? |
|
|
|
01:49.560 --> 01:56.470 |
|
비기능적인 건 무엇인지 잠시 후 얘기하고 신중하게 문서화한 준비에 |
|
|
|
01:56.560 --> 02:06.430 |
|
관한 겁니다 기준 모델 테스트와 데이터 집합 큐레이팅 같은 거죠 앞으로 닥칠 일에 일반적으로 |
|
|
|
02:06.430 --> 02:08.620 |
|
대비하는 거예요 |
|
|
|
02:08.620 --> 02:14.800 |
|
가장 먼저 할 일은 모델을 선택하는 겁니다 여러분이 사용할 모델이나 |
|
|
|
02:14.800 --> 02:19.990 |
|
프로젝트 REST의 일부로 사용할 몇 가지 모델이요 |
|
|
|
02:19.990 --> 02:25.210 |
|
여기서 타이가 지난 주 내용을 많이 끌어낼 거예요 |
|
|
|
02:25.210 --> 02:30.430 |
|
순위표를 보고 여러 모델의 장단점을 분석했죠 |
|
|
|
02:30.910 --> 02:38.890 |
|
고객 맞춤화는 래그나 미세 튜닝 같은 중요한 기술을 이용해 모델의 느낌을 더 살리는 작업이에요 |
|
|
|
02:38.890 --> 02:44.650 |
|
그리고 전혀 언급하지 않았지만 매우 중요한 걸 제작하죠 그렇게 모델을 |
|
|
|
02:44.650 --> 02:49.600 |
|
만들고 훈련한 후에 성능이 아주 좋아져요 |
|
|
|
02:49.600 --> 02:50.710 |
|
그다음은요? |
|
|
|
02:50.710 --> 02:57.950 |
|
우리가 해킹해 온 주피터 노트 같은 게 생산될 것 같지는 않으니까요 |
|
|
|
02:57.950 --> 03:01.280 |
|
뭔가 더 해야 합니다 잠시 후 그 얘기를 하죠 |
|
|
|
03:02.030 --> 03:03.800 |
|
1단계부터 시작하죠 |
|
|
|
03:03.800 --> 03:06.680 |
|
이해심과 상식의 문제죠 |
|
|
|
03:06.680 --> 03:08.720 |
|
하지만 이런 건 아무리 말해도 모자라요 |
|
|
|
03:08.720 --> 03:13.100 |
|
아주 간략하게 비즈니스 요구 사항을 모아야 해요 |
|
|
|
03:13.100 --> 03:14.960 |
|
평가를 해야죠 |
|
|
|
03:14.960 --> 03:18.650 |
|
성공을 어떻게 측정할지 미리 이해해야 해요 |
|
|
|
03:18.650 --> 03:20.000 |
|
아주 중요하죠 |
|
|
|
03:20.000 --> 03:25.820 |
|
우리가 잘 아는 데이터 과학 지표뿐 아니라 여러분의 사용자와 비즈니스 |
|
|
|
03:25.820 --> 03:31.490 |
|
스폰서는 프로젝트가 목표를 달성했는지 어떻게 결정할까요? |
|
|
|
03:31.490 --> 03:38.210 |
|
직접적인 영향력은 없지만 이해해야 하는 비즈니스 척도는 무엇일까요? |
|
|
|
03:38.600 --> 03:42.710 |
|
우리가 작업한 데이터 양을 살펴봐야 해요 |
|
|
|
03:42.740 --> 03:43.460 |
|
얼마예요? |
|
|
|
03:43.490 --> 03:46.460 |
|
DQ가 뭐고 데이터 품질은 어떤지 말이에요 |
|
|
|
03:46.460 --> 03:50.540 |
|
형식은 구조적인가요? 비구조적인가요? 아니면 둘 다인가요? |
|
|
|
03:50.540 --> 03:55.990 |
|
깊이 이해하도록 하세요 여러분이 선택한 모델과 그에 접근하는 방식에 |
|
|
|
03:55.990 --> 03:58.150 |
|
영향을 미치니까요 |
|
|
|
03:58.780 --> 04:01.510 |
|
비기능적 요구 사항을 결정하는 거죠 |
|
|
|
04:01.540 --> 04:08.770 |
|
비기능적인 것은 예산 같은 것입니다 얼마나 규모를 키우고 대기 시간을 줄여야 하는지 모델로부터의 응답을 |
|
|
|
04:08.800 --> 04:13.780 |
|
얼마나 기다려야 하는지 같은 것입니다 아주 짧은 시간 내에 응답이 와야 하는지를 |
|
|
|
04:13.780 --> 04:15.130 |
|
알 수 있죠 |
|
|
|
04:15.280 --> 04:18.550 |
|
시장에 내놓을 시간도 이해해야 하고요 |
|
|
|
04:18.580 --> 04:24.070 |
|
아주 짧은 시간 안에 만들어야 한다는 조건이 있나요? 아니면 이걸 작업할 시간이 있나요? |
|
|
|
04:24.070 --> 04:27.940 |
|
물론 짧은 시간 내에 필요한 것이라면 API를 이용한 |
|
|
|
04:27.970 --> 04:30.280 |
|
프런티어 모델에 적합하죠 |
|
|
|
04:30.280 --> 04:35.080 |
|
사용자 인터페이스에 관해서는 그래디오 같은 것이 몇 분 안에 |
|
|
|
04:35.110 --> 04:36.940 |
|
실행할 수 있게 해주죠 |
|
|
|
04:36.940 --> 04:41.140 |
|
앞으로의 결정에 영향을 줄 거예요 |
|
|
|
04:42.160 --> 04:46.900 |
|
준비 단계에는 세 가지 활동이 있어요 |
|
|
|
04:46.900 --> 04:52.790 |
|
먼저, 이미 시중에 나와 있는 게 뭔지 알아야 합니다 현존하는 솔루션이 뭔지요 |
|
|
|
04:52.790 --> 04:59.270 |
|
오늘 이 문제를 해결하고 성능과 현재 하는 일을 잘 파악할 수 있게 될 거예요 get it |
|
|
|
04:59.300 --> 05:05.210 |
|
그 일환으로 데이터 과학이 전혀 포함되지 않은 솔루션을 찾아보세요 |
|
|
|
05:05.240 --> 05:10.190 |
|
if문이 몇 개 있는 솔루션도 있을 수 있고 전통적인 데이터 과학 솔루션도 |
|
|
|
05:10.190 --> 05:14.330 |
|
있을 수 있어요 예를 들면 선형 회귀 모델 같은 거요 |
|
|
|
05:14.330 --> 05:17.840 |
|
제품 가격을 예측하려는 것이라면요 |
|
|
|
05:17.930 --> 05:21.620 |
|
그럼 처음 가는 곳이 되겠네요 |
|
|
|
05:22.040 --> 05:28.100 |
|
LLM이 이미 있는 것 혹은 기존 모델을 크게 능가할 거라는 데에는 |
|
|
|
05:28.100 --> 05:31.940 |
|
의심의 여지가 없다고 말할 수도 있겠죠 |
|
|
|
05:31.940 --> 05:33.680 |
|
오늘 상태가 어떻든 상관없어요 |
|
|
|
05:33.680 --> 05:37.520 |
|
대답은 여전히 이렇게 할 가치가 있다는 거죠 기준선을 제공하니까요 |
|
|
|
05:37.520 --> 05:43.580 |
|
여러분이 개선할 부분을 표시하는 시작점을 제공하고 새로운 모델에 |
|
|
|
05:43.580 --> 05:48.150 |
|
투자한 만큼 퀀트화하여 개선된 점을 보여줄 수 있죠 |
|
|
|
05:48.150 --> 05:53.130 |
|
기준점만 따져도 좋은 운동이 될 수 있어요 |
|
|
|
05:53.130 --> 05:56.220 |
|
하지만 그보다 이미 존재하는 걸 알아야 해요 |
|
|
|
05:57.120 --> 06:00.480 |
|
그리고 관련 LMS를 비교하죠 |
|
|
|
06:00.480 --> 06:06.240 |
|
먼저, 기억하시겠지만 이걸 기본으로 나눴죠 가격, 컨텍스트 길이 |
|
|
|
06:06.270 --> 06:10.200 |
|
라이선싱 제약 조건 그리고 벤치마크 같은 거요 |
|
|
|
06:10.200 --> 06:16.710 |
|
순위표와 경기장을 보면서 이 특정 작업에 대해 어떤 전문적인 점수가 |
|
|
|
06:16.710 --> 06:18.960 |
|
있는지 이해하게 되죠 |
|
|
|
06:18.990 --> 06:23.370 |
|
물개 전문가의 리더보드 같은 걸 사용해서요 |
|
|
|
06:23.490 --> 06:31.410 |
|
지난번에 언급했던 컴과 데이터를 큐레이팅하고 스크래핑하고 사전 프로세싱하는 거죠 |
|
|
|
06:31.410 --> 06:35.910 |
|
그리고 아직 특별히 다루지 않은 게 있는데 데이터 집합 분할이에요 |
|
|
|
06:35.940 --> 06:42.060 |
|
일반적으로 모든 데이터를 트레이닝 데이터로 나누고 모델을 평가할 때 유효성 |
|
|
|
06:42.090 --> 06:46.610 |
|
검증을 위해 일부를 예약합니다 그리고 테스트를 위해 마지막 |
|
|
|
06:46.610 --> 06:48.980 |
|
일부를 예약하죠 |
|
|
|
06:48.980 --> 06:54.080 |
|
끝까지 유지해야 하죠 하이퍼파라미터 수정을 위한 유효성 검증을 사용할 |
|
|
|
06:54.080 --> 06:56.090 |
|
수 있고 모든 게 제대로 되죠 |
|
|
|
06:56.090 --> 07:02.870 |
|
그리고 마지막에는 이 테스트를 이용해 모델의 궁극적인 성공을 측정하세요 |
|
|
|
07:03.410 --> 07:09.680 |
|
데이터를 정리하고 사전 프로세싱하는 건 우리가 해온 파싱이에요 |
|
|
|
07:09.680 --> 07:14.630 |
|
그리고 궁극적으로 나누는 건 준비 과정의 일부죠 |
|
|
|
07:15.110 --> 07:23.720 |
|
선택은 이미 했던 건데요 기준에 기반해 LMS를 선택하고 실험하고 여러분이 |
|
|
|
07:23.720 --> 07:29.570 |
|
엄선한 데이터로 훈련하고 유효성을 검사하죠 |
|
|
|
07:29.570 --> 07:30.620 |
|
아직 안 했어요 |
|
|
|
07:30.650 --> 07:33.560 |
|
저희도 정말 기대되네요 |
|
|
|
07:33.770 --> 07:41.930 |
|
이제 잠시 멈추고 다음 시간에 계속하죠 최적화의 중요한 4단계와 함께요
|
|
|