From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
352 lines
9.8 KiB
352 lines
9.8 KiB
WEBVTT |
|
|
|
00:00.620 --> 00:07.460 |
|
데이터 스크러빙 첫 번째 강습이 즐거우셨길 바랍니다 이제 코드를 훑어보며 데이터를 삭제했을 |
|
|
|
00:07.460 --> 00:13.310 |
|
때 좋은 일을 했다고 자신을 설득하세요 모델에 포함해야 할 건 아무것도 버리지 |
|
|
|
00:13.310 --> 00:15.380 |
|
않았다고요 |
|
|
|
00:15.470 --> 00:21.200 |
|
이런 걸 발견하시면 바로 알려주세요 모델에서 좀 더 비트 짜내고 결과를 |
|
|
|
00:21.200 --> 00:26.360 |
|
좀 더 좋게 만들고 데이터를 바꾸는 걸 좋아하거든요 |
|
|
|
00:26.390 --> 00:32.270 |
|
모델로 들어가는 데이터의 품질 개선이 모델의 성능에 가장 큰 |
|
|
|
00:32.270 --> 00:33.830 |
|
영향을 미쳤죠 |
|
|
|
00:33.950 --> 00:39.980 |
|
hyperferameter 튜닝에 많은 시간을 할애할 수 있습니다. 한동안 |
|
|
|
00:39.980 --> 00:44.690 |
|
이 방법으로 모델에서 쥐어짜낸 비트들을 통해 결과를 예측하는 |
|
|
|
00:44.690 --> 00:49.310 |
|
게 더 쉬워질 겁니다. 물론 개척 모델과 맞붙어서 어려운 작업을 |
|
|
|
00:49.310 --> 00:50.450 |
|
해야겠죠. |
|
|
|
00:50.540 --> 00:58.850 |
|
하지만 데이터 품질을 향상시키는 게 가장 쉽고 효과적인 방법이에요 |
|
|
|
00:58.850 --> 01:01.640 |
|
그래서 시간을 들여야 하는 거죠 |
|
|
|
01:01.640 --> 01:06.950 |
|
그리고 마지막 주피터 노트에는 이 목록의 1번, 2번, 3번 4번, 5번까지 |
|
|
|
01:06.950 --> 01:08.600 |
|
작업했어요 |
|
|
|
01:08.630 --> 01:13.790 |
|
아직 4개와 5개가 더 남았지만 가장 중요한 건 아이솜 클래스를 |
|
|
|
01:13.790 --> 01:16.460 |
|
직접 살펴보는 거예요 |
|
|
|
01:17.690 --> 01:26.780 |
|
마무리하기 전에 다시 한번 측정과 평가 주제를 언급하고 싶습니다 이 모델로 |
|
|
|
01:26.810 --> 01:33.710 |
|
목표 달성을 달성했는지 어떻게 결정하는지에 관해서요 |
|
|
|
01:33.950 --> 01:41.150 |
|
앞서 말씀드렸듯이 성능을 평가할 때 사용하는 두 가지 측정법이 있어요 |
|
|
|
01:41.150 --> 01:48.020 |
|
모델 중심 지표라는 게 있는데 모델이 수학적으로 얼마나 잘 작동하는지 |
|
|
|
01:48.020 --> 01:52.310 |
|
이해하는 데이터 과학자의 영역에 속하죠 |
|
|
|
01:52.430 --> 01:59.030 |
|
그리고 결과 비즈니스 중심 지표가 있습니다 사용자, 스폰서, |
|
|
|
01:59.030 --> 02:03.650 |
|
CEO의 마음을 사로잡는 지표죠 |
|
|
|
02:03.680 --> 02:07.430 |
|
그게 이 프로젝트의 궁극적인 목표예요 |
|
|
|
02:07.460 --> 02:13.310 |
|
모델 중심의 것은 모델이 훨씬 직접 측정합니다 훈련과 최적화 과정에서 |
|
|
|
02:13.310 --> 02:15.620 |
|
측정할 수 있죠 |
|
|
|
02:15.650 --> 02:22.520 |
|
비즈니스 중심의 것이 가장 중요하지만 모델과 바로 연결될 필요는 |
|
|
|
02:22.550 --> 02:23.540 |
|
없죠 |
|
|
|
02:24.080 --> 02:30.680 |
|
물론 우리 같은 경우에는 비즈니스 중심 지표가 있어서 호사를 누리고 있죠 |
|
|
|
02:30.710 --> 02:34.760 |
|
모델 중심 지표에서 가장 성공적일 거예요 |
|
|
|
02:34.760 --> 02:41.120 |
|
훈련의 손실이나 검증의 손실이란 말을 종종 듣게 될 겁니다 훈련의 손실은 훈련 세트와 함께 잃는 |
|
|
|
02:41.120 --> 02:41.720 |
|
거죠 |
|
|
|
02:41.750 --> 02:46.430 |
|
검증 손실은 검증 집합과 함께 발생합니다 검증 집합은 데이터의 일부죠 |
|
|
|
02:46.880 --> 02:53.300 |
|
모델은 이 측정법을 통해 계산할 겁니다 나중에 자세히 |
|
|
|
02:53.300 --> 02:54.620 |
|
살펴보죠 |
|
|
|
02:54.620 --> 02:59.540 |
|
훈련 과정에서 손실된 훈련량이 점차 줄어들 겁니다 |
|
|
|
02:59.540 --> 03:05.120 |
|
모델이 작업을 점점 더 정확하게 수행한다는 뜻이죠 |
|
|
|
03:05.510 --> 03:13.890 |
|
좀 더 정교한 데이터 과학 지표도 있는데 다양한 관점을 살펴볼 |
|
|
|
03:13.890 --> 03:15.240 |
|
거예요 |
|
|
|
03:15.240 --> 03:19.230 |
|
루트 평제곱 로그 에러라는 게 있어요 |
|
|
|
03:19.260 --> 03:20.190 |
|
RMSE l요 |
|
|
|
03:20.490 --> 03:27.690 |
|
이런 오류의 장점은 모델이 절대적으로 잘못되거나 퍼센트를 기준으로 |
|
|
|
03:27.690 --> 03:33.390 |
|
하면 여러 면에서 감점을 받는다는 거죠 |
|
|
|
03:33.390 --> 03:38.910 |
|
저가 제품에 몇 달러 차이로 불이익을 당해도 모델에게 부당하지 않아요 |
|
|
|
03:38.910 --> 03:47.460 |
|
절대적인 차이와 상대적인 퍼센트 차이를 측정하는 균형 잡힌 측정법이죠 |
|
|
|
03:47.640 --> 03:48.990 |
|
적절하죠 |
|
|
|
03:48.990 --> 03:51.450 |
|
그것도 살펴볼 거예요 |
|
|
|
03:51.480 --> 03:56.790 |
|
사람들이 훨씬 단순하게 생각하는 또 다른 건 평균 제곱 오류입니다 |
|
|
|
03:56.790 --> 04:00.900 |
|
예측과 실제 가격 사이의 차이의 제곱을 의미하죠 |
|
|
|
04:00.990 --> 04:06.270 |
|
제곱 오차의 문제는 가격이 높아도 터질 수 있다는 거죠 |
|
|
|
04:06.270 --> 04:14.100 |
|
800달러가 드는 것이 있고 900달러가 들 것으로 예상한다면 100달러 차이가 나는 거죠 |
|
|
|
04:14.100 --> 04:20.610 |
|
그걸 제곱하면 10,000가 되죠 아주 큰 숫자입니다 다른 모든 오류가 작아질 |
|
|
|
04:20.610 --> 04:21.330 |
|
거예요 |
|
|
|
04:21.420 --> 04:26.460 |
|
비열한 제곱 오차는 우리 같은 문제에선 더 큰 골칫거리죠 |
|
|
|
04:26.850 --> 04:29.340 |
|
그게 모델 중심 지표예요 |
|
|
|
04:29.340 --> 04:32.040 |
|
이제 비즈니스 지표에 대해 얘기해 보죠 |
|
|
|
04:32.040 --> 04:36.960 |
|
우리 문제의 멋진 점은 측정법이 있다는 거예요 양쪽 진영에 |
|
|
|
04:36.960 --> 04:37.890 |
|
속해 있죠 |
|
|
|
04:37.890 --> 04:42.480 |
|
평균 절대 가격 차이죠 |
|
|
|
04:42.480 --> 04:45.210 |
|
모델도 잘못됐고요 |
|
|
|
04:45.210 --> 04:49.560 |
|
냉장고 가격이 100달러라고 했는데 120달러였어요 |
|
|
|
04:49.560 --> 04:51.060 |
|
20점 차로 졌어요 |
|
|
|
04:51.090 --> 04:56.220 |
|
평균 가격 차이는 단순하고 인간적이며 이해할 만하죠 |
|
|
|
04:56.460 --> 05:00.240 |
|
그건 훌륭한 비즈니스 결과 척도예요 |
|
|
|
05:00.240 --> 05:01.710 |
|
결점이 좀 있어요 |
|
|
|
05:01.710 --> 05:10.050 |
|
좀 불공평해요 800달러 정도 하는 더 비싼 것이 850달러라고 |
|
|
|
05:10.050 --> 05:14.670 |
|
추측했다면 나쁘지 않은 거예요 |
|
|
|
05:14.670 --> 05:18.990 |
|
50달러 오류로 간주됩니다 꽤 중요한 거죠 |
|
|
|
05:19.230 --> 05:24.720 |
|
10달러짜리 물건이라면 50달러보다 훨씬 싸게 팔아야 해요 |
|
|
|
05:24.720 --> 05:26.100 |
|
이상적인 상황은 아니죠 |
|
|
|
05:26.100 --> 05:29.460 |
|
문제가 좀 있지만 꽤 괜찮아요 |
|
|
|
05:29.460 --> 05:34.110 |
|
우리 모델이 좋은 일을 하는지 인간적으로 이해할 수 있는 방법을 제공할 |
|
|
|
05:34.110 --> 05:34.710 |
|
거예요 |
|
|
|
05:34.890 --> 05:39.990 |
|
그것과 함께 가격 차이도 살펴볼 수 있어요 반대의 |
|
|
|
05:39.990 --> 05:41.970 |
|
문제가 있죠 |
|
|
|
05:41.970 --> 05:47.610 |
|
비트 박스가 더 합리적이고 고가의 물품에는 더 합리적이지만 저렴한 물품에는 불공평한 |
|
|
|
05:47.610 --> 05:48.990 |
|
것 같아요 |
|
|
|
05:49.200 --> 05:51.540 |
|
10달러짜리 물건에 12달러씩 얹어 주죠 Get it |
|
|
|
05:51.570 --> 05:56.370 |
|
그런데 20% 비트는 건 좀 심하네요 |
|
|
|
05:57.120 --> 06:03.690 |
|
또 다른 방법은 견적서의 품질을 판단하는 기준을 갖는 겁니다 견적서는 |
|
|
|
06:03.690 --> 06:09.000 |
|
절대적인 차이와 퍼센트 차이를 합칠 수 있죠 |
|
|
|
06:09.000 --> 06:18.780 |
|
오차가 40달러 이하나 20% 이하면 히트라고 볼 수 있죠 |
|
|
|
06:18.780 --> 06:20.370 |
|
좋은 추정이네요 |
|
|
|
06:20.400 --> 06:22.530 |
|
그 정도면 충분해요 |
|
|
|
06:22.680 --> 06:28.830 |
|
그러면 모델의 예측이 그 기준에 부합하고 좋다고 간주되는 비율을 |
|
|
|
06:28.830 --> 06:30.870 |
|
측정할 수 있죠 |
|
|
|
06:30.900 --> 06:36.030 |
|
우리가 사용할 수 있고 또 사용할 또 다른 비즈니스 지표죠 |
|
|
|
06:36.180 --> 06:40.860 |
|
이렇게 성능을 평가할 수 있어요 |
|
|
|
06:40.860 --> 06:46.110 |
|
우리 프로젝트의 기쁨은 그들이 인간적이라는 거죠 |
|
|
|
06:46.110 --> 06:47.070 |
|
이해해요 |
|
|
|
06:47.070 --> 06:53.340 |
|
다른 모델, hyperpaameter 같은 걸 시도해볼 수 있어요 |
|
|
|
06:53.370 --> 06:54.510 |
|
다른 모델을 시도해 보죠 |
|
|
|
06:54.510 --> 06:56.790 |
|
프런티어와 오픈 소스를 시도해 보려고요 |
|
|
|
06:56.790 --> 07:03.360 |
|
어떤 회사가 제품 가격을 더 잘 예측하는지 쉽게 알 수 있죠 |
|
|
|
07:04.920 --> 07:13.620 |
|
이제 소매를 걷어붙이고 코딩을 시작하고 성능을 평가하고 가격을 예측할 준비가 거의 다 됐어요 |
|
|
|
07:13.620 --> 07:14.820 |
|
get it |
|
|
|
07:14.820 --> 07:16.740 |
|
정말 재미있을 거예요 |
|
|
|
07:16.830 --> 07:20.970 |
|
하지만 그 전에 몇 가지 정리할 게 있어요 |
|
|
|
07:21.000 --> 07:29.230 |
|
비즈니스 전략에 대해 좀 더 얘기하고 싶어요 이런 문제를 해결하는 방법에 |
|
|
|
07:29.230 --> 07:30.340 |
|
대해서요 |
|
|
|
07:30.370 --> 07:36.010 |
|
여러분도 저와 같다면 들어가고 싶어 안달일 겁니다 드디어 우리 모델을 훈련하고 |
|
|
|
07:36.040 --> 07:40.810 |
|
이 다양한 모델이 얼마나 좋은지 보고 싶어 하죠 get it |
|
|
|
07:40.900 --> 07:48.010 |
|
하지만 저는 이 기반과 기반을 알려드리고 싶어요 그래야 사업 문제를 해결하러 |
|
|
|
07:48.100 --> 07:52.060 |
|
갔을 때 이 맥락을 강화할 수 있으니까요 |
|
|
|
07:52.690 --> 08:00.130 |
|
퍼포먼스 향상을 위한 다양한 기술을 대조하고 그 차이점을 설명할 거예요 |
|
|
|
08:00.130 --> 08:04.990 |
|
어떤 상황에서 랙을 쓰는지 확실히 하고 싶어요 |
|
|
|
08:04.990 --> 08:07.570 |
|
어떤 상황에서 세세한 조율을 사용하나요? |
|
|
|
08:07.570 --> 08:09.340 |
|
Get it, Get it, Get it, Get it, Get it, Get it. 많이 듣는 질문이에요 |
|
|
|
08:09.370 --> 08:12.250 |
|
get it 시작하기 전에 명확히 하는 게 도움이 될 것 같아요 |
|
|
|
08:12.250 --> 08:18.040 |
|
컨텍스트를 보았고 데이터 집합에 대한 숙제가 아직 남아 있어요 |
|
|
|
08:18.070 --> 08:21.640 |
|
최종 데이터 세트를 큐레이팅하고 업로드 해야 해요 |
|
|
|
08:21.640 --> 08:22.570 |
|
엄청날 거예요 |
|
|
|
08:22.570 --> 08:25.690 |
|
빅데이터 집합이 될 거예요 훈련을 많이 해야 하니까요 |
|
|
|
08:25.810 --> 08:27.430 |
|
아직 할 일이 남았어요 |
|
|
|
08:27.460 --> 08:30.580 |
|
내일이면 모든 게 끝나요 |
|
|
|
08:30.610 --> 08:31.420 |
|
그때 봐요
|
|
|