You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

310 lines
9.4 KiB

WEBVTT
00:00.770 --> 00:02.240
6주 차에 잘 오셨어요
00:02.240 --> 00:03.320
하루 이틀씩요
00:03.320 --> 00:09.560
데이터로 돌아가면 데이터셋에 분노하며 돌아봅니다 엄청난 양의 데이터셋을 구축해서
00:09.590 --> 00:13.520
훈련할 때 진척이 있게 할 거예요 Get it
00:13.640 --> 00:18.470
하지만 먼저, 오늘 수업은 대부분 대화를 나눌 거예요
00:18.470 --> 00:24.380
전략에 대해 이야기하는 세션이 될 것입니다. 아주 흥미로운 내용은 아닐 것입니다.
00:24.380 --> 00:29.630
왜 등록했는지는 모르겠지만 매우 중요한 내용이죠.
00:29.630 --> 00:34.880
이건 좋은 기본 정보예요 올바른 방식으로 접근하고 있다는 걸 확실히
00:34.880 --> 00:36.050
해줄 거예요
00:36.050 --> 00:42.170
특히 전략에 대해 말씀드리고 싶습니다 비즈니스 문제에 직면하는 것에서부터 프로덕션에서
00:42.170 --> 00:48.020
LM 솔루션으로 가는 방법과 그 경로를 따라 진행되는 단계에 대해서요
00:48.020 --> 00:52.340
지금 말씀드리고 싶은 건 우리가 그걸 하려고 하기 때문에 그 연습을 통해 진짜 상업적
00:52.340 --> 00:54.170
문제를 해결할 거라는 거예요
00:54.170 --> 00:59.340
우리가 겪는 여정에 공감하는 게 중요해요 여러분도
00:59.340 --> 01:02.550
사업 문제로 똑같이 할 테니까요
01:02.580 --> 01:08.250
잠시 시간을 내서 우리가 설명할 세 가지 테크닉을 비교해 보죠 모델
01:08.250 --> 01:11.640
최적화에 관해선 이미 얘기했죠
01:11.640 --> 01:16.590
랙을 사용하든 미세 튜닝을 하든 말이에요
01:16.590 --> 01:23.100
많은 혼란이 있었어요 어떤 상황에서 그런 다양한 접근법 중 하나를 선택해야 하는지에 대해서요
01:23.100 --> 01:29.040
어떤 기술을 사용할지 어떻게 결정하는지 구체적인 예를 들어 설명해
01:29.070 --> 01:30.270
드릴게요
01:31.050 --> 01:38.970
그럼 먼저 상업적 문제에 모델을 적용하는 5단계 전략을 말씀드리죠
01:39.510 --> 01:42.150
첫 단계는 이해예요
01:42.150 --> 01:47.130
사업 요구 사항을 깊이 파고들고 어떤 문제를 해결하는지 이해하는 게
01:47.130 --> 01:47.940
중요해요
01:47.940 --> 01:49.560
성공을 어떻게 판단하죠?
01:49.560 --> 01:56.470
비기능적인 건 무엇인지 잠시 후 얘기하고 신중하게 문서화한 준비에
01:56.560 --> 02:06.430
관한 겁니다 기준 모델 테스트와 데이터 집합 큐레이팅 같은 거죠 앞으로 닥칠 일에 일반적으로
02:06.430 --> 02:08.620
대비하는 거예요
02:08.620 --> 02:14.800
가장 먼저 할 일은 모델을 선택하는 겁니다 여러분이 사용할 모델이나
02:14.800 --> 02:19.990
프로젝트 REST의 일부로 사용할 몇 가지 모델이요
02:19.990 --> 02:25.210
여기서 타이가 지난 주 내용을 많이 끌어낼 거예요
02:25.210 --> 02:30.430
순위표를 보고 여러 모델의 장단점을 분석했죠
02:30.910 --> 02:38.890
고객 맞춤화는 래그나 미세 튜닝 같은 중요한 기술을 이용해 모델의 느낌을 더 살리는 작업이에요
02:38.890 --> 02:44.650
그리고 전혀 언급하지 않았지만 매우 중요한 걸 제작하죠 그렇게 모델을
02:44.650 --> 02:49.600
만들고 훈련한 후에 성능이 아주 좋아져요
02:49.600 --> 02:50.710
그다음은요?
02:50.710 --> 02:57.950
우리가 해킹해 온 주피터 노트 같은 게 생산될 것 같지는 않으니까요
02:57.950 --> 03:01.280
뭔가 더 해야 합니다 잠시 후 그 얘기를 하죠
03:02.030 --> 03:03.800
1단계부터 시작하죠
03:03.800 --> 03:06.680
이해심과 상식의 문제죠
03:06.680 --> 03:08.720
하지만 이런 건 아무리 말해도 모자라요
03:08.720 --> 03:13.100
아주 간략하게 비즈니스 요구 사항을 모아야 해요
03:13.100 --> 03:14.960
평가를 해야죠
03:14.960 --> 03:18.650
성공을 어떻게 측정할지 미리 이해해야 해요
03:18.650 --> 03:20.000
아주 중요하죠
03:20.000 --> 03:25.820
우리가 잘 아는 데이터 과학 지표뿐 아니라 여러분의 사용자와 비즈니스
03:25.820 --> 03:31.490
스폰서는 프로젝트가 목표를 달성했는지 어떻게 결정할까요?
03:31.490 --> 03:38.210
직접적인 영향력은 없지만 이해해야 하는 비즈니스 척도는 무엇일까요?
03:38.600 --> 03:42.710
우리가 작업한 데이터 양을 살펴봐야 해요
03:42.740 --> 03:43.460
얼마예요?
03:43.490 --> 03:46.460
DQ가 뭐고 데이터 품질은 어떤지 말이에요
03:46.460 --> 03:50.540
형식은 구조적인가요? 비구조적인가요? 아니면 둘 다인가요?
03:50.540 --> 03:55.990
깊이 이해하도록 하세요 여러분이 선택한 모델과 그에 접근하는 방식에
03:55.990 --> 03:58.150
영향을 미치니까요
03:58.780 --> 04:01.510
비기능적 요구 사항을 결정하는 거죠
04:01.540 --> 04:08.770
비기능적인 것은 예산 같은 것입니다 얼마나 규모를 키우고 대기 시간을 줄여야 하는지 모델로부터의 응답을
04:08.800 --> 04:13.780
얼마나 기다려야 하는지 같은 것입니다 아주 짧은 시간 내에 응답이 와야 하는지를
04:13.780 --> 04:15.130
알 수 있죠
04:15.280 --> 04:18.550
시장에 내놓을 시간도 이해해야 하고요
04:18.580 --> 04:24.070
아주 짧은 시간 안에 만들어야 한다는 조건이 있나요? 아니면 이걸 작업할 시간이 있나요?
04:24.070 --> 04:27.940
물론 짧은 시간 내에 필요한 것이라면 API를 이용한
04:27.970 --> 04:30.280
프런티어 모델에 적합하죠
04:30.280 --> 04:35.080
사용자 인터페이스에 관해서는 그래디오 같은 것이 몇 분 안에
04:35.110 --> 04:36.940
실행할 수 있게 해주죠
04:36.940 --> 04:41.140
앞으로의 결정에 영향을 줄 거예요
04:42.160 --> 04:46.900
준비 단계에는 세 가지 활동이 있어요
04:46.900 --> 04:52.790
먼저, 이미 시중에 나와 있는 게 뭔지 알아야 합니다 현존하는 솔루션이 뭔지요
04:52.790 --> 04:59.270
오늘 이 문제를 해결하고 성능과 현재 하는 일을 잘 파악할 수 있게 될 거예요 get it
04:59.300 --> 05:05.210
그 일환으로 데이터 과학이 전혀 포함되지 않은 솔루션을 찾아보세요
05:05.240 --> 05:10.190
if문이 몇 개 있는 솔루션도 있을 수 있고 전통적인 데이터 과학 솔루션도
05:10.190 --> 05:14.330
있을 수 있어요 예를 들면 선형 회귀 모델 같은 거요
05:14.330 --> 05:17.840
제품 가격을 예측하려는 것이라면요
05:17.930 --> 05:21.620
그럼 처음 가는 곳이 되겠네요
05:22.040 --> 05:28.100
LLM이 이미 있는 것 혹은 기존 모델을 크게 능가할 거라는 데에는
05:28.100 --> 05:31.940
의심의 여지가 없다고 말할 수도 있겠죠
05:31.940 --> 05:33.680
오늘 상태가 어떻든 상관없어요
05:33.680 --> 05:37.520
대답은 여전히 이렇게 할 가치가 있다는 거죠 기준선을 제공하니까요
05:37.520 --> 05:43.580
여러분이 개선할 부분을 표시하는 시작점을 제공하고 새로운 모델에
05:43.580 --> 05:48.150
투자한 만큼 퀀트화하여 개선된 점을 보여줄 수 있죠
05:48.150 --> 05:53.130
기준점만 따져도 좋은 운동이 될 수 있어요
05:53.130 --> 05:56.220
하지만 그보다 이미 존재하는 걸 알아야 해요
05:57.120 --> 06:00.480
그리고 관련 LMS를 비교하죠
06:00.480 --> 06:06.240
먼저, 기억하시겠지만 이걸 기본으로 나눴죠 가격, 컨텍스트 길이
06:06.270 --> 06:10.200
라이선싱 제약 조건 그리고 벤치마크 같은 거요
06:10.200 --> 06:16.710
순위표와 경기장을 보면서 이 특정 작업에 대해 어떤 전문적인 점수가
06:16.710 --> 06:18.960
있는지 이해하게 되죠
06:18.990 --> 06:23.370
물개 전문가의 리더보드 같은 걸 사용해서요
06:23.490 --> 06:31.410
지난번에 언급했던 컴과 데이터를 큐레이팅하고 스크래핑하고 사전 프로세싱하는 거죠
06:31.410 --> 06:35.910
그리고 아직 특별히 다루지 않은 게 있는데 데이터 집합 분할이에요
06:35.940 --> 06:42.060
일반적으로 모든 데이터를 트레이닝 데이터로 나누고 모델을 평가할 때 유효성
06:42.090 --> 06:46.610
검증을 위해 일부를 예약합니다 그리고 테스트를 위해 마지막
06:46.610 --> 06:48.980
일부를 예약하죠
06:48.980 --> 06:54.080
끝까지 유지해야 하죠 하이퍼파라미터 수정을 위한 유효성 검증을 사용할
06:54.080 --> 06:56.090
수 있고 모든 게 제대로 되죠
06:56.090 --> 07:02.870
그리고 마지막에는 이 테스트를 이용해 모델의 궁극적인 성공을 측정하세요
07:03.410 --> 07:09.680
데이터를 정리하고 사전 프로세싱하는 건 우리가 해온 파싱이에요
07:09.680 --> 07:14.630
그리고 궁극적으로 나누는 건 준비 과정의 일부죠
07:15.110 --> 07:23.720
선택은 이미 했던 건데요 기준에 기반해 LMS를 선택하고 실험하고 여러분이
07:23.720 --> 07:29.570
엄선한 데이터로 훈련하고 유효성을 검사하죠
07:29.570 --> 07:30.620
아직 안 했어요
07:30.650 --> 07:33.560
저희도 정말 기대되네요
07:33.770 --> 07:41.930
이제 잠시 멈추고 다음 시간에 계속하죠 최적화의 중요한 4단계와 함께요