From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
262 lines
7.5 KiB
262 lines
7.5 KiB
WEBVTT |
|
|
|
00:00.320 --> 00:07.970 |
|
이 코스를 위한 모델을 최적화하는 데 드는 훈련 비용은 아주 적다는 걸 말씀드리고 |
|
|
|
00:07.970 --> 00:09.740 |
|
싶군요 |
|
|
|
00:09.740 --> 00:17.060 |
|
몇 센트만 있으면 되니까 저처럼 미친 듯이 A100 |
|
|
|
00:17.060 --> 00:21.920 |
|
상자를 들고 훈련할 필요 없어요 |
|
|
|
00:22.490 --> 00:24.710 |
|
확실히 해두죠 |
|
|
|
00:24.710 --> 00:30.260 |
|
먼저, 지난번에 설명했듯이 T4 같은 박스에서 작동할 수 있어요 아주 저렴하죠 |
|
|
|
00:30.440 --> 00:34.190 |
|
상자에 들어가는 가장 큰 배치 사이즈를 가질 수 있어요 |
|
|
|
00:34.190 --> 00:38.060 |
|
한두 번 연습하고 그렇게 달리기를 해요 |
|
|
|
00:38.060 --> 00:41.960 |
|
하지만 그렇게 하면 우리가 작업해온 트레이닝 데이터 집합으로 |
|
|
|
00:41.960 --> 00:46.370 |
|
시간이 오래 걸릴 겁니다 비트가 많아도 시간이 좀 더 걸리겠죠 |
|
|
|
00:46.370 --> 00:51.200 |
|
이 괴물 같은 데이터에 맞서 훈련할 필요는 없다는 걸 설명하고 싶었어요 |
|
|
|
00:51.200 --> 00:55.520 |
|
이렇게 하는 이유는 여러분께 좋은, 꽤 강력한 결과를 보여드리고 싶어서죠 하지만 훨씬 |
|
|
|
00:55.520 --> 00:58.250 |
|
적은 데이터 집합으로도 훌륭한 결과를 얻을 수 있어요 |
|
|
|
00:58.370 --> 01:04.350 |
|
제가 제안하고 싶은 것은 데이터 포인트 400,000개의 데이터 집합 중에서 |
|
|
|
01:04.350 --> 01:11.040 |
|
첫 20,000개를 선택해서 하위 데이터 집합으로 실행해도 된다는 거예요 |
|
|
|
01:11.130 --> 01:13.830 |
|
그렇게 하는 게 좋겠어요 |
|
|
|
01:13.830 --> 01:20.670 |
|
가격이 매겨지는 특정 제품에 집중하는 대신에요 그래야 모델이 해당 제품에 |
|
|
|
01:20.670 --> 01:24.120 |
|
관해 전부 배울 기회가 생기니까요 |
|
|
|
01:24.240 --> 01:30.960 |
|
예를 들어 어플라이언스를 선택할 수 있는데 처음에 H깅페이스 허브에서 뽑아낸 |
|
|
|
01:30.960 --> 01:33.030 |
|
데이터 세트 중 하나였죠 |
|
|
|
01:33.210 --> 01:39.000 |
|
이 모든 데이터 세트를 없애는 대신 가전제품만 없애는 거죠 |
|
|
|
01:39.000 --> 01:43.260 |
|
주피터 공책을 준비했어요 |
|
|
|
01:43.260 --> 01:46.380 |
|
콜랍은 아니고 동네 공책이에요 |
|
|
|
01:46.380 --> 01:50.970 |
|
6주 차예요, 다른 날은 6주 차까지 갔거든요 |
|
|
|
01:51.000 --> 01:55.410 |
|
둘째 날 전체 데이터를 구축했어요 |
|
|
|
01:55.440 --> 02:01.610 |
|
이건 둘째 날 복사본인데 훨씬 간단하고 가전제품만 볼 수 있게 편리하게 만들었어요 |
|
|
|
02:01.730 --> 02:04.760 |
|
데이터 집합이 작아서 아주 빨리 실행될 거예요 |
|
|
|
02:04.790 --> 02:06.650 |
|
환경과 연결하는 거죠 |
|
|
|
02:06.650 --> 02:10.850 |
|
과거를 떠올리게 하는 요리예요 |
|
|
|
02:10.940 --> 02:14.450 |
|
이미 허깅페이스에 로그인해서 불평하는 거예요 두 번째도 로그인하려고 |
|
|
|
02:14.450 --> 02:15.770 |
|
했는데 무시하세요 |
|
|
|
02:16.130 --> 02:23.600 |
|
이제 데이터 세트 이름을 입력할게요 어플라이언스만 빼고 전부 주석을 달았어요 기억하실지 |
|
|
|
02:23.600 --> 02:28.340 |
|
모르겠지만 아주 작은 데이터 세트였죠 |
|
|
|
02:28.580 --> 02:35.300 |
|
포옹하는 얼굴이 정말 속상해요 여러 번 실행했거든요 |
|
|
|
02:35.330 --> 02:36.200 |
|
출발했어요 |
|
|
|
02:36.200 --> 02:43.520 |
|
이 데이터 세트를 로드하는 데 걸리는 총 시간은 0분 정도 제 기억이 맞는다면 2분 정도 |
|
|
|
02:43.880 --> 02:50.900 |
|
0살요 3분 만에 끝내면 28,000개가 완성되죠 |
|
|
|
02:50.990 --> 02:54.890 |
|
우리가 작업한 400,000개의 데이터 세트보다 훨씬 작아요 |
|
|
|
02:54.890 --> 03:01.350 |
|
하지만 플로라에게는 아주 괜찮은 수치였고 가전제품에 집중할 수 있어서 유리했어요 |
|
|
|
03:01.710 --> 03:04.590 |
|
데이터 집합이 더 좁아지죠 |
|
|
|
03:04.800 --> 03:10.620 |
|
어, 그리고 이 차트들 따라가시면 돼요 REST |
|
|
|
03:10.620 --> 03:12.330 |
|
안 중요한 차트는 뺐어요 |
|
|
|
03:12.330 --> 03:14.280 |
|
서로 다른 데이터 타입의 비교 같은 거요 |
|
|
|
03:14.280 --> 03:15.270 |
|
이게 그 대가예요 |
|
|
|
03:15.270 --> 03:16.380 |
|
평균은 그렇죠 |
|
|
|
03:16.380 --> 03:17.670 |
|
평균보다 낮아요 |
|
|
|
03:17.670 --> 03:20.850 |
|
999까지 갈 수 있어요. Get it. |
|
|
|
03:20.850 --> 03:22.920 |
|
이게 바로 곡선이에요 |
|
|
|
03:23.190 --> 03:27.900 |
|
그리고 이걸 정리하는 건 사실 별거 없어요 |
|
|
|
03:27.930 --> 03:30.510 |
|
전체 데이터 세트를 가져오는 거죠 |
|
|
|
03:30.510 --> 03:37.710 |
|
작은 데이터 집합에 대한 같은 도표입니다 물질적 상관관계가 없다는 걸 보여주죠 |
|
|
|
03:38.040 --> 03:44.400 |
|
음, 아까 확인했던 것과 같은 것이 토큰에 적용된다는 것을 빠르게 확인해 볼게요. |
|
|
|
03:44.580 --> 03:50.850 |
|
마지막으로 트레이닝과 테스트 데이터로 나눌 때 트레이닝용 아이템 25,000개 |
|
|
|
03:50.880 --> 03:54.840 |
|
테스트용 2000개를 가져가요 |
|
|
|
03:55.140 --> 03:58.290 |
|
다른 건 다 잘 될 거예요 |
|
|
|
03:58.350 --> 04:00.460 |
|
훈련 시간을 표시해 뒀어요 |
|
|
|
04:00.460 --> 04:02.140 |
|
테스트 프롬프트요 |
|
|
|
04:02.320 --> 04:05.590 |
|
테스트 세트에서 가격 배분을 계산할 수 있어요 |
|
|
|
04:05.590 --> 04:05.980 |
|
됐어요 |
|
|
|
04:06.010 --> 04:08.230 |
|
완벽한 스프레드가 있어요 |
|
|
|
04:08.230 --> 04:16.120 |
|
마지막으로 아까 했던 것처럼 프롬프트만 생성하면 됩니다 그리고 이걸he깅face에 업로드 합니다 |
|
|
|
04:16.120 --> 04:21.610 |
|
다른 이름을 붙일 수도 있죠 라이트 데이터라고 부를 수 있어요 |
|
|
|
04:21.880 --> 04:28.690 |
|
피클 파일 두 개를 만들 수 있어요 그걸 훈련에 활용할 수 있죠 |
|
|
|
04:28.690 --> 04:36.760 |
|
적은 데이터량을 바탕으로 모델을 만들 겁니다 다양한 가전제품의 가격을 예측하는 데 집중할 |
|
|
|
04:36.760 --> 04:40.030 |
|
겁니다 다른 종류가 아니라요 |
|
|
|
04:40.030 --> 04:41.080 |
|
이거면 될 거예요 |
|
|
|
04:41.080 --> 04:45.160 |
|
코드의 다양한 곳에 작은 변화를 주는 것이 좋은 운동이 될 겁니다 |
|
|
|
04:45.160 --> 04:47.830 |
|
작은 데이터 집합에 집중하기 위해서요 |
|
|
|
04:47.950 --> 04:54.640 |
|
제가 직접 실행해 봤는데 어떤 결과가 나오든 확인시켜 줄 수 있어요 400,000로 |
|
|
|
04:54.640 --> 05:02.010 |
|
했던 메인 실행에서도요 이 경우에도 같은 결과가 적용됩니다 다른 모델에 비해 어떻게 차곡차곡 |
|
|
|
05:02.010 --> 05:04.830 |
|
쌓이느냐에 있어서요 |
|
|
|
05:05.040 --> 05:12.900 |
|
데이터가 많을수록 더 잘 알 수 있겠지만 게임에서 중요한 일이 벌어질 거라는 걸 미리 |
|
|
|
05:12.930 --> 05:18.360 |
|
알려주지 않으면 되죠 가전제품에 집중하더라도요 |
|
|
|
05:18.360 --> 05:24.090 |
|
25,000에 데이터셋을 다룰 때는 아주 빠르게 get을 |
|
|
|
05:24.090 --> 05:25.620 |
|
할 수 있죠 |
|
|
|
05:25.680 --> 05:31.530 |
|
하지만 그렇게 하고 저처럼 버그를 확보해서 더 크게 달리길 원하나요? |
|
|
|
05:31.530 --> 05:36.720 |
|
물론 더 많은 유형을 추가해 몇 달러 더 써서 전체 데이터 세트를 |
|
|
|
05:36.720 --> 05:38.010 |
|
만들 수도 있죠 |
|
|
|
05:38.040 --> 05:39.690 |
|
어쨌든, 그 과정을 거쳐야겠다고 생각했죠 |
|
|
|
05:39.690 --> 05:39.930 |
|
이거요 |
|
|
|
05:39.930 --> 05:45.930 |
|
데이터 큐레이팅에 있어 좋은 수정안이 될 수 있습니다 더 작은 데이터 집합을 원하신다면요 |
|
|
|
05:45.960 --> 05:47.220 |
|
어떻게 하는지 알려주죠 |
|
|
|
05:47.250 --> 05:47.700 |
|
좋아요 |
|
|
|
05:47.700 --> 05:53.970 |
|
다음 영상에서는 무게와 편향성을 살펴보고 400,000도 회전을 어떻게 진행하는지 |
|
|
|
05:53.970 --> 05:54.750 |
|
살펴보죠 |
|
|
|
05:54.750 --> 05:59.340 |
|
무게와 편향성을 따져보고 뭘 더 할 수 있는지 보죠 |
|
|
|
05:59.370 --> 06:00.180 |
|
거기서 봐요
|
|
|