You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

262 lines
7.5 KiB

WEBVTT
00:00.320 --> 00:07.970
이 코스를 위한 모델을 최적화하는 데 드는 훈련 비용은 아주 적다는 걸 말씀드리고
00:07.970 --> 00:09.740
싶군요
00:09.740 --> 00:17.060
몇 센트만 있으면 되니까 저처럼 미친 듯이 A100
00:17.060 --> 00:21.920
상자를 들고 훈련할 필요 없어요
00:22.490 --> 00:24.710
확실히 해두죠
00:24.710 --> 00:30.260
먼저, 지난번에 설명했듯이 T4 같은 박스에서 작동할 수 있어요 아주 저렴하죠
00:30.440 --> 00:34.190
상자에 들어가는 가장 큰 배치 사이즈를 가질 수 있어요
00:34.190 --> 00:38.060
한두 번 연습하고 그렇게 달리기를 해요
00:38.060 --> 00:41.960
하지만 그렇게 하면 우리가 작업해온 트레이닝 데이터 집합으로
00:41.960 --> 00:46.370
시간이 오래 걸릴 겁니다 비트가 많아도 시간이 좀 더 걸리겠죠
00:46.370 --> 00:51.200
이 괴물 같은 데이터에 맞서 훈련할 필요는 없다는 걸 설명하고 싶었어요
00:51.200 --> 00:55.520
이렇게 하는 이유는 여러분께 좋은, 꽤 강력한 결과를 보여드리고 싶어서죠 하지만 훨씬
00:55.520 --> 00:58.250
적은 데이터 집합으로도 훌륭한 결과를 얻을 수 있어요
00:58.370 --> 01:04.350
제가 제안하고 싶은 것은 데이터 포인트 400,000개의 데이터 집합 중에서
01:04.350 --> 01:11.040
첫 20,000개를 선택해서 하위 데이터 집합으로 실행해도 된다는 거예요
01:11.130 --> 01:13.830
그렇게 하는 게 좋겠어요
01:13.830 --> 01:20.670
가격이 매겨지는 특정 제품에 집중하는 대신에요 그래야 모델이 해당 제품에
01:20.670 --> 01:24.120
관해 전부 배울 기회가 생기니까요
01:24.240 --> 01:30.960
예를 들어 어플라이언스를 선택할 수 있는데 처음에 H깅페이스 허브에서 뽑아낸
01:30.960 --> 01:33.030
데이터 세트 중 하나였죠
01:33.210 --> 01:39.000
이 모든 데이터 세트를 없애는 대신 가전제품만 없애는 거죠
01:39.000 --> 01:43.260
주피터 공책을 준비했어요
01:43.260 --> 01:46.380
콜랍은 아니고 동네 공책이에요
01:46.380 --> 01:50.970
6주 차예요, 다른 날은 6주 차까지 갔거든요
01:51.000 --> 01:55.410
둘째 날 전체 데이터를 구축했어요
01:55.440 --> 02:01.610
이건 둘째 날 복사본인데 훨씬 간단하고 가전제품만 볼 수 있게 편리하게 만들었어요
02:01.730 --> 02:04.760
데이터 집합이 작아서 아주 빨리 실행될 거예요
02:04.790 --> 02:06.650
환경과 연결하는 거죠
02:06.650 --> 02:10.850
과거를 떠올리게 하는 요리예요
02:10.940 --> 02:14.450
이미 허깅페이스에 로그인해서 불평하는 거예요 두 번째도 로그인하려고
02:14.450 --> 02:15.770
했는데 무시하세요
02:16.130 --> 02:23.600
이제 데이터 세트 이름을 입력할게요 어플라이언스만 빼고 전부 주석을 달았어요 기억하실지
02:23.600 --> 02:28.340
모르겠지만 아주 작은 데이터 세트였죠
02:28.580 --> 02:35.300
포옹하는 얼굴이 정말 속상해요 여러 번 실행했거든요
02:35.330 --> 02:36.200
출발했어요
02:36.200 --> 02:43.520
이 데이터 세트를 로드하는 데 걸리는 총 시간은 0분 정도 제 기억이 맞는다면 2분 정도
02:43.880 --> 02:50.900
0살요 3분 만에 끝내면 28,000개가 완성되죠
02:50.990 --> 02:54.890
우리가 작업한 400,000개의 데이터 세트보다 훨씬 작아요
02:54.890 --> 03:01.350
하지만 플로라에게는 아주 괜찮은 수치였고 가전제품에 집중할 수 있어서 유리했어요
03:01.710 --> 03:04.590
데이터 집합이 더 좁아지죠
03:04.800 --> 03:10.620
어, 그리고 이 차트들 따라가시면 돼요 REST
03:10.620 --> 03:12.330
안 중요한 차트는 뺐어요
03:12.330 --> 03:14.280
서로 다른 데이터 타입의 비교 같은 거요
03:14.280 --> 03:15.270
이게 그 대가예요
03:15.270 --> 03:16.380
평균은 그렇죠
03:16.380 --> 03:17.670
평균보다 낮아요
03:17.670 --> 03:20.850
999까지 갈 수 있어요. Get it.
03:20.850 --> 03:22.920
이게 바로 곡선이에요
03:23.190 --> 03:27.900
그리고 이걸 정리하는 건 사실 별거 없어요
03:27.930 --> 03:30.510
전체 데이터 세트를 가져오는 거죠
03:30.510 --> 03:37.710
작은 데이터 집합에 대한 같은 도표입니다 물질적 상관관계가 없다는 걸 보여주죠
03:38.040 --> 03:44.400
음, 아까 확인했던 것과 같은 것이 토큰에 적용된다는 것을 빠르게 확인해 볼게요.
03:44.580 --> 03:50.850
마지막으로 트레이닝과 테스트 데이터로 나눌 때 트레이닝용 아이템 25,000개
03:50.880 --> 03:54.840
테스트용 2000개를 가져가요
03:55.140 --> 03:58.290
다른 건 다 잘 될 거예요
03:58.350 --> 04:00.460
훈련 시간을 표시해 뒀어요
04:00.460 --> 04:02.140
테스트 프롬프트요
04:02.320 --> 04:05.590
테스트 세트에서 가격 배분을 계산할 수 있어요
04:05.590 --> 04:05.980
됐어요
04:06.010 --> 04:08.230
완벽한 스프레드가 있어요
04:08.230 --> 04:16.120
마지막으로 아까 했던 것처럼 프롬프트만 생성하면 됩니다 그리고 이걸he깅face에 업로드 합니다
04:16.120 --> 04:21.610
다른 이름을 붙일 수도 있죠 라이트 데이터라고 부를 수 있어요
04:21.880 --> 04:28.690
피클 파일 두 개를 만들 수 있어요 그걸 훈련에 활용할 수 있죠
04:28.690 --> 04:36.760
적은 데이터량을 바탕으로 모델을 만들 겁니다 다양한 가전제품의 가격을 예측하는 데 집중할
04:36.760 --> 04:40.030
겁니다 다른 종류가 아니라요
04:40.030 --> 04:41.080
이거면 될 거예요
04:41.080 --> 04:45.160
코드의 다양한 곳에 작은 변화를 주는 것이 좋은 운동이 될 겁니다
04:45.160 --> 04:47.830
작은 데이터 집합에 집중하기 위해서요
04:47.950 --> 04:54.640
제가 직접 실행해 봤는데 어떤 결과가 나오든 확인시켜 줄 수 있어요 400,000로
04:54.640 --> 05:02.010
했던 메인 실행에서도요 이 경우에도 같은 결과가 적용됩니다 다른 모델에 비해 어떻게 차곡차곡
05:02.010 --> 05:04.830
쌓이느냐에 있어서요
05:05.040 --> 05:12.900
데이터가 많을수록 더 잘 알 수 있겠지만 게임에서 중요한 일이 벌어질 거라는 걸 미리
05:12.930 --> 05:18.360
알려주지 않으면 되죠 가전제품에 집중하더라도요
05:18.360 --> 05:24.090
25,000에 데이터셋을 다룰 때는 아주 빠르게 get을
05:24.090 --> 05:25.620
할 수 있죠
05:25.680 --> 05:31.530
하지만 그렇게 하고 저처럼 버그를 확보해서 더 크게 달리길 원하나요?
05:31.530 --> 05:36.720
물론 더 많은 유형을 추가해 몇 달러 더 써서 전체 데이터 세트를
05:36.720 --> 05:38.010
만들 수도 있죠
05:38.040 --> 05:39.690
어쨌든, 그 과정을 거쳐야겠다고 생각했죠
05:39.690 --> 05:39.930
이거요
05:39.930 --> 05:45.930
데이터 큐레이팅에 있어 좋은 수정안이 될 수 있습니다 더 작은 데이터 집합을 원하신다면요
05:45.960 --> 05:47.220
어떻게 하는지 알려주죠
05:47.250 --> 05:47.700
좋아요
05:47.700 --> 05:53.970
다음 영상에서는 무게와 편향성을 살펴보고 400,000도 회전을 어떻게 진행하는지
05:53.970 --> 05:54.750
살펴보죠
05:54.750 --> 05:59.340
무게와 편향성을 따져보고 뭘 더 할 수 있는지 보죠
05:59.370 --> 06:00.180
거기서 봐요