WEBVTT 00:00.320 --> 00:07.970 이 코스를 위한 모델을 최적화하는 데 드는 훈련 비용은 아주 적다는 걸 말씀드리고 00:07.970 --> 00:09.740 싶군요 00:09.740 --> 00:17.060 몇 센트만 있으면 되니까 저처럼 미친 듯이 A100 00:17.060 --> 00:21.920 상자를 들고 훈련할 필요 없어요 00:22.490 --> 00:24.710 확실히 해두죠 00:24.710 --> 00:30.260 먼저, 지난번에 설명했듯이 T4 같은 박스에서 작동할 수 있어요 아주 저렴하죠 00:30.440 --> 00:34.190 상자에 들어가는 가장 큰 배치 사이즈를 가질 수 있어요 00:34.190 --> 00:38.060 한두 번 연습하고 그렇게 달리기를 해요 00:38.060 --> 00:41.960 하지만 그렇게 하면 우리가 작업해온 트레이닝 데이터 집합으로 00:41.960 --> 00:46.370 시간이 오래 걸릴 겁니다 비트가 많아도 시간이 좀 더 걸리겠죠 00:46.370 --> 00:51.200 이 괴물 같은 데이터에 맞서 훈련할 필요는 없다는 걸 설명하고 싶었어요 00:51.200 --> 00:55.520 이렇게 하는 이유는 여러분께 좋은, 꽤 강력한 결과를 보여드리고 싶어서죠 하지만 훨씬 00:55.520 --> 00:58.250 적은 데이터 집합으로도 훌륭한 결과를 얻을 수 있어요 00:58.370 --> 01:04.350 제가 제안하고 싶은 것은 데이터 포인트 400,000개의 데이터 집합 중에서 01:04.350 --> 01:11.040 첫 20,000개를 선택해서 하위 데이터 집합으로 실행해도 된다는 거예요 01:11.130 --> 01:13.830 그렇게 하는 게 좋겠어요 01:13.830 --> 01:20.670 가격이 매겨지는 특정 제품에 집중하는 대신에요 그래야 모델이 해당 제품에 01:20.670 --> 01:24.120 관해 전부 배울 기회가 생기니까요 01:24.240 --> 01:30.960 예를 들어 어플라이언스를 선택할 수 있는데 처음에 H깅페이스 허브에서 뽑아낸 01:30.960 --> 01:33.030 데이터 세트 중 하나였죠 01:33.210 --> 01:39.000 이 모든 데이터 세트를 없애는 대신 가전제품만 없애는 거죠 01:39.000 --> 01:43.260 주피터 공책을 준비했어요 01:43.260 --> 01:46.380 콜랍은 아니고 동네 공책이에요 01:46.380 --> 01:50.970 6주 차예요, 다른 날은 6주 차까지 갔거든요 01:51.000 --> 01:55.410 둘째 날 전체 데이터를 구축했어요 01:55.440 --> 02:01.610 이건 둘째 날 복사본인데 훨씬 간단하고 가전제품만 볼 수 있게 편리하게 만들었어요 02:01.730 --> 02:04.760 데이터 집합이 작아서 아주 빨리 실행될 거예요 02:04.790 --> 02:06.650 환경과 연결하는 거죠 02:06.650 --> 02:10.850 과거를 떠올리게 하는 요리예요 02:10.940 --> 02:14.450 이미 허깅페이스에 로그인해서 불평하는 거예요 두 번째도 로그인하려고 02:14.450 --> 02:15.770 했는데 무시하세요 02:16.130 --> 02:23.600 이제 데이터 세트 이름을 입력할게요 어플라이언스만 빼고 전부 주석을 달았어요 기억하실지 02:23.600 --> 02:28.340 모르겠지만 아주 작은 데이터 세트였죠 02:28.580 --> 02:35.300 포옹하는 얼굴이 정말 속상해요 여러 번 실행했거든요 02:35.330 --> 02:36.200 출발했어요 02:36.200 --> 02:43.520 이 데이터 세트를 로드하는 데 걸리는 총 시간은 0분 정도 제 기억이 맞는다면 2분 정도 02:43.880 --> 02:50.900 0살요 3분 만에 끝내면 28,000개가 완성되죠 02:50.990 --> 02:54.890 우리가 작업한 400,000개의 데이터 세트보다 훨씬 작아요 02:54.890 --> 03:01.350 하지만 플로라에게는 아주 괜찮은 수치였고 가전제품에 집중할 수 있어서 유리했어요 03:01.710 --> 03:04.590 데이터 집합이 더 좁아지죠 03:04.800 --> 03:10.620 어, 그리고 이 차트들 따라가시면 돼요 REST 03:10.620 --> 03:12.330 안 중요한 차트는 뺐어요 03:12.330 --> 03:14.280 서로 다른 데이터 타입의 비교 같은 거요 03:14.280 --> 03:15.270 이게 그 대가예요 03:15.270 --> 03:16.380 평균은 그렇죠 03:16.380 --> 03:17.670 평균보다 낮아요 03:17.670 --> 03:20.850 999까지 갈 수 있어요. Get it. 03:20.850 --> 03:22.920 이게 바로 곡선이에요 03:23.190 --> 03:27.900 그리고 이걸 정리하는 건 사실 별거 없어요 03:27.930 --> 03:30.510 전체 데이터 세트를 가져오는 거죠 03:30.510 --> 03:37.710 작은 데이터 집합에 대한 같은 도표입니다 물질적 상관관계가 없다는 걸 보여주죠 03:38.040 --> 03:44.400 음, 아까 확인했던 것과 같은 것이 토큰에 적용된다는 것을 빠르게 확인해 볼게요. 03:44.580 --> 03:50.850 마지막으로 트레이닝과 테스트 데이터로 나눌 때 트레이닝용 아이템 25,000개 03:50.880 --> 03:54.840 테스트용 2000개를 가져가요 03:55.140 --> 03:58.290 다른 건 다 잘 될 거예요 03:58.350 --> 04:00.460 훈련 시간을 표시해 뒀어요 04:00.460 --> 04:02.140 테스트 프롬프트요 04:02.320 --> 04:05.590 테스트 세트에서 가격 배분을 계산할 수 있어요 04:05.590 --> 04:05.980 됐어요 04:06.010 --> 04:08.230 완벽한 스프레드가 있어요 04:08.230 --> 04:16.120 마지막으로 아까 했던 것처럼 프롬프트만 생성하면 됩니다 그리고 이걸he깅face에 업로드 합니다 04:16.120 --> 04:21.610 다른 이름을 붙일 수도 있죠 라이트 데이터라고 부를 수 있어요 04:21.880 --> 04:28.690 피클 파일 두 개를 만들 수 있어요 그걸 훈련에 활용할 수 있죠 04:28.690 --> 04:36.760 적은 데이터량을 바탕으로 모델을 만들 겁니다 다양한 가전제품의 가격을 예측하는 데 집중할 04:36.760 --> 04:40.030 겁니다 다른 종류가 아니라요 04:40.030 --> 04:41.080 이거면 될 거예요 04:41.080 --> 04:45.160 코드의 다양한 곳에 작은 변화를 주는 것이 좋은 운동이 될 겁니다 04:45.160 --> 04:47.830 작은 데이터 집합에 집중하기 위해서요 04:47.950 --> 04:54.640 제가 직접 실행해 봤는데 어떤 결과가 나오든 확인시켜 줄 수 있어요 400,000로 04:54.640 --> 05:02.010 했던 메인 실행에서도요 이 경우에도 같은 결과가 적용됩니다 다른 모델에 비해 어떻게 차곡차곡 05:02.010 --> 05:04.830 쌓이느냐에 있어서요 05:05.040 --> 05:12.900 데이터가 많을수록 더 잘 알 수 있겠지만 게임에서 중요한 일이 벌어질 거라는 걸 미리 05:12.930 --> 05:18.360 알려주지 않으면 되죠 가전제품에 집중하더라도요 05:18.360 --> 05:24.090 25,000에 데이터셋을 다룰 때는 아주 빠르게 get을 05:24.090 --> 05:25.620 할 수 있죠 05:25.680 --> 05:31.530 하지만 그렇게 하고 저처럼 버그를 확보해서 더 크게 달리길 원하나요? 05:31.530 --> 05:36.720 물론 더 많은 유형을 추가해 몇 달러 더 써서 전체 데이터 세트를 05:36.720 --> 05:38.010 만들 수도 있죠 05:38.040 --> 05:39.690 어쨌든, 그 과정을 거쳐야겠다고 생각했죠 05:39.690 --> 05:39.930 이거요 05:39.930 --> 05:45.930 데이터 큐레이팅에 있어 좋은 수정안이 될 수 있습니다 더 작은 데이터 집합을 원하신다면요 05:45.960 --> 05:47.220 어떻게 하는지 알려주죠 05:47.250 --> 05:47.700 좋아요 05:47.700 --> 05:53.970 다음 영상에서는 무게와 편향성을 살펴보고 400,000도 회전을 어떻게 진행하는지 05:53.970 --> 05:54.750 살펴보죠 05:54.750 --> 05:59.340 무게와 편향성을 따져보고 뭘 더 할 수 있는지 보죠 05:59.370 --> 06:00.180 거기서 봐요