이 코스를 위한 모델을 최적화하는 데 드는 훈련 비용은 아주 적다는 걸 말씀드리고
싶군요
몇 센트만 있으면 되니까 저처럼 미친 듯이 A100
상자를 들고 훈련할 필요 없어요
확실히 해두죠
먼저, 지난번에 설명했듯이 T4 같은 박스에서 작동할 수 있어요 아주 저렴하죠
상자에 들어가는 가장 큰 배치 사이즈를 가질 수 있어요
한두 번 연습하고 그렇게 달리기를 해요
하지만 그렇게 하면 우리가 작업해온 트레이닝 데이터 집합으로
시간이 오래 걸릴 겁니다 비트가 많아도 시간이 좀 더 걸리겠죠
이 괴물 같은 데이터에 맞서 훈련할 필요는 없다는 걸 설명하고 싶었어요
이렇게 하는 이유는 여러분께 좋은, 꽤 강력한 결과를 보여드리고 싶어서죠 하지만 훨씬
적은 데이터 집합으로도 훌륭한 결과를 얻을 수 있어요
제가 제안하고 싶은 것은 데이터 포인트 400,000개의 데이터 집합 중에서
첫 20,000개를 선택해서 하위 데이터 집합으로 실행해도 된다는 거예요
그렇게 하는 게 좋겠어요
가격이 매겨지는 특정 제품에 집중하는 대신에요 그래야 모델이 해당 제품에
관해 전부 배울 기회가 생기니까요
예를 들어 어플라이언스를 선택할 수 있는데 처음에 H깅페이스 허브에서 뽑아낸
데이터 세트 중 하나였죠
이 모든 데이터 세트를 없애는 대신 가전제품만 없애는 거죠
주피터 공책을 준비했어요
콜랍은 아니고 동네 공책이에요
6주 차예요, 다른 날은 6주 차까지 갔거든요
둘째 날 전체 데이터를 구축했어요
이건 둘째 날 복사본인데 훨씬 간단하고 가전제품만 볼 수 있게 편리하게 만들었어요
데이터 집합이 작아서 아주 빨리 실행될 거예요
환경과 연결하는 거죠
과거를 떠올리게 하는 요리예요
이미 허깅페이스에 로그인해서 불평하는 거예요 두 번째도 로그인하려고
했는데 무시하세요
이제 데이터 세트 이름을 입력할게요 어플라이언스만 빼고 전부 주석을 달았어요 기억하실지
모르겠지만 아주 작은 데이터 세트였죠
포옹하는 얼굴이 정말 속상해요 여러 번 실행했거든요
출발했어요
이 데이터 세트를 로드하는 데 걸리는 총 시간은 0분 정도 제 기억이 맞는다면 2분 정도
0살요 3분 만에 끝내면 28,000개가 완성되죠
우리가 작업한 400,000개의 데이터 세트보다 훨씬 작아요
하지만 플로라에게는 아주 괜찮은 수치였고 가전제품에 집중할 수 있어서 유리했어요
데이터 집합이 더 좁아지죠
어, 그리고 이 차트들 따라가시면 돼요 REST
안 중요한 차트는 뺐어요
서로 다른 데이터 타입의 비교 같은 거요
이게 그 대가예요
평균은 그렇죠
평균보다 낮아요
999까지 갈 수 있어요. Get it.
이게 바로 곡선이에요
그리고 이걸 정리하는 건 사실 별거 없어요
전체 데이터 세트를 가져오는 거죠
작은 데이터 집합에 대한 같은 도표입니다 물질적 상관관계가 없다는 걸 보여주죠
음, 아까 확인했던 것과 같은 것이 토큰에 적용된다는 것을 빠르게 확인해 볼게요.
마지막으로 트레이닝과 테스트 데이터로 나눌 때 트레이닝용 아이템 25,000개
테스트용 2000개를 가져가요
다른 건 다 잘 될 거예요
훈련 시간을 표시해 뒀어요
테스트 프롬프트요
테스트 세트에서 가격 배분을 계산할 수 있어요
됐어요
완벽한 스프레드가 있어요
마지막으로 아까 했던 것처럼 프롬프트만 생성하면 됩니다 그리고 이걸he깅face에 업로드 합니다
다른 이름을 붙일 수도 있죠 라이트 데이터라고 부를 수 있어요
피클 파일 두 개를 만들 수 있어요 그걸 훈련에 활용할 수 있죠
적은 데이터량을 바탕으로 모델을 만들 겁니다 다양한 가전제품의 가격을 예측하는 데 집중할
겁니다 다른 종류가 아니라요
이거면 될 거예요
코드의 다양한 곳에 작은 변화를 주는 것이 좋은 운동이 될 겁니다
작은 데이터 집합에 집중하기 위해서요
제가 직접 실행해 봤는데 어떤 결과가 나오든 확인시켜 줄 수 있어요 400,000로
했던 메인 실행에서도요 이 경우에도 같은 결과가 적용됩니다 다른 모델에 비해 어떻게 차곡차곡
쌓이느냐에 있어서요
데이터가 많을수록 더 잘 알 수 있겠지만 게임에서 중요한 일이 벌어질 거라는 걸 미리
알려주지 않으면 되죠 가전제품에 집중하더라도요
25,000에 데이터셋을 다룰 때는 아주 빠르게 get을
할 수 있죠
하지만 그렇게 하고 저처럼 버그를 확보해서 더 크게 달리길 원하나요?
물론 더 많은 유형을 추가해 몇 달러 더 써서 전체 데이터 세트를
만들 수도 있죠
어쨌든, 그 과정을 거쳐야겠다고 생각했죠
이거요
데이터 큐레이팅에 있어 좋은 수정안이 될 수 있습니다 더 작은 데이터 집합을 원하신다면요
어떻게 하는지 알려주죠
좋아요
다음 영상에서는 무게와 편향성을 살펴보고 400,000도 회전을 어떻게 진행하는지
살펴보죠
무게와 편향성을 따져보고 뭘 더 할 수 있는지 보죠
거기서 봐요