잘 돌아왔어요
유피터랩에서 저와 함께 하고 계신다면 커피 마시는 동안 잠시 꺼두세요
모든 데이터셋을 다운로드하는 데 20분 정도 걸리거든요 하지만
이제 정성껏 다운로드해서 다듬어질 거예요
여기 있네요
자동차용은 가장 크고 데이터 포인트와 사무실이 900,000개 이상이죠
전자 제품은 400,000개가 넘어요
총합이요
뭐가 있는지 보죠
총 2마리가 조금 넘어요 데이터 포인트가 8백만 개예요
데이터 포인트가 많네요
데이터 포인트가 너무 많아요
우리가 할 훈련에는 그런 숫자가 필요 없어요
즉, 이 데이터셋을 연마하고 가장 가치 있는 데이터 포인트를 선택하고 가장
많은 신호를 줄 기회가 있다는 거죠
그럼 먼저 패가 얼마나 있는지 분배하는 걸 다시 살펴보죠
지난 번과 같은 도표입니다 훈련 프롬프트에는 180개 이상의
토큰이 없습니다 오픈 소스 라마 모델을 잘 조정하기 위해서
이렇게 설정했습니다 또한 개척자 모델에서는 비용을 절감하기 위해서이기도
하죠
가격을 다시 보죠
이건 2백만 달러 정도에 걸친 전체 가격 분배입니다 보다시피 999달러
이하로 제한돼 있죠
1과 999 사이예요 그게 제약 조건이거든요 관리 가능한 데이터 집합을
확보하려면요 훈련 전체를 왜곡하는 터무니없는 예외 없이요
하지만 여전히 같은 문제가 있어요 데이터 세트가 작은 숫자로 많이 편향돼
있죠
길이 아주 얇아요
이건 300달러까지밖에 안 돼요
1,000까지 올릴 수 있다면 데이터 집합의 끝까지 올릴 수 있어요
여기요
보세요
여기예요
909까지 도달하는 데이터 포인트가 있어요 49개요, 근데 잘 안 보여요
축에 거의 닿지 않아요
데이터 세트가 800,000개 정도에 지배당하기 때문에 낮은 비용 포인트로 접근하는 거죠
한 가지 더 할 일은 카테고리를 빠르게 살펴보는 거예요
이 멋진 막대 차트는 얼마나 많은지 보여줍니다 제품의 다양한 데이터 카테고리에 각각 얼마나
있는지요
다시 900,000점으로 자동차가 우세하네요
그 다음은 도구와 집 꾸미기입니다 전자 제품 번호는 400,000고요
지금 우리가 하고자 하는 것 중 하나는 데이터를 좀 더 균형 잡힌 데이터 집합을 가질 수 있도록 다듬는 겁니다
왜냐하면 하나의 특정 카테고리에서 하나의 가격에 대해 더 왜곡되어 배우는 쪽으로 모델이
편향되는 건 원치 않으니까요
가격이 싼 곳을 선호해도 저희는 괜찮아요 그게
현실이니까요
하지만 훈련에 방해가 될 정도로 너무 멀리 가면 안 돼요
그래서 지금 하려는 건 데이터셋 샘플을 선택하는 겁니다 데이터셋에서 선택해 더 작은
데이터셋을 확보하는 거죠 가격과 카테고리를 더 잘 나타낼 수 있도록요
제가 원하는 데이터 집합 사이즈는 약 400,000개의 데이터 포인트예요
미세 튜닝 목적으로 큰 데이터 세트지만 그렇게 클 필요는 없어요
하지만 전 데이터 모음이 컸으면 했어요
그래서 400,000달러로 정했어요
어떻게 하는지에 대해 얘기해 보죠
먼저 슬롯머신이라는 사전을 만들었어요
이게 뭔지 말씀드리죠
그럼 내가 왜 그랬는지 이해할 거예요
슬롯머신은 사전인데 사전의 키가 제품의 모든 달러 가격이죠
1달러에서 9달러로 늘었어요 99, 1, 2, 3 999까지 쭉 가세요
이 사전의 열쇠는 999개예요
값은 해당 가격이 있는 모든 제품의 목록이 되겠죠
슬롯 사전에 2번 슬롯에 있는 모든 항목이 2달러짜리 목록으로 나와 있어요
모든 걸 이 구멍에 정리하는 거죠
데이터 세트를 버킷으로 만드는 거죠
이해가 되면 좋겠네요
아니면 이 코드를 불러오고요
통과해요
Defaultexpt를 사용하고 있는데 기본적으로 사전이죠
사전에서 빠진 게 있으면 자동으로 초기화해 넘겨주는 형식이 뭐든
돼요
코드에 일종의 if 테스트를 둘 필요가 없죠
멋지고 우아한 코드를 만들죠
비트가 있는 함수가 있는데 제가 설명해 드릴게요
아미티요
주피터 공책이에요
휴대폰요
여기 있는 모든 구멍을 통과할 거예요
999개의 슬롯이 있어요
저 슬롯에서 데이터 하위 집합을 샘플로 만들 거예요 훈련에 사용하기에 좋은 대표
샘플이 될 것 같아요
어떤 건 제가 제멋대로 변형했어요 이것 다음에 나올 조직 문자에도 익숙해질
때까지요
특별한 이유 같은 건 없어요
시행착오의 사례에 더 가깝죠 여러분이 생산하는 균형 잡힌 데이터셋에 대해 만족할 수 있는
지점까지 가는 거예요
물론 훈련을 통해 스스로 만족하게 되죠 이렇게 함으로써 더
좋은 결과를 얻을 수 있다고요
그래서 저는 차례대로 칸을 하나씩 통과했어요 240달러 이상의
가치가 있는 물건은 칸 전체를 다 가져갔죠
그 모든 점을 제 샘플에 추가해요
네
적어도 less로요
여기 코드가 있는데 샘플이 1,200개예요
그래서 그 구멍에 수천 개의 공간이 있을 수 있죠
1200개를 골라서 선택이라는 누피 기법을 사용합니다 특정 숫자를 고를 수 있게
해주는 거죠
선택기의 장점 중 하나는 무게라는 걸 입력할 수 있다는 거예요
어떤 물건의 중요성을 다른 물건보다 높일 수 있다는 거죠
무게추가 잘 어우러졌으면 좋겠어요
자동차에 들어가는 모든 건 1kg이고 나머지는 5kg이라고
가정해 보죠
이 부분도 여러 가지로 시도해봤죠 어떤 곡이 나올지 익숙해질
때까지요
너무 멀리 가고 싶진 않았어요 현실 세계에 있는 데이터의 유형을 대략 유지하고
싶었거든요
하지만 데이터 집합의 불균형을 바로잡고 싶었어요
한 줄씩 설명하진 않을 거예요
제가 구상한 걸 보고 만족하셨으면 좋겠어요 제가 말한 대로 되고 결과물이
마음에 들면 좋겠어요
물론 데이터 세트를 약간 다르게 만들고 싶다면 지금이 기회예요 비트
모델 성능 측면에서 제 결과를 이길 가능성도 충분히 있습니다 카테고리마다
다른 무게를 두거나 다른 슬롯을 선택하는 게 낫다고 생각할
수도 있죠
그러니 실험을 해 보고 결과를 봐야죠
하지만 지금은 제가 운영해요
이제 샘플 리스트를 생성했고 그 샘플 안에 408,000개의 데이터 포인트가 있어요
이 정도 크기로 만들 거예요
이제 가격 분배 결과를 보죠
가격 분배 측면에서 훨씬 합리적으로 보이죠
더 저렴한 제품도 많지만 저렴한 제품의 가격은 일정하게 유지돼요
더 비싼 가격으로 넘어가면 더 비싼 데이터 포인트가 완벽하게 갖춰져 있어요.
흥미로운 효과를 보실 거예요 다양한 포인트가 있죠
예상대로 399, 499달러로 가격을 매긴 것들은 데이터 포인트가 얼마나 많은지 측면에서
약간 상승하죠
현실 세계를 반영해서 좋아요
데이터 집합에 있는 게 좋아요
그 문제를 해결하고 싶지 않아요
이 가격 조직도표와 아까 보여드린 가격 조직도표를 비교하면 데이터에서
가격 분배가 얼마나 개선됐는지 바로 아실 거예요
현실 세계는 여전히 삐뚤어져 있어요
하지만 더 비싼 제품을 더 잘 보여주는 곳이 있어요
그러면 품질 좋은 방법으로 배울 수 있고 샘플의 유효성을 더 확인할 수 있죠
그게 만족스럽지 않다면 데이터 세트를 몇 개 생성하세요
훈련할 때 둘 다 시도해보고 균형 잡힌 데이터셋의 영향을 볼 수 있어요.
Get it
카테고리를 다시 보죠
주제별로 나눠요
사실 큰 차이는 없었어요
약간 기울었어요
비트가 더 잘 맞거든요
더 바로잡고 싶지 않았어요 결국 이 그림은 현실을 반영한다고 생각했거든요
너무 왜곡하면 안 돼요
자동차 제품을 파는 곳이 다른 곳보다 많아요
이 정도면 괜찮은 것 같지만 불균형이 약간 수정됐어요
파이 차트를 보는 다른 방법도 있을 것 같아요
일반적으로 파이 도표는 데이터 과학자들에게 인기가 없어요 바
도표가 양을 나란히 보고 정량적으로 보는 데 더 좋거든요
파이 도표는 시각적으로 유용할 때가 있죠, 한번 볼까요?
카테고리별 파이 차트가 있습니다. 이 단어들을 구분하려면 작업을 좀 해야겠지만, 어떤 느낌인지 아시겠죠.
비트 주세요.
자동차 업계의 지분이 가장 크다는 걸 보여주지만 그렇게 압도적이진
않아요
이 두 개를 합치면 자동차 이상의 의미가 있죠
그러니 합리적이죠
여기 작은 건 가전제품이에요
어제 처음 시작한 건 파이에서 1%가 가장 작은 조각이에요
이 경우엔 말 그대로요
이게 우리 데이터 세트 큐레이팅이에요
비트 좀 썼다고 인정할게요
샘플링처럼 가시 돋친 부분을 광택제로 닦았어요
다시 와서 살펴보고 스스로 평가해서 더 나은 데이터 세트를 만들길
바라요
허브에 업로드 하기 전에 마지막으로 분석할 거예요
다음 영상에서 다시 만나요