데이터 스크러빙 첫 번째 강습이 즐거우셨길 바랍니다 이제 코드를 훑어보며 데이터를 삭제했을
때 좋은 일을 했다고 자신을 설득하세요 모델에 포함해야 할 건 아무것도 버리지
않았다고요
이런 걸 발견하시면 바로 알려주세요 모델에서 좀 더 비트 짜내고 결과를
좀 더 좋게 만들고 데이터를 바꾸는 걸 좋아하거든요
모델로 들어가는 데이터의 품질 개선이 모델의 성능에 가장 큰
영향을 미쳤죠
hyperferameter 튜닝에 많은 시간을 할애할 수 있습니다. 한동안
이 방법으로 모델에서 쥐어짜낸 비트들을 통해 결과를 예측하는
게 더 쉬워질 겁니다. 물론 개척 모델과 맞붙어서 어려운 작업을
해야겠죠.
하지만 데이터 품질을 향상시키는 게 가장 쉽고 효과적인 방법이에요
그래서 시간을 들여야 하는 거죠
그리고 마지막 주피터 노트에는 이 목록의 1번, 2번, 3번 4번, 5번까지
작업했어요
아직 4개와 5개가 더 남았지만 가장 중요한 건 아이솜 클래스를
직접 살펴보는 거예요
마무리하기 전에 다시 한번 측정과 평가 주제를 언급하고 싶습니다 이 모델로
목표 달성을 달성했는지 어떻게 결정하는지에 관해서요
앞서 말씀드렸듯이 성능을 평가할 때 사용하는 두 가지 측정법이 있어요
모델 중심 지표라는 게 있는데 모델이 수학적으로 얼마나 잘 작동하는지
이해하는 데이터 과학자의 영역에 속하죠
그리고 결과 비즈니스 중심 지표가 있습니다 사용자, 스폰서,
CEO의 마음을 사로잡는 지표죠
그게 이 프로젝트의 궁극적인 목표예요
모델 중심의 것은 모델이 훨씬 직접 측정합니다 훈련과 최적화 과정에서
측정할 수 있죠
비즈니스 중심의 것이 가장 중요하지만 모델과 바로 연결될 필요는
없죠
물론 우리 같은 경우에는 비즈니스 중심 지표가 있어서 호사를 누리고 있죠
모델 중심 지표에서 가장 성공적일 거예요
훈련의 손실이나 검증의 손실이란 말을 종종 듣게 될 겁니다 훈련의 손실은 훈련 세트와 함께 잃는
거죠
검증 손실은 검증 집합과 함께 발생합니다 검증 집합은 데이터의 일부죠
모델은 이 측정법을 통해 계산할 겁니다 나중에 자세히
살펴보죠
훈련 과정에서 손실된 훈련량이 점차 줄어들 겁니다
모델이 작업을 점점 더 정확하게 수행한다는 뜻이죠
좀 더 정교한 데이터 과학 지표도 있는데 다양한 관점을 살펴볼
거예요
루트 평제곱 로그 에러라는 게 있어요
RMSE l요
이런 오류의 장점은 모델이 절대적으로 잘못되거나 퍼센트를 기준으로
하면 여러 면에서 감점을 받는다는 거죠
저가 제품에 몇 달러 차이로 불이익을 당해도 모델에게 부당하지 않아요
절대적인 차이와 상대적인 퍼센트 차이를 측정하는 균형 잡힌 측정법이죠
적절하죠
그것도 살펴볼 거예요
사람들이 훨씬 단순하게 생각하는 또 다른 건 평균 제곱 오류입니다
예측과 실제 가격 사이의 차이의 제곱을 의미하죠
제곱 오차의 문제는 가격이 높아도 터질 수 있다는 거죠
800달러가 드는 것이 있고 900달러가 들 것으로 예상한다면 100달러 차이가 나는 거죠
그걸 제곱하면 10,000가 되죠 아주 큰 숫자입니다 다른 모든 오류가 작아질
거예요
비열한 제곱 오차는 우리 같은 문제에선 더 큰 골칫거리죠
그게 모델 중심 지표예요
이제 비즈니스 지표에 대해 얘기해 보죠
우리 문제의 멋진 점은 측정법이 있다는 거예요 양쪽 진영에
속해 있죠
평균 절대 가격 차이죠
모델도 잘못됐고요
냉장고 가격이 100달러라고 했는데 120달러였어요
20점 차로 졌어요
평균 가격 차이는 단순하고 인간적이며 이해할 만하죠
그건 훌륭한 비즈니스 결과 척도예요
결점이 좀 있어요
좀 불공평해요 800달러 정도 하는 더 비싼 것이 850달러라고
추측했다면 나쁘지 않은 거예요
50달러 오류로 간주됩니다 꽤 중요한 거죠
10달러짜리 물건이라면 50달러보다 훨씬 싸게 팔아야 해요
이상적인 상황은 아니죠
문제가 좀 있지만 꽤 괜찮아요
우리 모델이 좋은 일을 하는지 인간적으로 이해할 수 있는 방법을 제공할
거예요
그것과 함께 가격 차이도 살펴볼 수 있어요 반대의
문제가 있죠
비트 박스가 더 합리적이고 고가의 물품에는 더 합리적이지만 저렴한 물품에는 불공평한
것 같아요
10달러짜리 물건에 12달러씩 얹어 주죠 Get it
그런데 20% 비트는 건 좀 심하네요
또 다른 방법은 견적서의 품질을 판단하는 기준을 갖는 겁니다 견적서는
절대적인 차이와 퍼센트 차이를 합칠 수 있죠
오차가 40달러 이하나 20% 이하면 히트라고 볼 수 있죠
좋은 추정이네요
그 정도면 충분해요
그러면 모델의 예측이 그 기준에 부합하고 좋다고 간주되는 비율을
측정할 수 있죠
우리가 사용할 수 있고 또 사용할 또 다른 비즈니스 지표죠
이렇게 성능을 평가할 수 있어요
우리 프로젝트의 기쁨은 그들이 인간적이라는 거죠
이해해요
다른 모델, hyperpaameter 같은 걸 시도해볼 수 있어요
다른 모델을 시도해 보죠
프런티어와 오픈 소스를 시도해 보려고요
어떤 회사가 제품 가격을 더 잘 예측하는지 쉽게 알 수 있죠
이제 소매를 걷어붙이고 코딩을 시작하고 성능을 평가하고 가격을 예측할 준비가 거의 다 됐어요
get it
정말 재미있을 거예요
하지만 그 전에 몇 가지 정리할 게 있어요
비즈니스 전략에 대해 좀 더 얘기하고 싶어요 이런 문제를 해결하는 방법에
대해서요
여러분도 저와 같다면 들어가고 싶어 안달일 겁니다 드디어 우리 모델을 훈련하고
이 다양한 모델이 얼마나 좋은지 보고 싶어 하죠 get it
하지만 저는 이 기반과 기반을 알려드리고 싶어요 그래야 사업 문제를 해결하러
갔을 때 이 맥락을 강화할 수 있으니까요
퍼포먼스 향상을 위한 다양한 기술을 대조하고 그 차이점을 설명할 거예요
어떤 상황에서 랙을 쓰는지 확실히 하고 싶어요
어떤 상황에서 세세한 조율을 사용하나요?
Get it, Get it, Get it, Get it, Get it, Get it. 많이 듣는 질문이에요
get it 시작하기 전에 명확히 하는 게 도움이 될 것 같아요
컨텍스트를 보았고 데이터 집합에 대한 숙제가 아직 남아 있어요
최종 데이터 세트를 큐레이팅하고 업로드 해야 해요
엄청날 거예요
빅데이터 집합이 될 거예요 훈련을 많이 해야 하니까요
아직 할 일이 남았어요
내일이면 모든 게 끝나요
그때 봐요