개척지 실험에 오신 걸 환영해요
그래서 새로운 모델을 시험해 보려고 합니다 GPT 4와
클로드를 조합해서 제품 가격을 예측하는 거죠
이와 관련해 몇 가지 지적하고 싶어요
우선, 이건 훈련이 아니란 걸 강조해야 해요
개척지 모델에는 훈련 데이터의 혜택을 주지 않을 거예요
테스트 데이터를 주고 결과를 예측하도록 요청할 뿐이죠
전통적인 머신 러닝을 살펴볼 때 400,000개의 훈련 데이터 포인트를 주고
그걸 기반으로 모델을 배우게 했어요
이 경우에는 테스트 데이터를 주는 거죠 세상에 대해 알고 있는 경이로운
모든 지식 수조 개의 매개 변수에 저장된 모든 정보를 가지고
제품의 가격을 예측해 보세요 그리고 이 문장을 끝내세요 이 제품은
달러 가치가 있다 그러면 모델은 가장 그럴듯한 다음 토큰이 그 제품의 가격이 될 것이라고
확신하죠
그래서 그 세계의 지식을 이용하는 거죠
한편으로는 이 작업에 대한 훈련을 받지 않았어요
한편으로는 이미 생각하셨을지 모르지만 언급할
만한 다른 주제가 있습니다. 훈련의 일환으로 이런 모델로 만들어진 어마어마하게 방대한
훈련 데이터셋을 보면 이런 제품들을 이미 봤을 가능성이 충분히 있다는 거죠.
아마존에서 가져온 걸 수도 있죠
포옹하는 얼굴 데이터 세트를 제공했을지도 모르죠
이제 가능하대요
이젠 아니에요
결과가 의심스러울 정도로 정확하진 않아요
그렇다면 정확한 가격의 혜택을 누릴 수 있겠지만 부당한 이점이 있을 수
있다는 걸 명심해야 해요
그런 증거는 못 봤지만 확실히 걱정해야 할 문제인 건 분명해요
테스타타 오염이라고 하죠
테스트 데이터가 목격되거나 훈련 중에 그 측면이 보였을 가능성이
있을 때요
그걸 명심하세요
그건 여담으로 남겨둘게요
그 얘기는 그만하죠
그게 관련됐다는 중요한 증거는 못 봤어요
수입 작업을 할 거예요
저기 가네요
오픈AI와 인류애를 다시 수입하고 있어요 그걸 활용할 거예요
제가 만든 테스터 수업 기억하시죠? 제가 좋아하는 건데 여러분께 아주 유용할
거예요
가능한 많은 비즈니스 지표를 사용해 결과를 검증하기 위한 여러분의 프로젝트를
위해 유사한 테스트 하니스 프레임워크를 작성하시길 권장해요
파이썬 을 가지고 있는 분리된 모듈로 옮겼어요
이런 모듈에 있는 것과 같은 코드예요 그 말은 Jupyter 노트북에 이게
있을 필요가 없다는 거죠 앞으로 꽤 많이 사용할 테니까요
이렇게 불러오기만 하면 돼요
서명이 아주 약간 바뀌었어요
테슬라 put test라고 적고 함수 이름을 넣고 시험 데이터 세트에도 통과시켜야
해요 250개의 요소 데이터 포인트를 취할 거예요
좋아요
이제 환경 변수를 로드할 거예요
얼굴 포옹에 로그인할게요
다시 말씀드리지만 그건 안 쓸 것 같아요
어쨌든 get it의 실천을 시작해 보죠.
포옹하는 얼굴 로그인하면 늘 좋죠
두 모델을 초기화할 거예요
Mattplotlib에 우리가 차트를 만들 거라고 말할 거예요. 그리고 우리가 출력한
트레이닝과 테스트 데이터 세트를 위해 피클 파일을 로드할 거예요.
장전도 됐고요
개척지로 곧장 간다고 말씀드렸지만 잠시 멈춰 보겠습니다 개척지로
가기 전에 보여 드릴 모델이 하나 더 있거든요
서구 시대라고 하셨지만 이것도 재미있을 거예요
제가 그 대가를 치렀죠
그래서 오늘 영상을 시작할 때 너무 피곤하다고 한 거예요
하지만 우리 모델을 비교해 봐야 할 또 다른 대상은 제품 가격을 예측하려는
인류의 노력일 거라는 생각이 들었죠
기준선도 있어야 할 것 같습니다 모델의 성능과 인간의 성능을
비교할 수 있게요
250개의 제품 설명을 읽고 가격을 계산하는 등의 공포를 감당할 수 있는 사람을
찾을 수가 없었어요
그래서 스스로를 고문했어요 정말 고문이 따로 없었죠
제가 예상했던 것보다 훨씬 어렵네요
전에 꽤 힘들 거라고 말씀드렸는데 생각했던 것보다 훨씬 힘들어요
제가 전혀 몰랐던 것들이 있어요
바퀴 하나에 얼마인지 몰랐는데 바퀴가 몇 개 있네요
컴퓨터의 순서를 알아야 하는데도 복원한 컴퓨터의 디스크
공간이 400GB나 돼서 고민하게 되더라고요
네, 정말 힘들었어요
샹들리에도요
샹들리에가 얼마인지 모르겠어요
본론에서 벗어났네요
코드를 작성해서 CSV파일 250 테스트 프롬프트에 출력합니다. 이것을 실행한 후에는, 실행해 볼게요.
이제 파일을 생성합니다 사람 입력 .csv
여기 사람 입력 .CSV가 있네요
프롬프트들을 포함하고 있습니다 상위 250개의 프롬프트들 전부를요 이 칼럼에 0은
사람이 채울 수 있죠
이 사람 산출물을 깃에 체크해야 할지조차 모르겠어요
보시면 아시겠지만 제가 감히 했어요 시간이 좀 지나면 지치거든요 너무
빨리 진행한 것 같아요
제가 큰 실수를 한 것 같아요
무슨 생각으로 그랬는지 궁금하실 거예요
당신은 LM 엔지니어링이나 가르쳐요
당연히 아니죠
당신은 이 세상의 사람이 아니에요
하지만 최선을 다하긴 했어요
제가 정한 가격을 다시 읽어볼게요
Get it가 어떻게 보일지 간단히 짚어 보죠
그래서 우리가 쓸 함수는 인간 예측기인 인간 프로세서예요
그래서 입력이 필요하죠
그 입력이 항목 중 하나가 되어야 해요
그 물건의 가격을 환불하는 게 그 기계의 일이죠
음, 이 시점에서 제가 하는 것은, 트레이닝 데이터 세트를 보면 테스트 데이터 세트라고
하죠
그 항목의 인덱스는 뭐죠?
테스트의 0번째 항목인가요?
첫 번째인가요? 두 번째인가요? 세 번째인가요?
그걸 인덱스라고 부르죠
여기서 보고 있는 테스트 아이템의 개수죠
그리고 가망 없는 예측을 전부 읽었어요
그래서 인간의 예측을 다시 보여드리려고 해요
인덱스 에서도요
좋아요
실행하세요
이제 테스터가 인간 프라이서를 테스트할 거예요
테스트 데이터 세트도 통과시키고요
시작할게요
결과가 나왔네요
붉은 연어가 꽤 많이 보여요
그래도 녹색은 좀 있네요
정중하게 했어요
그래도 꽤 멀리까지 갔어요
하지만 이걸 보세요
이게 뭐죠?
리치먼드 자동차 덮개 전문점 260점 정도 될 거예요
225달러였어요
이건 깁슨 퍼포먼스 배기관이에요
깁슨 퍼포먼스 배기관이 얼마인지는 모르지만요
499개라고 생각했어요
그래서 한번 해 보기로 했죠
답은 535예요
하지만 다른 사람들도 있어요
Get it, get it, get it, get it! 내가 뭘 잘못 알고 있는 거죠?
Street Series Senless 성능인가 뭔가였는데 260달러쯤 했어요 814달러였죠
어쨌든 너무 빗나갔어요 고통을 덜어주려고요
스크롤을 내리면 보일 거예요
여기 차트가 있어요 제가 형편없지 않다는 걸 보실 수 있죠
아니, 그랬다고요
보세요, 많은 녹색 점이 32%에 도달해요
그리고 3분의 2 정도 봤을 때 제가 생각한 가격은 400-500달러
정도였어요
그래서 제가 그런다는 걸 바로 알았죠
비싼 건 못 봤어요
그건 명백한 실패였죠
제 총 오류는 127달러였어요
평균보다 더 잘한다는 뜻이죠
처음부터 끝까지 맞힌다고 더 잘 만들 수 있는 것도 아니고요
비교를 위해 적어 봤어요
평균은 146점이었어요
평균 가격의 오류였어요
그보다는 잘했죠
기능 엔지니어링의 선형 회귀죠
기본은 139개였어요
그래서 이겼어요
아주 기본적인 기능 공학 선형 회귀를 깼어요
하지만 이미 더 많은 기능을 넣고 그것보다 잘했을 거예요.
그런데 다른 모델들이 전부 단어의 봉지에 담긴 스타일과 두 개의 벡 모델로 저를 압도했어요
랜덤 포레스트는 97년에 등장했는데 인류보다 훨씬 뛰어났죠
기존의 좋은 머신 러닝 모델은 사람보다 제품 가격 예측에 더 뛰어납니다
하지만 직접 해 보면 저보다 더 잘 알 거예요 추천하진 않아요
TUI
더 잘 살 수 있다는 걸 알게 될 거예요
어쨌든, 제가 여러분의 시간을 낭비한 건 아니에요
이런 운동은 도움이 됩니다 데이터 포인트를 몇 개 얻을 수도 있지만
어떤 문제를 해결하는지 감이 올 수 있거든요 인적 능력이라는 기준점이 어디에 있는지
모델로 얼마나 잘하는지 비교할 수 있으니까요
결국 사람보다 더 잘할 수 없다면 더 열심히 노력해야죠
그걸 보면 감이 오죠
다음 비디오에서는 개척 시대 모델에 대해 얘기해 보죠
시작됐어요
그때 봐요