네
진실의 순간이에요
방금 시험지를 먹었어요
이 수업 기억나요?
전체적인 평가를 수행하는 수업이에요 시험 데이터 세트에서 250개의 데이터 포인트를 통틀어서요
약간 달라요
여길 보시면 아주 미묘한 차이가 있는 걸 아실 겁니다 왜냐하면 우린 아이템 객체를
가져가지 않으니까요
데이터셋에서 데이터 포인트를 가져오는 거죠
몇 가지 작은 차이가 있어요
하지만 그 외에는 이 테스터는 기본적으로 똑같아요
물론 이 단선 테스터 테스트로 끝나죠
모델 예측은 방금 작성한 함수로 250점 대 모델을 테스트해보고 테스트 데이터 세트에서
통과하는 거죠
물론 이미 실행했죠 결과를 스크롤해 볼게요
느낌으로 알 수 있죠 바로 위∙∙∙ get 됐네요
정상까지 올라갈 거예요
보시다시피 첫 번째 빨간 항목은 374달러짜리 물건이 1,800달러로
예상됐어요
붉은색과 녹색도 있어요
우리가 그걸 못 느낀다는 걸 확실히 느낄 수 있죠
이 모델은 이 작업을 이해하죠
예를 들어, 89달러를 게스트하죠 99살요
진실은 101-79였어요
가장 가까운 금액이 아닌 게 흥미롭네요
0달러로 뭔가를 만드는 거예요 99살요
보시면 문제가 되는 색도 몇 개 있어요 녹색과
붉은색이 있는데 붉은색이 꽤 많아요
이 고통을 끝내고 곧장 차트에 오를 거예요 Put it up Put it
나오네요
말도 안 돼요
395의 끔찍한 결과예요
오차로 따지면 395%는 기억하시겠지만 무작위로 추측하는 것보다 훨씬 심각한
수치죠
훈련 데이터의 평균 수보다 확실히 더 나쁜 것 같아요
훈련 데이터는 몰랐지만요
네, 보통 끔찍한 결과죠
그렇게 놀랍진 않아요
작은 모형이에요
양자화도 잘 돼 있어서 눈으로 확인할 수 있어요
몇 가지 단계가 있는데 가장 쉽게 추측할 수 있는 단계죠 대부분 이 세 단계
중 하나에서 추측해요
안타깝게도 한 마리는 너무 높죠
모델에게 1,000달러 이상은 안 된다고 한 적이 없어요
꼭 그래야 하는 건 아니에요
GPT 4처럼 원하는 건 뭐든 추측할 수 있죠
우리는 그걸 알 수 있는 지식을 주지 않았어요 그래서 너무 자주 너무
높이 올라갔죠
그래서 결과가 엉망이 됐죠
기본 모델의 성능이 낮았어요
변수가 적은 걸 보면 그리 놀랍진 않네요
물론 이제 우리가 해결해야 할 과제는 성능이 떨어지는 모델을 미세
튜닝과 훈련 데이터를 이용해 더 강하게 만드는 거죠
그리고 1조 매개 변수 모델이 달성할 수 있는 것에 근접할 수 있을까요? Get it
80억 매개 변수 모델로 수량화되었어요
주요 개척 모델의 get 1조 이상의 모델 변수에 근접할 수 있을까요?
오픈 소스라서 무료예요
API 비용이 없어요
그 수준으로 경기를 펼치거나 최소한 인간을 이기면 굉장하겠죠?
훈련받지 않은 라마를 인간이 이기고 있어요
적어도 이 인간은 당신에게 마지막으로 남길 존재죠
이건 4분의 1로 퀀화되는 거 아시죠?
여러분은 궁금하실 거예요 우리가 8분의 1로 양자화되면 어떻게 보일까요?
8비트 버전을 유지하고 실행하면 성능이 얼마나 영향을 미치는지 알 수
있을 거예요 이중 퀀타이즈 된 4비트 버전까지 살펴보면요
물론 그럴 수 있죠
이 프레임워크가 아주 간단하고 실재하는 방법을 제공하죠
차이를 보세요
395까지 세면 얼마나 잘못된 건지 아시겠죠
다른 탭에서 유일한 8비트로 퀀타이즈 된 걸 실행했어요
위로 가면 4bit가 false로 설정된 게 보이시죠? 아니면 완전히
똑같아요
공책이에요
스크롤을 쭉 내려서 결과를 보죠
여기 있는 것 같아요
잠깐만요
긴장감을 조성해요
자, 보세요
그러니 연기도 형편없죠
395가 301이 된 게 더 낫죠
놀랄 일도 아니죠
정보가 두 배나 많거든요
다시 말씀드리지만 퀀타이즈는 정확도에 영향을 미쳤습니다 하지만 8비트 모델은
더 잘했을지도 모르겠네요
그래서 두 사람 사이에 큰 차이는 없었어요
물론 더 큰 모델이 더 잘한다는 걸 보여주죠
좋아요
그게 참 흥미로웠어요
노출이 심하네요
슬라이드로 돌아가서 마무리하고 요약해보죠