이제 결과를 나란히 보죠
1달러짜리 모델로 여정을 시작했어요 데이터 평균에서 46개 오류예요
훈련 데이터 세트에서 전통적인 머신 러닝 모델을 봤습니다 몇 가지 기능만 있었죠
1까지 갔어요 39살요
일반적인 숲을 능가하죠
전통적인 머신 러닝 모델 중 최고는 97점이었어요
참가자는 127점을 받았고 GPT는 4점을 받았습니다 미세하게 개조한 모델은 47점을 받았죠
그래서 여러분에게 도전 과제를 드리려고 해요
47달러를 더 벌어야 해요
하이퍼파라미터 최적화가 큰 도움이 될 거예요
이제 하이퍼파라미터 실험을 진행할 차례입니다 무게와 바이어스를 사용하는 작업이죠
다양한 최적화 방법과 학습률 다양한 배치 크기를 고려해서 이 수치를
개선할 방법을 찾아보세요
모델을 추론 시간에 실행하는 다양한 방법을 탐구할 수도 있습니다 개선되었는지 보기 위해서요
그리고 한 가지 요인이 더 있습니다 결과에 가장 큰 영향을 주는 방법으로 가장 작은 변화도
만들 수 있는 거죠 데이터 세트와 데이터 큐레이션 단계를 다시 한 번 살펴보고
정보를 프레젠테이션하거나 조직화하는 다양한 방법을 생각할 수 있는지
도전하는 거예요 더 나은 결과를 위해서요
마지막으로 할 수 있는 게 하나 더 있어요 더 큰 단계지만 아주 흥미진진하죠
안 하면 제가 할 거예요 다른 모델도 써 보려고요
JAM이나 권 장군을 써봐요 어떻게 하는지 보자고요
좀 성가신 부분도 있어요 토큰 하나가 올바른 숫자라는 예측을 못 할 수도
있거든요 비트는 추론 함수에서만 가능하니까요
그것만 빼면 다 괜찮을 거예요
하지만 실험해 보고 맛있다고 자신을 설득해야 해요
다른 모델도 시도해 보세요
라마3를 전체 버전으로 만들어도 돼요 4비트가 아니라 8비트로 수량화한
거죠 여러분의 입맛에 따라서요
큰 모델도 있어요
53번 버전도 있어요 140억 개의 매개 변수를 실험해보고 개선되는지
볼 수 있죠
그게 목표예요
Get 4만 이하로 맞추는 첫 번째 분께 듣고 싶네요
그게 가능해야 해요
불확실한 가격을 생각하면 얼마나 낮출 수 있는지에 엄격한 제한이 있는 것 같아요 하지만
누군가는 40달러 이하로 낮출 수 있을 거예요 Get it
테스트 세트에서 251번째 아이템에 대해 40달러 이내로 접근할 수 있는 모델을 구축합니다. 빨리 들어보고
싶네요.
그러니 40 이하로 떨어지면 연락 주세요 hyperpaameter와 모델을
알려 주시면 제가 직접 만들어 볼게요
그럼 좋죠
이것으로 이번 주를 마무리하죠
7주 차가 끝났으니 이제 프론티어 API로 텍스트와 코드 생성 오픈
소스 모델 얼굴 포옹 데이터셋 큐레이션 기본 모델 미세 조정 같은
문제를 해결할 수 있죠
이 시점에서는 전 과정을 자신 있게 수행할 수 있습니다 한계를 뛰어넘을
오픈 소스 모델을 선택하고 훈련하는 거죠
대단한 성과죠
다음 주에 이 과정의 결승전이 있어요 장담하는데 최고의 요리를 준비했죠
대성공일 거예요
다음 주는 정말 재미있을 거예요
여기까지 왔잖아요
끝까지 버텨서 모든 게 잘 어우러지는 걸 봐야죠
우리가 할 아주 중요한 게 몇 가지 있어요 지금까지 한 걸 패키징하고
API 뒤에서 배포할 수 있도록 하는 거죠 프로덕션 목적으로 사용할 수 있도록요 그런
다음 모든 걸 응용 프로그램에 패키지하는 거죠 실제 영향을 줄 수 있는 응용 프로그램에요
그 시점에 여러분은 상업적 문제에 대한 자신만의 해결책을 만들 수 있는 위치에 서게
되죠
획기적인 llm을 사용해 스스로 훈련할 수 있죠
할 일이 많아요 다음 주가 기대돼요
늘 그렇듯 거기서 봐요