이번에도 시상대에 올랐습니다 모델들의 퍼포먼스를 감상해 보죠
이미 답을 아시지만 그래도 한번 보고 웃어야겠어요
먼저 훈련 데이터 세트에서 평균 값을 추측하는 상수 모델을 살펴보죠
그 숫자를 보면 146이었죠
확실히 더 낮아 보여요
이유는 아실 거예요
그리고 전통적인 머신 러닝 모델을 살펴봤는데 평균을 넘을 수 있었어요 그러길
바라지만 대다수는 아니었죠
무작위 숲 접근법을 살펴봤는데 97년에 나온 전통적인 머신
러닝 접근법 중 최고였어요
인간과 비교해 보니 인간은 단순한 기본 특징을 이길 수 있었지만
숲의 모델에 지고 말았죠
GPT 40은 다양한 프런티어 모델 중 최고였어요 인간을
76배나 능가하며 완벽하게 해냈죠
오늘은 미세하게 조율된 베이스 라마 3을 살펴봤어요 180억 매개 변수가 4분의 1로 양분화됐어요
396도라는 걸 확인했는데 정말 심각했어요
8비트로 양자화했을 때가 약간 더 나았습니다 오차가 301달러로 늘었죠
라마 3은 시작이 안 좋네요 1점이지만 도전이 시작됐으니 어떤 면에선
신나죠
이 모델을 가지고 어떻게 개선할지 시험해 볼 거예요
저희 목표는 GPT 4 같은 모델과 경쟁하는 겁니다 매개 변수가 수조 개나
되죠
이 특정 작업에서 경쟁력을 갖추고 무료 오픈 소스 모델로
작업할 수 있다면 우린 대단한 걸 이룬 거죠
네
요약하자면, 이 시점에서 여러분은 80%의 여정을 마쳤는데
정말 대단한 거예요
정말 기뻐요
계속 물고 늘어져요
와줘서 정말 기뻐요
아직 20%가 안 왔어요
최고예요
그게 최고죠
가장 맛있는 콘텐츠는 다음에 나올 거예요
이 모델을 훈련할 때요
다음 주 결승전에선 모든 걸 합쳤어요 TUZ TUZ TOZ TUZ
점점 더 커질 거예요
Get it, get it, get it, get it, get 갈수록 더 좋아질 거예요
조금만 참아요
좋은 건 다 나올 거예요
다음 시간에는 hyperperameter를 더 할 거예요
하이퍼파라미터는 좀 힘들 수도 있지만 정말 중요한 걸 배우는 비트예요
hyperperameter가 있어요 컨트롤 훈련이죠 설명해 드릴게요
그런 다음 감독자 미세 조정 SFT 트레이너를 설치할 거예요 여기서 모든 게
이뤄지죠
그리고 훈련을 시작할 거예요
여러분은 독자적인 대형 언어 모델을 훈련하게 될 겁니다 라마 3을 기반으로요 1단계 모델이죠
다음 세션에서 그걸 할 거예요
그럼 거기서 봐요