새 모델을 시도하기 전에 모델에 대해 한 가지 더 알려드리죠 어떻게 되는지 볼 수 있게 메모해두세요
미세 튜닝 모델을 작동하는 동안 여러분도 함께 즐기세요
우린 일정한 모델로 시작했어요
무작위 모델로 시작했지만 그건 이제 Put it로 할 수 있을 것 같아요
그건 바보 같은 짓이었어요
훈련 데이터 세트에서 평균을 추측하는 상수 모델은 결국 146
오류가 되죠
146점보다는 더 잘했으면 좋겠어요
아니면 그냥 계속 만나는 게 나아요
아주 간단한 전통적인 머신 러닝을 기본 기능으로 사용했더니 139개가 나왔어요
기억나요?
무작위의 숲과 더 정교한 알고리즘이 언어를 살펴보고
97개로 줄었길 바라요
이 인간은 56kg으로 형편없었어요
GPT 4요
덩치 큰 친구가 아주 잘했어요
76위와 배스 라마가 3위예요 1번은 훈련받지 않고 4개로 수량화했는데 끔찍한 396달러의 오류를 냈어요
훈련받지 않은 라마를 쓰는 것보다 상수를 쓰는 게 훨씬 나아요
가엾게도 잘 지내지 못했어요
이걸 한 번 더 훑어볼게요 그래야 액자가 잘 나오죠
GPT 4의 중량은 수조 단위라는 걸 기억하세요
GPT 4는 1이었죠 76조 GPT 4요
알려진 바는 없지만 그 이상으로 여겨지죠
무게가 엄청나죠
라마 3요 1기지는 80억 개인데 우린 그걸 4분의 1로 줄였어요
이제 색을 칠해 볼게요
미안해요
로라 어댑터에는 109MB가 들어가는데 거기에 쓸 추가 무게를 더하기 위해서죠
라마레마3요 1베이스지만 여전히 작은 숫자죠 오픈 소스 모델이라
무료로 실행할 수 있어요
이런 얘기를 하는 건 기대를 심어주기 위해서예요 개척지에서 일하는 모델들과 경쟁하는
건 무리한 요구죠
우리가 기존의 머신 러닝보다 더 잘할 수 있을지 살펴봐야 해요
인간보다 더 잘할 수 있을까요?
물론이죠
계속보다 더 잘할 수 있어요?
GPT 4와 우리를 비교하면 어떤 스택이 나올까요?
최전방 모델이죠 GPT 4나 미니와도 나중에 비교할 수
있어요
그게 맥락을 제공하죠
잘 생각해 보세요
앞으로 닥칠 일에 대비해서 숫자를 적어두세요
이제 콜랍으로 가서 가장 강력한 체크포인트를 추론할 때입니다 수직화된 오픈
소스 모델을 훈련한 결과죠 HDP, HDP, HDP