LLM의 아주 근본적인 것에 대해 잠시 얘기하고 싶습니다 LLM 매개
변수 안에 있는 매개 변수의 수입니다 웨이트라고도 하죠
보통 매개변수와 무게는 동의어예요
어떤 상황에서는 완전히 다른 세부 사항이 있어요
하지만 기본적으로 중량과 매개 변수는 같아요
모델 웨이트예요
이건 모델 안에 있는 레버로 입력을 받았을 때 출력을 생성하는 것을 통제하죠
다음에 나올 단어를 어떻게 예측하시나요?
이 웨이트는 LLM 훈련 때 쓰는 거예요
수많은 예시를 보고 그 예시를 이용해 무게를 움직입니다 상태가
더 좋아져서 다음 토큰에서 나올 것을 예측할 수 있을 때까지요
토큰에 대해 곧 얘기하겠지만 점점 더 재미있어지죠
모든 무게를 조정하면 더 좋아지죠
데이터 과학을 하는 분들은 처음 보시는 분들에겐 아주 잘 아는
것들이죠
과정을 진행하는 동안 다양한 방식으로 살펴볼 겁니다 보다 나은 직관력을
갖게 될 거예요 getput을 제어하는 매개 변수와 저울이 어떤 의미인지를요
하지만 우선 얼마나 많은 중량이 있는지 알아야 합니다 기존의
데이터 과학이나 머신 러닝에서는 단순하게 접근했기 때문에
선형 회귀 모델이라는 모델을 개발해야 했습니다 가중된 평균을
가지고 20에서 200 정도의 매개 변수를 갖습니다
보통 20에서 200 정도의 중량으로 접근하죠
LMS가 특이한 점 중 하나는 무게의 수가 다르다는
거예요
2018년에 출시된 GPT 1은 1억 1,700만 명이 기다렸어요
개인적으로 좀 화가 났던 부분인데요 LMS@타입의
딥 신경망이 있었을 때 제 스타트업에 하나 있었는데 딥 신경망에 200,000
매개 변수가 있다고 자랑하곤 했어요 엄청나게 큰 숫자라고 생각했죠 200,000
매개 변수가 넘는 모델은 상상할 수도 없었어요
그래서 GPT 1이 매개 변수를 1억 1,700만 개 제시했을 때 당황했죠
GPT 1의 중요성을 절실히 깨닫게 됐죠
그런데 보다시피 여기 보이는 이 범위는 로그식 범위예요 틱을 켤 때마다
한 단계씩 더 올라가는 게 아니죠
매개 변수의 10배를 앞의 체크보다 더 많이 입력해야 해요
이 다이어그램에 레이어를 겹쳐보죠
GPT 2의 후속 버전인 1을 추가했죠 50억 개의 매개 변수가 있어요
GPT 3,750억 매개 변수예요
말로 표현이 안 돼요
변수가 많아요
GPT 41요 7조 6천억 매개 변수예요
최신 개척 시대 모델도 있죠
매개 변수가 몇 개인지 아직 발표하지 않았어요
약 10조 매개 변수가 있는 것으로 추정되죠
이 추의 숫자는 상상할 수 없을 정도예요
이제 이 위에 오픈 소스 모델을 레이어하죠
제마는 20억 달러예요
가벼운 모델이에요
라마 3도 기억하실 거예요 라마를 사용할 때 작업했던 2개의 데이터에도 20억 개의 매개
변수가 있었어요
그럼 라마 3요 1번, 그러니까 더 큰 사촌은 세 종류가 있어요
80억 개, 700억 개 그리고 라마 3이죠 1 405B는 현재 오픈 소스 모델 중 가장 큰
것으로 일부 비공개 소스 모델과 비슷한 기능을 갖고 있죠
혼합 레일도 언급했었죠 전문가들의 혼합 모델이요
이 모델들이 얼마나 거대한지 통찰력을 주는 거예요
10조 개의 무게와 다양한 지렛대 다양한 숫자가 있다는 게 어떤 의미인지 이해하기조차
어려워요
입력된 출력을 조절하는 이 거대한 모델 안의 작은 손잡이라고 생각하면 돼요
그리고 다시 한 번 구식 선형 회귀 모델과 비교해 보세요 20에서 200
매개 변수가 있을 거예요
Get in get 이 거대한 언어 모델의 방대함을 느껴보려고요