그래서 앞으로는 모델을 훈련하고 미세 조정하고 미세 조정 모델을 만들 거예요
이제 제가 할 일은 미래에 저장해둔 것 중 하나를 로드하는 겁니다 무슨 말인지
아시겠죠
Get it로 건축물을 보고 감을 잡을 수 있어요
기본 모델이 아닌 걸 로드해 그걸 하죠
미리 훈련받은 인과적 LLM용 자동차 모델 말고 페프트 모델요 매개 변수
효율적인 미세 조정 모델이죠
기본 모델이라고 하죠 여기 있는 거요
미세 튜닝 모델이에요
제가 이걸 한 후 저장한 모델 이름이에요
로라 파인 튜닝이에요
어떤 모습인지 보여 드리려고 이렇게 하는 거예요
이건 아주 빨리 달릴 수 있어요 비교적 작으니까요
크기를 한번 보죠
메모리 공간은 기가바이트예요
이것과 아주 비슷하니 익숙하실 거예요
100MB 정도 차이가 나요
한번 보죠
이게 그 구조예요
이제 그 장난은 안 쳐요
전에 봤던 것과는 확실히 달라요
지금 상황을 말씀드리죠
우선, 여기 보이는 모든 건 라마가 있는 32개의
층까지 똑같아요
이제 주의력 레이어가 나왔네요 Q 프래, K 프래, V, O 프래, O가
있죠
여기 보시면 각각의 베이스 레이어가 있어요
로라 A와 로라 B도 있어요
여기가 아까 말한 A와 B 행렬들이에요 여기 32번
보이죠?
제가 전에 말했던 로라 등급이에요
32급 행렬들이에요
네, 맞아요
이 매트릭스 수학이 어떻게 적용되는지 잘 아신다면 32차원적 개념을 서로
곱할 수 있도록 설계된 것을 보실 수 있습니다 이 기본 레이어에 적용할 수 있도록
말이죠 그리고 이 기본 레이어에서는 약간의 변화를 줄 수 있죠
물결무늬를 만들고 있어요 이론에 빠져들게 하려고요 비트들을
곱할 거예요
로라 A와 로라요
B와 알파를 함께 배율 요인으로 선택하고 델타로 적용하는 거죠
이 기본 층 위에는 드롭아웃이라는 하이퍼파라미터도 있어요
그 얘긴 나중에 하죠
이번 주에 얘기했던 세 가지 중 하나가 아니죠
이 기능은 여기서 몇 번 보실 거예요
네 개의 목표 모듈 중 다른 모듈을 보면 전부 로라 A와 로라 B가
여기 있는데 다시 말씀드리면 로라 A와 로라 B가 있고 마지막으로 로라
A와 로라 B가 여기 로라 A와 로라 B가 있죠 여기서 어댑터 매트릭스가 라마 경계의 구조에
삽입되어 더 큰 모델을 적용하지만 훨씬 적은 범위에서 적용해요
R 하이퍼파라미터에 명시된 32개의 차원이죠
다른 건 바뀐 게 없어요
다층 과셉트론 층도 정확히 같아요
다른 건 다 똑같아요
다시 한번 말씀드리지만 이 문제에 휘말리지 않으려고 노력해요 하지만 과거를
돌아보면 납득이 돼요 IQ, IQ, IQ, IQ, IQ 4개 행렬에는 치수의 수가 있다는
걸요
각각 로라 A와 로라 B가 있고 매트릭스의 차원을 조합해서
이 어댑터에 있는 무게의 총합을 알려주는 거예요
그 말은 각 층에서 이 4개의 숫자를 합친다는 거죠
32를 곱합니다. 모듈 그룹이 32개니까요.
각 매개 변수는 4바이트 숫자죠
32개요
크기를 계산하고 100만으로 나누면 메가바이트로 get이 되죠
이해가 되시는지 모르겠지만 대략적인 건
이해하셨길 바라요 로라 어댑터의 중량을 모두 더하면 총 2,700만
개의 매개 변수가 있고 총 크기는 약 109MB예요
109MB의 2,700만 매개 변수죠
어댑터가 그만큼 크죠
물론 그걸 전체적인 llama 매개 변수가 80억 개인 것과 비교하세요 크기는 32GB죠
여기서 할 일이 많다는 걸 알 수 있어요 매개 변수도 많고 훈련할 것도 많지만
흉물스러운 라마 3에 비하면 아주 작죠 1, 작은 변종도요
이 안에 뭐가 많다는 건 알고 있었어요 무슨 말인지 다시 확인해 보세요
그래도 직감이 돌아올 거예요 저차원 물질을
이용하면 더 큰 건축물에 영향을 줄 수 있지만 크기가 작을수록
비트도 더 적게 조정해야 한다는 거죠
증거를 보여드리자면 이 숫자, 이 109MB는 얼굴을 안는
데 필요한 파라미터의 크기예요
얼굴을 끌어안고 있어요 제가 저장한 로라 어댑터를 보고 있죠 미세 튜닝 모델이요
뭘 찾게 될까요?
이걸 보면 안전한 텐서를 찾죠
그게 매개 변수 자체를 저장하는 파일이에요
라마 3을 보시면 알 수 있죠 1번, 32GB로 크게 보이죠
이걸 보면 매개 변수가 109MB인 게 보이죠 여기 추정값과
일치해요
Q 로라 기법으로 세밀하게 조정하고 있는 매개 변수의 크기예요
적어도 직관적으로 어떤 일이 일어나고 있는지 파악하셨길
바랍니다 최적화하는 기가바이트의 데이터 없이도 모델을 미세 조정하는
트릭을 어떻게 구현할 수 있는지도요
이제 마무리로 슬라이드로 돌아가죠