이 시점에서 hyperperameter에 관해 얘기할 거예요
그중 세 가지를 소개할게요
hyperperameter가 뭔지 다시 말씀드릴게요
지난주에 비트 얘기를 좀 했어요
하이퍼파라미터는 이 레버 중 하나예요
실험자로서 원하는 걸 선택할 수 있는 거예요
무엇이어야 하는지에 대한 어렵고 빠른 규칙은 없어요 hyperpaameter
최적화라는 프로세스를 사용해야 합니다 다양한 값을 시도하고 당면한 작업에 뭐가 최선인지 알아보기 위해서요
사실 우리가 하는 일은 시행착오를 겪는 거예요
추측과 실험이 뒤따르는 작업이죠 비트를 한 방향으로만 설정해야
하는 이론적 이유가 없거든요
실질적인 실험의 문제죠
이런 경우 종종 발견하게 되는데 잘 작동하는 프로그램일 경우 몇 가지 제어 매개
변수가 있지만 어떻게 설정해야 할지 잘 모르는 경우가 있죠
어떤 형태가 돼야 할지 아직 이론적으로 몰라요
hyperperameter라고 부르죠
그렇게 불러요
올바른 설정을 고를 때까지 시행착오와 추측의 세계에 있다는 뜻이죠
모델에게 가장 잘 어울려요
비트를 좀 단순화했지만 대충 이해하셨으면 좋겠네요 get it get it
가장 중요한 세 가지가 있어요
Q 로라 파인 튜닝의 경우 이따금 소개해 드릴게요
그들과 함께 작업할 거예요
첫 번째는 R이라고 해요 직위를 뜻하죠
라마 건축물에서 낮은 계층의 행렬을 만들 때 사용하는 차원이 얼마나
되는지를 뜻합니다 내부 층의 차원은 100만 4천 차원에 달하죠
낮은 계급 행렬에서 훨씬 적은 수의 치수를 확보해 주세요
그게 그들의 의도예요
아까 말했듯이 어렵고 빠른 규칙은 없어요 이런 언어 생성 모델에서
작업할 땐 다양한 작업과 다양한 R 값을 찾죠
제가 항상 써먹던 경험 법칙이 하나 있는데 일반적으로 사람들이 쓰는
걸 보니 8부터 시작하는 것 같아요 작은 숫자죠
아주 적은 메모리를 사용하고 꽤 빨리 실행된다는 뜻이죠
다음엔 16으로 두 배 늘리죠 메모리를 더 잡아먹고 더 천천히 실행하면서 더 나은 결과를
얻는지 보고 잠재적으로 또 두 배가 될 때까지요 결과물이 감소하는 지점까지 도달할
때까지요
속도가 느려지고 시간이 더 오래 걸리는데 나아지는 게 보이지 않아요
높은 R을 갖는 건 의미가 없어요 이미 데이터를 위해 필요한 힘을
갖고 있으니까요
다음은 알파에 대해 얘기해 보죠
알파는 단순히 배율 요인이 두 배인 거예요
로라 A. 로라 B 매트릭스에 적용했어요
그 무게로 모델의 무게를 바꾸죠
값어치의 공식은 목표 모듈에서 모델에서 무게 중심을 변경하는
양이에요
알파 곱하기 A 곱하기 B 곱하기예요
모두 함께 번성하죠 Get up, Get up
알파가 클수록 효과도 크군요
실제로 사용되는 경험 법칙은∙∙∙ 거의 보편적으로 전 항상 사용했고 항상
이런 식으로 봤어요 예를 들어 알파를 R로 설정하는 거죠
R이 8로 시작하면 알파는 16이 되죠
16 알파 R은 32 32는 64가 되겠죠
경험으로 터득한 좋은 법칙이죠
물론 다양한 알파로 실험해볼 가치가 있죠 그게 여러분의 정확성을 바꿀지
보려면요
세 번째이자 마지막 핵심 하이퍼파라미터는 아키텍처에 적용하는
데 집중할 대상 모듈이 무엇인가 하는 거죠
이 중 어떤 레이어에 초점을 맞출지 선택하세요 일반적으로 가장 일반적인 선택은
주의 집중 레이어에 초점을 맞추는 거죠
흔한 일이에요
코드에서 보실 수 있어요 보시면 더 이해가 될 거예요
다른 목표 모듈을 목표로 삼고 싶을 때가 있죠
예를 들어, 여러분이 뭔가를 생성할 때 결과물이 완전히 다른 언어로
나오길 원한다면 최종 레이어 일부를 대상으로 하는
게 좋을 거예요
그래서 여러분이 보실 건 그게 어떻게 작동하는지에 대한 좀 더 많은 컨텍스트를 알려드리죠
하지만 일반적으로 가장 많이 사용되는 것은 주의 헤드 층이에요
그렇게 할 거예요
어떻게 설정됐는지 곧 보실 거예요
이제 구글 Colab으로 가서 몇 가지 모델을 살펴보고 로라에 관해 얘기해 보죠
그리고 hyperperameter 3개가 어떻게 작동하는지 볼게요
시작하죠