이제 도표를 보여드리면서 실감이 나게 해드릴게요 특히 출로라와 훈련하는
방법에 대해서요 실제로 연습에서 하는 방법이죠
먼저 포워드 패스 얘기를 해보죠
이 다이어그램은 익숙하실 겁니다 제가 전에 사용한 것과 같거든요
라마 3을 보여줬어요 우리가 수량화한 기본 모델은 80억
매개 변수까지 전부 동결됐어요
훈련의 일환으로 무게는 바꾸지 않을 겁니다 할 일도 메모리도
너무 많고 80억 매개 변수를 변경하고 최적화하는 것도 너무 느리니까요
여기 보면 여러 개의 추가 얼어 있는데요 노란색도 얼어 있지만
대상 모듈을 나타내요
어떤 색을 적용할지를요
로라 어댑터를 가져오죠
저기 있네요
기술적으로 맞는다는 걸 기억하실지 모르겠는데 A와 B라는 어댑터가
두 개 있어요 각각의 대상 모듈에 대해서요
R이 부여한 차원성입니다 알파가 배율 요인인 걸 기억하실 거예요
대상 모듈에 적용되는 방식만큼 간단합니다 알파 곱하기 A
곱하기 B죠
그게 다예요
이게 우리가 잘 아는 신경망이에요
이 로라 어댑터로 웨이트를 훈련할 거예요 이건 약 109MB짜리
웨이트예요
네
그럼 어떻게 되죠?
왼쪽에 입력 프롬프트가 있어요
가격이 달러라면 다음 토큰이 그 다음이죠
Get in get 예측을 잘해야 해요
전진 패스란 입력 모드를 취하는 건데요 기본적으로 모델로 입력해
다음 토큰을 예측해달라고 하는 거죠
모델로 살펴보면 반대쪽에 예상되는 토큰 가격이 나와요
그다음은 99명이에요
다시 말하지만 우린 llama 3의 단순함을 이용하고 있어요 1번, 사실 99는 토큰 하나일
뿐이죠
아닌 건 아니죠
세 자리 숫자라면 언제나 그렇죠
그게 중요한 건 아니지만 비트가 우릴 좀 단순화시키죠
그게 포워드 패스죠
좋아요
이제 손실 계산을 해 보죠
다시 모였네요
다음 토큰을 예측했어요
이제 모델은 훈련 과정을 살펴볼 수 있어요
우리 같은 경우는 위를 봐요
다음 토큰이 뭐였을까요?
훈련 데이터가 있기 때문에 실제 다음 토큰을 알아요
그게 뭐였죠?
89라고 치죠
낮았어요
우리가 틀렸군요
10달러 차이예요
틀렸을 수도 있고요
다른 토큰으로 이게 10달러라는 걸 몰라요
다른 토큰이란 걸 알 뿐이죠
그래서 상실감이 좀 있어요
잠시 후에 손실이 무엇인지 설명하고 다른 토큰으로 사용하면 왜 안 되는지
설명해 드릴게요
기술적인 부분을 짚고 넘어가겠지만 일단은 99개까지 예상했다고만 해두죠. Get
it!
실제 가격은 89예요
손실이 생겼어요
그게 손실 계산이고요
세 번째 단계는 뒤로 가기 패스입니다 사람들이 뒤로 가기나 뒤로 전파라고 부르는 걸 들으실 수 있죠
역증식이죠
백프롭에서는 네트워크를 통해 살펴봅니다. 그러면 얼마나 비트를
약간만 조정하면 얼마나 손실이 발생할까요?
저 무게에 대한 상실감이 얼마나 민감하죠?
매개 변수의 무게의 기울기라는 걸 제공하죠
무게는 매개 변수와 동의어예요
그럼 어떻게 네
경사도가 어떻게 되죠?
무게를 바꾸면 손실이 얼마나 커질까요?
비트 박스를 개선하고 싶거든요
저 빨간 삼각형은 델타를 나타내는 거예요 저기서 일어난 그러데이션 계산을
보여주기 위해서요
그리고 마지막 단계로 넘어가죠 4단계 최적화요 Get it
나오네요
그래서 이런 경사가 있죠
이제 올바른 방향으로 작은 걸음을 내디뎌야 해요
로라 행렬의 매개 변수를 업데이트해야 하는데 비트가 조금 부족해요
다음 번에 같은 inputFrompt를 선택하면 손실이 약간 더 낮아지죠
비트가 더 나을 거예요
올바른 방향으로 한 걸음 나아가고 있어요 학습률을 기준으로 얼마나 나아갈지
결정하죠
앞서 말했듯이 보폭이 작거나 큰 것에 장단점이 있어요
기억하실지 모르겠지만 애덤 W. 최적화 프로그램은 아주 기발한 방법을 사용했어요
기존의 그러데이션 수치를 그대로 유지하면서 기존의 그러데이션 수치를 그대로
유지했죠 그래서 현명하게도 개선할 수 있는 방법을 찾아냈어요
너무 꽉 찬 옷을 입거나 다른 위험을 감수하지 않도록 하는 것이기도
하죠
그렇게 하죠
로라 어댑터가 개선되고 미래에는 기본 모델에 적용할
텐데 조금 더 나아질 거예요
다음번에는 손실이 더 적겠죠 그래서 훈련 손실이 줄고 있는 거예요 흔들리는
도표도요 비트는 배우고 나아지고 있으니까요
여기서 짚고 넘어갈 것은 체중과 변수가 변경된 매개 변수는 로라
어댑터의 녹색 매개 변수입니다 llama 3에서는 어떤 매개
변수도 변경하지 않아요 베이스 1이 너무 크고 매개 변수가 너무 많아요
로라 기반의 훈련이 아닌 평범한 훈련이었다면 라마
3 전체가 됐을 거예요 그러데이션을 계산하고 최적화 때 변경해야
하는 모델이죠
물론 메타 같은 대기업이 그런 거죠
라마 3을 그렇게 훈련시켰어요 1인당 그리고 거기에 엄청난 돈을 들였는데
우리는 그 돈을 쉽게 구할 수 없어서 로라 어댑터를 대신 쓰고 있는 거예요
지금까지 최적화에 대한 요약이었습니다. 트레이닝 프로세스 전체에서 말이죠.
이미 대부분 명확하게 이해하셨겠지만 이 도표를 보고 이해하셨길
바랍니다 모든 게 제자리를 찾았다는 뜻이죠
다음 강의에서는 기술적인 면을 하나만 더 설명할게요 아주 중요한 기술적 측면으로
예측과 손실 계산의 의미를 설명해 드리죠
그때 봐요