잘 돌아왔어요
여러분도 저처럼 커피를 마시러 갔을지도 모릅니다 다시 짐을 싣는 동안에요
여기도요
세션 박스를 재시작한 후 다시 돌아와서 재시작해야 했죠
설치한 건 재실행할 필요 없고 수입한 건 재실행해야 해요
상수는 얼굴을 다시 안는 데 로그인하죠
실행하지 마세요
안 그러면 메모리 모델로 되돌아가는 거예요
다시 세션을 시작하도록 하죠
8 비트를 이용해 기본 모델을 로딩하고 있어요
전에도 보신 적 있죠
잠깐요
제가 말 안 했으면 코드에 적어뒀을 텐데요
이름도 참 잘 지었어요 비트 앤 바이트라는 패키지인데 패키지 이름으로
딱이죠
Bits&Bite config라는 클래스를 생성하는데 여기서 명시하는 거죠
어떤 종류의 수량화 구성을 원하는지 모델의 정밀도를 얼마나 줄이고 싶은지를요
8비트로 로드하는 게 참이죠
그리고 베이스 모델을 로드할 때 그걸 매개 변수로 넘겨요
전에도 이런 적이 있지만 얘기를 많이 하진 않았어요
라마 3을 이렇게 싣는 거예요 기본 모델 1개를 32개에서 8개로 정밀하게
줄였어요
몇 분 정도 걸리니까 그렇게 했어요
이제 메모리 발자국을 보죠
9기가바이트를 사용하고 있어요. 9기가를 조금 넘어요.
보다시피 여기 리소스를 보시면 9기가를 사용하고 있고 시스템
메모리로 쏟아질 필요가 없어요
기본 모델의 아키텍처를 살펴보죠
여기 퀀타이즈 후의 모델 아키텍처가 있네요
차이점을 파악할 수 있게 잠시 비트를 멈출게요
아키텍처에서 무엇이 바뀌었는지 보죠
이제 퀀타이즈가 됐으니 도전 과제를 확인할 시간을 1초 드릴게요
시간 다 됐어요
물론 건축은 차이가 없어요
함정 질문이에요
미워하지 마세요
네, 건축학적으로 다른 점은 없어요
동일합니다 퀀타이즈의 전체적인 원리는 모델에서 각 숫자와
무게의 정밀도를 낮췄을 뿐 모델의 구조를 바꾸진 않았으니까요
그리고 좀 놀랍게도 모델의 성능에 큰 영향을 주진 않아요
제가 실수를 한 게 아니라면 이 구조는 위층과 똑같을 거예요
확인하고 다시 확인하세요
큰 실수는 안 했지만 그게 퀀타이즈의 핵심이에요
32GB에서 9기가바이트로 내려갔는데, 이건 마치 아직 본 적이 없지만, 중요한
결과가 없는 것 같아요.
대가가 따를 거예요
생각만큼 크진 않지만요
그래서 세션을 다시 시작해야 할 것 같아요
마지막으로 세션을 다시 시작하도록 요청할게요 런타임 세션 다시 시작이요
그리고 여기서 다시 만나요
이 시점 이후 수입, 상수를 실행하고 포옹페이스에 다시 로그인하면
1초 후에 만나요