어서 오세요
3주 차예요
4일째예요
오픈 소스 랜드로 돌아왔습니다 오픈 소스 모델을 어떻게 추론하는지 조사하고
있죠
오늘은 얼굴 껴안기 모범 수업을 해 볼게요
파이프라인 API 얘기를 했었죠 상위 수준 API요
그다음에는 낮은 수준의 API 얘기를 했습니다 토큰라이저로 시작해서 모델로 넘어갔죠
그래서 뭘 할 수 있는데요?
물론 지금은 개척 시대 모델의 코딩 외에도 다중 모듈 인공지능 비서를 제작하고
있습니다 현재는 얼굴 포옹이나 파이프라인 토큰라이저를 사용하죠
새로운 기술에 새로운 수업이죠
얼굴을 안는 것의 모델 부분으로 들어가겠습니다 변압기를 생성하고 텍스트를 생성하기
위해 실행하는 거죠 get it
다섯 가지 모델로 결과를 비교할 거예요
제가 3개를 같이 할 거예요 나머지 2개는 당신이 실험해 보세요
추가 운동을 할 수 있게요 코드는 다 준비해 둘게요
재미있을 것 같아요
모델들이 그들을 소개하죠
라마 3을 다시 작업하게 될 거예요 기함이자 획기적인 모델인 메타에서 한 대 왔어요
마이크로소프트의 파이3 오픈 소스 모델과 구글의 젬마를 살펴볼 거예요
스몰 사이즈예요
제미니의 사촌이 구글의 제마죠
여러분이 직접 실험해 볼 모델이 두 개 더 있어요
하나는 미스트럴의 미스트럴이고 다른 하나는 퀸의 2번 선수예요
취안토를 즐겨 보세요
오픈 소스 모델과의 세 가지 측면도 다룰 겁니다 얼굴 프레임워크에서요
첫 번째는 퀀타이즈라는 거예요
이것은 모델의 무게의 정밀도를 줄이는 것입니다. 메모리에 쉽게 맞추고 로드도
쉽게 하고 더 빠르게 달릴 수 있죠.
퀀타이즈는 아주 중요한 기술로 GPU 하위 제품 중 하나로 작업할 수
있게 해주죠
트레이닝을 할 때 반드시 퀀타이즈를 사용할 수 있어야
합니다 큰 오픈 소스 모델을 훈련하기 위해서요
아까도 말했지만 Q 로라는 우리가 몇 주 후에
사용할 기술의 이름이에요
질문과 질문, 로라는 수량화의 약자예요
이번 여정에서 퀀타이즈와 몇 번 부딪힐 거예요
오늘은 모델 내부도 살펴볼 거예요
다시 말씀드리지만 이론보다는 실용적인 수업이에요
하지만 지금이 바로 그런 순간이에요
포옹하는 트랜스포머 라이브러리 뒤에 있는 파이토치 층은 어떤 모습일지 살짝
들여다볼게요
지금은 스트리밍에 익숙해서 결과를 스트리밍할 수 있다고 말할
필요도 없어요
결과 스트리밍을 위해 오픈 소스 모델로 작업하는 방법을 보여드리죠
이게 이번 항해에서 살펴볼 추가 사항입니다 얼굴을 껴안는 하위
레벨 API를 실행하는 거죠
얘기는 충분히 했어요
Get it, get it 해 보죠