다시 오신 걸 환영합니다 얼굴 포옹 트랜스포머 라이브러리 모델 수업에 잘 오셨어요
라마 모델의 구조를 살펴보고 있었어요 단순히 작성했을 때 얻게 되는 거죠 그리고 다른
것들을 위해 그걸 살펴보라고 했어요
또 하나 지적할 점은 입체감을 봐야 한다는 거예요
간단히 말씀드렸듯이 단어 사용을 나타내는 입력 크기 수를
보세요 아래의 출력과 일치하죠
get-ture 구조를 통해 크기를 따라가면 어떤 상황인지 알 수 있죠
좋아요
이제 이 모든 걸 끝냈고 어떻게 되는지에 대해 얘기했고 입력을 빌드했어요
이제 일할 시간이에요
이건 메서드 모델 .생성이에요
이걸 위해 GPU 위에 있는 입력값을 가져가죠
새 토큰을 80개까지 원한다고 할 수 있어요
우리가 부탁한 건 농담이란 걸 잊으셨나 봐요
데이터 과학자들에겐 농담거리였죠
우리가 좋아하는 실험이죠
그런 다음 출력부를 찍어요
첫 번째 출력물을 가져가면 하나밖에 안 남아요
그런 다음 토큰라이저 .디코드를 호출해 토큰에서 다시 글자로 텍스트로 바꾸죠
결과를 프린트하죠
시작하죠
달리기 시작하네요
아래를 보면서 진행 상황을 보고 싶어요 앞으로 패스하는 걸 보는 거죠
명랑한 농담에 대한 답이 나왔네요
왜 회귀 모형이 신경망과 분리된 거죠?
안 맞았거든요 신경망이 감정에 너무 부합했어요
뭐, 괜찮아요
나쁘지 않아요
네
네, 완벽하게 그럴듯한 농담이죠
그렇게 웃기진 않지만 뭐, 그렇죠
나쁘지 않네요
왜 물리적 회귀 모델이 상담을 받으러 갔죠?
감정을 분류하는 게 어려웠거든요
정말 좋은 것 같아요
좋은 것 같아요
데이터 과학을 좋아하는 사람들에겐 더 간단하고 딱 맞죠
프론티어 모델에서 만든 것보다 더 괜찮은 개그 같아요
정말 잘했어요
라마 3요 1번요
다시 한 번 명심해야 할 것은 우리가 다루는 건 80억
개의 라마 3 매개 변수 버전이란 거예요 첫째, 가장 작은 버전이죠 4개로 퀀타이즈한 다음 두
배로 퀀타이즈했어요
모델의 아주 날씬한 버전인데 아주 괜찮은 농담을 하더군요
재밌게 보셨길 바라요
다음으로 할 일은 청소해서 메모리를 확보하는 거예요
그렇지 않으면 계속 실행하면 다른 모델들이 GPU 소진으로 빠르게 소진되죠
이런 경우에 여러분은 언제든 세션을 다시 시작할 수 있습니다 런타임 리스타트
세션으로요 그런 다음 가져오기 다음에 중단한 곳에서 계속하죠
다음으로 할 일은 우리가 한 모든 걸 패키지화해 작은 함수로
만드는 거예요
이 함수는 모델의 이름과 일반적인 사전 목록의 메시지를 취하죠
한 줄씩 살펴보면서 방금 한 걸 다시 검토해보죠
오토 토큰라이저 클래스를 이용해 우리가 작업하는 모델에 기반을 둔 새 토큰라이저를 만드는 것으로 시작하죠
이 선은 안쪽 토큰을 문장 토큰과 동일하게 설정하는 부분이죠
이건 표준 절차예요
그리고 이거요
잘 알고 있어요
여기서 토큰라이저에 적합한 채팅 템플릿을 리스트에 적용해요
그럼 일련의 패를 반환하죠
그런 다음 GPU에 넣고 입력을 할당하죠
새롭네요
추가할 또 다른 기술로 결과를 스트리밍으로 보여드리죠
허깅페이스 라이브러리도 그걸 지원하죠
텍스트 스트리머라는 걸 만들어요
토큰라이저를 줘야 합니다 토큰을 스트리밍하면 토큰을 텍스트로 다시
변환해야 하니까요
어떤 토큰라이저를 쓰는지 알아야 해요
그걸 제공하고 액션을 하는 거죠
먼저 모형을 get 해요
인과관계 lm 오토 모델이에요
오토 토큰마이저와 같은 거예요
하지만 미리 훈련된 모델을 로드하려면 모델 이름을 말해야 해요
장치 맵은 자동입니다 사용자 GPU 말이에요
하나를 갖고 계시면 저 위에 설치한 퀀트 구성을 넘겨요 4비트 이중
퀀트화된 NF로 4비트 숫자 유형을 뜻하죠
bfloat16은 데이터 타입을 계산한 거고요
이제 비즈니스 모델 생성 차례죠
그게 큰 방법이죠
새 토큰 80개까지 생성할 입력을 전달하고 스트리머를 주는 거죠
이게 결과물을 스트림으로 내보낸다는 뜻입니다 그런 다음 정리를 하죠
이 함수는 우리가 전에 했던 모든 걸 래핑해주고 스트리밍도 추가해줘요
이제 간단하게 메시지를 파이 3으로 불러볼게요 방금 만든 함수를 사용해서요
피 3은 다시 로드할게요
이건 시간이 좀 걸릴 거예요 처음으로 비트를 싣는 거니까요
이미 로드했어요 디스크에 캐시돼 있죠
얼굴 껴안는 걸 다시 할 필요는 없어요
허브요
비트를 싣는 동안 할 일이 좀 더 남았어요
그럴까요?
리소스를 살펴보자고 하려고 했는데 너무 빨리 끝날 것 같네요 스트리밍하는
걸 보여드리고 싶어요
실망하실지도 모른다는 걸 미리 알려드려야 할 것 같아서요
그래서 적어도 제가 갖고 있는 프롬프트만 사용해봐도 파이 3이 농담을 하게 만들 수 없다는 걸 알게 됐죠.
Get it.
데이터 과학자들이 장황하게 늘어놓는 일반적인 정보를
제공하죠
비트 부분을 53번에게 좀 더 단호하게 바꿀 수 있을지
53번이 원하지 않을지는 모르겠어요
53 소방대는 많은 일을 훌륭히 해내겠지만 이 작업은 아니에요
다른 모델과 마찬가지로 여러분도 연습해 보세요
또한 수정 헌정으로 53이 농담을 하게 할 수 있는지 혹은 53이 농담이 안 웃기면 get이 잘하는
걸 찾을 수 있는지도요
우리가 llms에 대해 했던 질문에 대한 답변이 될 겁니다. Lllms의 사용에
대해서요.
이게 53번 결과예요
제마는 어떤지 보죠
같은 접근법으로 인포 구글의 젬마 2 모델에 유틸리티 함수를 쓸 수 있어요 젬마는 시스템 프롬프트를
지원하지 않죠 그래서 이렇게 사용자 프롬프트를 입력해야 해요 시스템 프롬프트는
특별한 걸 말하지 않으니 괜찮아요
제마를 한번 보죠
물론 20억 개 모델이죠
아주 작은 모델이죠
아주 작은 모델일 뿐 아니라 4비트로 수량화하고 다시 수량화하고
있어요
이 시점에서 우린 아주 슬림 모델을 다루고 있어요 메모리를 많이 쓰지 않고 잘
로드되고 빨리 농담도 할 수 있죠
농담도 나오네요
데이터 과학자들은 왜 통계 전문가와 헤어졌을까요?
p 값에 대한 의견이 너무 많이 충돌했거든요
p 값에 관한 또 다른 샌님 농담이죠
Get it, get it, get it! 이해가 안 돼요
하지만 제가 놓치고 있는 게 있을지도 몰라요
어서 오세요
누가 좀 알려줘요
네
그래도 착하고 친근해서 좋아요
또 있어요
다른 농담 듣고 싶으면 말해요
Get it로 하면 더 재밌는 농담이 나올지도 모르겠네요
하지만 확실히 즐거운 어조예요
2번 제마는 칭찬받을 만한 일을 했어요 데이터 과학과 관련이
있죠
특히 이건 작은 모델이라 수량화하고 있다는 걸 기억하면요
2번도 잘 보여 줬지만 제가 사용한 양자 원리를 사용하면 우수한
결과가 나올 거예요 3번 파이에서도 더 나은 결과가 나올 수 있겠죠
혼합 트라이얼 모델이든 좀 더 날씬한 비트 모델이든 좋은 결과가
나올 거예요 get it get it
수학 문제를 내도 돼요 애들이 어려워하는 문제요
어려운 수학 문제라면요
하지만 라마 3에 꽤 어려운 질문을 했어요 당신도 같은 경험을 할 수 있는지
보는 데 전혀 어려움이 없었죠
어쨌든 이 모델들을 사용해 보고 다양한 것을 시도해 볼 기회예요
오픈 소스 모델로 작업하고 있죠
API 비용은 없어요
모든 걸 소진할 때만 대가를 치르죠
프리 콜랍을 안 쓰는데 구글 콜랍 비용으로 단위를 쓴다면
말이죠
1을 쓰고 있어요 시간당 76유닛요
이와 함께 작업할 시간은 충분합니다 포옹하는 트랜스포머 라이브러리를 이용해
오픈 소스 모델 추론을 즐길 수 있죠