콜랍에 잘 오셨어요
콜랍 일주일째입니다 이틀째죠
기본 모델을 시도하기 전에 토큰라이저가 작동하는 걸 볼 수 있어요
평소처럼 Pip 설치와 외부에서 작업하세요
이제 상수 섹션에서 4개의 다른 토큰라이저를 설정하겠습니다 잠깐 살펴보죠
그 다음에는 베이스 모델 라마를 보고 데이터로 작업을 좀 할 거예요
그리고 색상 출력에 작성을 위한 상수도 있어요 과거에 결과를 시각화할 때 기억하실지도
모르겠네요
좋아요, 실행해 보죠
얼굴을 껴안는 데 로그인합니다 여러분이 잘 아는 일반적인 스닙 조각으로요
그래서 모델 이름을 가진 토큰라이저 조사하기라는 유용한 함수를 만들었어요
그러면 모델 이름을 위한 토큰라이저를 로드하고 이 6개의 숫자를 반복합니다
0, 1, 10 100, 999, 1000이죠
각각의 숫자에 대해 문자열로 변환합니다 그런 다음 토큰라이저에게 그 문자열을 토큰으로
변환하라고 하죠
문자열 100을 텍스트로 나타내는 토큰은 무엇일까요?
이 특별한 추가 토큰을 가짜 매개 변수로 사용하고 있어요
문장의 시작 토큰과 끝 토큰 같은 것을 추가해서 다른
것을 방해하지 말라는 뜻이죠
단순히 이 텍스트를 해당 텍스트를 나타내는 토큰으로 변환하세요
그게 이 기계의 역할이죠
그럼 그걸 프린트하죠
실행해서 보여드리기 위해 토큰라이저를 조사할게요
라마 3 모델로 시작하도록 하죠
Get in get을 해 보죠
문자열 0이 나오죠 get
텍스트 0은 토큰 넘버 15로 변환되죠
하나는 16번 토큰으로 가요
10은 605번 토큰에 있어요
공교롭게도요
109도 비슷하게 생겼고요 99개씩 토큰 하나에 매핑됐어요
1,000달러면 토큰 2개와 같아요
숫자 100의 토큰과 매핑이 되죠
0과 다른 숫자가 적힌 토큰이 보이시죠?
여러분이 상상하시는 것처럼 텍스트 100의 토큰과 0의 텍스트죠
여기서 명확하게 볼 수 있듯이 3자리 숫자에만 초점을 맞춘다면
어떤 값을 가지고 있든 토큰 하나에 대응할 수 있는 유용한 속성이
생기죠
즉 제품의 가격을 예측하는 모델의 작업은 결국 토큰 하나를 예측해서 올바른 토큰을 얻는 것이 됩니다.
그렇게 되면 제품의 가격이 올바른 것이죠.
그래서 필수적인 자산이 아니에요
이 모델들이 토큰의 배열을 생성할 수 있어야 하는 것은 아니지만 이 토큰 하나만 제대로
만들어도 문제를 간단하게 해결할 수 있어서 편리하죠
K-125 같은 다른 모델도 이렇게 생겼는지 알 수 있죠
이제 다른 게 보여요
0과 1은 토큰 하나에 매핑되지만 10은 토큰 2개에 매핑되죠
1에 대한 토큰과 0, 100을 합치면 100999고 999이고 1,000은 1,000이죠 거기서 사용된
토큰의 값이에요
다른 속성을 볼 수 있죠
라마31이 왜 유리한지 이번 일로 명확해졌으면 좋겠어요
네
제마요
제마는 두 개예요
미안해요
제마요
권 회장과 비슷한 두 가지 특성이 있어요
흥미롭게도 완전히 다른 어휘예요
훨씬 큰 숫자지만 놀랍진 않아요
같은 단어를 쓸 이유가 없죠
음, 음요
네, 토큰이 하나가 아니라 세 자리 숫자네요
피3도 아까 말했듯이 비슷해요
사실 파이3에도 다른 변종이 있어요 라마가 가진 더 작은 변종이지만 라마의 3-1과 같은 멋진 특성을
갖고 있죠
그것도 시도해 볼 만한 가치가 있어요
이 중 어떤 것도 시도할 수 없었겠죠?
여러 패를 만든다고 해서 자격이 없는 건 아니에요
좋아요
자, 이제 토큰라이저에 대해 알아봤고 왜 그 모델을 선택했는지도
알게 되었네요
다음 영상에서는 데이터를 불러와서 모델을 테스트해 볼게요