방금 보신 건 임시 앱입니다 임시 앱이란 뜻으로 배포할
앱을 선택하기 전에 테스트에만 사용하죠
비트는 좀 더 오래 사용할 겁니다 왜냐하면
지난 시간에 만든 독점 모델을 실제로 사용하기 전에 비트로 배포할 거니까요
그러기 위해서 다른 파일을 보여드릴게요 Pricer ephemeral이죠 파이썬 을 이용한 모듈인파이에는 유사점이
있습니다 그러나 한 가지 중요한 차이점이 있습니다 llama3을
이용하는 것 대신에 말이죠 첫째, 정교하게 튜닝된 모델을 사용할 겁니다
추론하기 위해 모델을 실행하고 테스트할 때 Codelab에서 사용했던 것과 아주 유사한 코드를
사용해서요 아주 잘 작동하는 순간은 정말 황홀했죠
파이썬 모듈에서는 이전처럼 모드 가져오기로 시작하죠
그리고 다시 볼륨을 제거할게요
한때는 그걸 사용하려고 했는데 결국 안 했어요
그래서 설정하고 앱이 있다고 하죠
프라이서라는 거예요
여러분이 보신 앱의 이름이 될 거예요
프라이서예요
배포된 Pricer 버전을 전에 보셨죠
이제 이미지를 생성하고 같은 패키지를 설치해요
잠깐만요, 새 소포가 왔어요
매개 변수 효율 미세 튜닝 패키지를 기억하실 겁니다 미세 튜닝과 비밀을
로드하기 위해 필요한 거죠
여러분이 추가하는 방법을 찾았길 바랍니다 HF 시크릿으로 입력하세요
또는 다른 곳에 Put을 하면 여기 이름을 바꾸죠
그게 비밀의 범주 이름이에요
그 안에 일반적인 HF_토큰을 가지고 있어야 합니다. 토큰 자체를 위한 포옹의
밑줄이죠.
코드 어딘가에 있는지 찾아봐요
아닌 것 같아요
어쨌든, 그게 말이 됐으면 좋겠네요
t4 GPU를 원한다고 명시해요
기본 모델을 지정하죠
라마 3요 180억 달러요
프로젝트 이름요
H깅 페이스 허브에서 끌어오기 때문이죠
포옹하는 얼굴 닉네임이에요
훈련받은 버전을 쓰고 싶으면 내 이름을 그대로 둬요
자신의 버전을 쓰고 싶다면요 미세 조정해서 더 좋게 만들었을 수도 있으니까요
hyperpaameter 최적화를 했다가 저를 이겼을 수도 있죠 그럴 경우
반드시 1년도를 사용해야 해요
하지만 이건 제 거니까 제 걸 쓰시면 그 런네임을 쓰셔야죠
기억하시겠지만 이 수정 수치는 과도해지기 전이 가장 좋은
시절이었어요
미세 튜닝 모델 이름이 되는 거죠
간단한 함수 가격도 있고요
구글 콜랍에 있는 기능과 거의 똑같은 함수예요
여기 제 로컬 박스에 있어요 장식자로 장식할 겁니다 이 이미지 안에서
실행하고 싶다고 하죠 시크릿과 GPU 안에서요
하지만 이건 다 같은 거예요
수입도 좀 하고요
질문과 앞부분을 잘 보세요
가장 가까운 비용으로 얼마가 드는지를 질문할 거예요
제품 설명과 가격은 달러예요
그러면 가격이 얼마인지 모델 측에서 반응하지 않을 수 없어요
이제 여기서 퀀타이즈를 해요
아까처럼 모형을 로드해요
이 대사를 기억하면 좋겠네요
로라 파인 튜닝 모델을 실을 거예요
기본 모델을 제공하죠
미세 튜닝 모델의 이름과 이 경우에는 수정 번호를 제공하죠
마지막 세이브만 하실 거면 그건 빼도 돼요
그럴 필요 없어요
있는 그대로의 나 말이에요
이건 번식을 위한 거예요
무작위 씨앗이 설정된 거죠
Get up을 할 때마다 같은 숫자가 나오죠
그다음 미세 튜닝 모델에 .생산이라는 호출을 만들어 디코딩하죠
마지막으로 이 코드도 인식하셨으면 좋겠네요
이건 숫자, 부동점수를 제거하는 좀 엉성한 코드예요 텍스트 안에서요 잘못된
$ 기호가 있을 경우를 대비해서요 어떤 숫자든
get 할 수 있도록 하고 그 숫자를 반환합니다 그게 다예요
이 시점에서 아주 친숙한 코드죠
이제 다시 여기로 돌아가죠
이미 작동시켰어요 예열해야 하니까요
몇 분 걸려요
매번 기다려야 한다면 괴로울 거예요
벌써 조회했어요
물론 제가 뛰었던 곳이죠
출력 활성화 모듈이 필요 없다고 말씀하셨는데요
하지만 그렇게 하지 않으면 다른 프린트도 많아요
이렇게 하면 깔끔하고 멋지게 만들 수 있어요
하지만 app.lan은 있어야 해요
그리고 결과물은 가격 매기는 원격이라고 하죠
그리고 특정 객체의 가격을 매겨달라고 요청합니다. 그냥 둘러보면서 가격을 매겨달라고
요청하는 거죠.
가격을 매겨달라고 한 객체는 바로 이 마이크예요
그래서 그냥 입력했어요
얼마였는지 기억해요
안 될 거 없죠
어떻게 계산되는지 보죠
그래서 조회해 봤죠
몇 분 걸렸죠
이제 몇 분 걸려요 상자를 데워야 하고 내용물도 채워야 하니까요 Colab으로
실행했을 때 해야 할 모든 일을 해야 하니까요
H깅페이스 허브에서 다운로드 받아 메모리에 로드해야 해요
또한 모든 패키지를 설치해야 하죠
비트를 만들려면 할 일이 많아서 시간이 좀 걸려요
그 모든 걸 다 하고 마지막에 1을 반환했어요 33, 133달러
이 작품의 가격은 대략 그 정도예요
네, 꽤 정확한 위치인 것 같아요 그래서 맞을지도 몰라요
누가 알겠어요?
훈련 데이터 세트에도 있을 수 있지만 좋은 결과예요
여러분도 이렇게 해 보세요
2-3분 정도 기다려야 해요
작업하는 동안 Modal로 갈 수도 있고 단기 앱으로 갈 수도 있어요
지금은 실행 중이지만 실행 중일 때는 여기
있을 겁니다. 그리고 작업을 하는 것을 볼 수 있고 만족스러운 결과를 얻을 수 있죠.
네
이제 그건 끝났고 짧은 앱에서 전환할 차례입니다 원격으로
기능을 실행하는 방법이죠
배포된 앱이 있는데 Modell에 기능성 몇 개를 영구적으로
포함하고 싶다고 말할 때죠
Modell은 여전히 실행할 때만 지불합니다 하지만 이름 같은
걸 정하고 싶어요 필요할 경우 재빨리 다시 할 수 있는 적절한 장소도요
명령줄에 모델을 입력하는 게 그 방법이에요 배포하고 배포하려는 앱 이름을
입력해요
중요한 건 바로 지금 이 순간 우리가 데이터 과학자로서 만든 코드나
모델을 생산 목적으로 사용할 수 있는 방식으로 배포하고 있다는
거예요
파이썬 API가 뒤에 있을 거예요
파이썬 을 이용해서 호출할 수 있고 API 호출도 할 수 있어요
이건 프로덕션화의 예입니다 원래 주피터랩에서 구축한 거죠
Modal 또한 REST 끝점을 아주 쉽게 빌드할 수 있게 해줍니다 파이썬으로 호출할
필요가 없죠
어떤 HTTP 쿼리에서도 호출될 수 있어요
이 수업에선 다루지 않겠습니다 파이썬 으로만 다루고 있으니까요
그러니 그냥 파이썬 에서 호출하는 게 낫겠어요
하지만 아주 쉽고 의사들도 명확하게 알려줬어요
제가 방금 얼버무린 게 있는데 이미 아실지도 모르겠네요
주피터에는 이런 멋진 기능이 있어요 터미널에서 뭔가를 실행할 수 있죠
느낌표만 찍으면 돼요
실행하고 싶은 명령의 이름을 적고요
터미널 윈도우를 열 수 있습니다 플러스 버튼을 눌러서 터미널을 생성할
수 있죠
하지만 이게 훨씬 더 쉬워요 여기 프롬프트에서 할 수 있거든요 제가 위에서 한 거죠
명령은 역시 양식 배포와 패키지 이름이죠
값을 매길 수 없는 서비스죠
그럼 프라이스 오브 서비스라는 패키지를 살펴보죠
여기 뭐가 있는지 간단히 말씀드릴게요
놀랍게도 비슷하네요
보시다시피 기본적으로 상수가 있고 함수를 정의합니다
기본적으로 같은 거지만 우리 코드를 서비스로 적절하게 배포하기에
충분합니다 이전 프로세스의 일시적인 버전 말고요
네, 같은 거예요
같은 코드인데 다르게 포장돼 있어요
이 볼륨으로는 필요 없어요
실행해 보죠 첫째 날 공책으로 돌아가면 Price Services로
배포된 게 보이시죠
끝에 작은 URL이 뜨네요
그게 완료되면 이제 여기로 돌아가서 배포된 앱으로 가면 가격이 실행되고
있는 게 보이시죠
T4 GPU 박스에 앉아서요 명시한 대로요
다시 돌아와서 보면 배포된 앱을 호출하는 방법은 에피헤머럴 앱과 다르고 사실 더
간단해요
그건 필요 없어요
방금 보신 비계 말이에요
Modal.comcom과 .outup을 입력하는 대신 서비스 이름을 입력하고
함수 이름을 입력해요
간단해요
Modal. 함수요
.찾기 서비스와 함수요
실행이 끝나면 가격. remote을 치고 원격 호출을 해요
그리고 아까와 같은 133을 얻게 돼요. Get up! Get up!
그게 다인 거죠
클라우드에 소유 모델을 이용해 앱을 배포했고 클라우드에서 실행되도록 이름을
붙였어요
더 멋지고 더 멋진 방법이 있어요
이렇게 만들면 잠들었다가 다시 따뜻하게 해 줘야 해요 그런데
1-2분 정도 지나면 금방 잠들어 버리죠
그래서 전화를 걸 때마다 추가 시간을 기다려야 하고 이미지를
다시 구축하고 모델을 불러오는 등의 작업을 해야 하죠
죄송해요
그럴 필요가 없는 버전이 됐죠
시작할게요
이건 나쁜 버전이에요 그 모든 걸 해야 하죠
그래서 두 번째 버전을 만들었어요
가격은 2파이예요
이 모듈은 좀 더 비트 있게 진행되는데요
클래스를 이용하고 초기화의 몇 가지 측면을 미리 빌드할 수 있게 해
줘요
매번 안 해도 돼요
클래스를 이렇게 정의할 때 장식자 모델.빌드를 사용할 수 있고 처음 만들어졌을
때 여러분의 박스를 채울 함수를 쓸 수 있어요
이 경우엔 HINGPace 모델에서 다운로드 받아 캐시에 넣었어요
자세히 설명하진 않겠습니다 시간 관계상
연습 삼아 남겨두겠습니다만 아주 간단하죠
이 코드는 허깅페이스에서 파일을 불러와 허깅페이스 캐시에 놓죠
그리고 Modal.엔터를 장식할 수 있죠 함수가 호출될 때예요
여기서 설정합니다 토큰라이저를 설정하고 베이스 모델을 설정해 한 번
로드하죠
반복적으로 사용할 수 있죠
잠들기 전에 부르면요
이 방법 자체가 가격이에요
이전과 같지만 메모리에 모델을 로드하는 코드는 여기 여기로 나왔어요 Modal in Setting으로요
a Decoator Modal or enter 밑에서요
이 모든 것의 결과로 아직 이것과 관련해 여러분이 이해를 못 하신다면 첫날로
돌아가서 핵심 포인트를 말씀드리자면 프로세스 서비스 2의 배포 양식을 할 거예요
프로세스 서비스 2가 배포되었어요
그렇게 하고 나면 이 코드를 약간 다르게 사용할 수 있어요
지난번에 했던 거 기억하시죠 Modal. 함수 .조회를 했죠
Modal.Crice는 짜증 나게도 cls로 쓰였어요
클래스는 이미 사용된 걸 거예요
그래서 못 썼죠
Modal.dot.lup 서비스 가격과 P로 시작하는 가격이요
수업이 문제군요
방금 배포한 클래스를 찾을 거예요
그 클래스를 인스턴스화할 수 있어요
가격은 가격의 예시라고 하죠
Pricer.pice.triter라고 호출할 수 있어요
get을 입력하면 그 답이 다시 나오죠
전에 실행했을 때 아주 빠르게 실행되었어요 이미 메모리에 있었으니까요 하지만 지금은 아마 이미 바뀌었을
거예요
네, 지연되는 걸 피하려면 지금은 안 하겠습니다 마지막 예제로 넘어갈 테니까요
실행할 거예요
지금 시작할게요 기계가 작동하는 동안 얘기 좀 하게요
이대로 둘게요
그래서 이걸 스페셜리스트 에이전트라는 유용한 클래스로 패키지했어요 우리가 살펴볼 첫 번째 에이전트죠
모달에서 실행 중인 가격을 검색해 가격을 부를 거예요
단일 함수와 단일 메서드 가격만 취하는 거죠
원하는 가격대로 제출할 수 있어요
가서 보죠
에이전트예요
지금 첫 번째 미리 보기가 있어요. Get up! Get up!
이번 주에 함께 일하게 될 모든 에이전트를 보세요
이제 들어가서 이 에이전트를 살펴볼 거예요
특수 요원이라고 불리는 건 우리 특수 모델을 사용했기 때문이죠
이건 전문 에이전트를 위한 파이썬 툴 모듈이에요
약속드린 대로 코멘트도 달았고 힌트도 몇 가지 있어요
이 클래스는 아주 간단해요
우리 LLM을 원격으로 조정하는 에이전트죠
이름과 색깔을 정하고 이름을 부여하죠
그 이유는 나중에 알게 되겠지만 요원 일지가 있기 때문이죠
다들 뭘 하는지 볼 수 있게요
전문가가 빨간색을 채취할 거예요
언제 생각하고 행동하는지 볼 수 있죠
생성자 메서드에서 초기화를 시작했고요 로그인하면 시작되고 있죠
Modal.+.찾기를 하고요
서비스 비용과 가격을 찾아봤어요
이건 조금 전에 우리가 배포한 거죠
그래서 찾아보고 인스턴스화했죠
그럼 일 시작할 준비가 됐다고 기록해요
가격 호출 자체도 방금 본 것과 똑같아요
가격도, 가격도, 리모컨도 있어요
헬로 닷 리모컨을 만들었을 때처럼요
함수를 취하는 거예요
원격 조종을 호출하고 있어요 클라우드에서 실행된다는 뜻이죠
우리 눈에는 거의 투명해요
파이썬 에서 직접 호출하는 것 같지만 사실은 우리가 명시한 T4 박스의 클라우드에서
실행될 거예요
설명을 전달하고 완료됐다는 사실을 기록하고 결과를 반환하죠
제가 너무 오래 떠들었나 봐요 첫날로 돌아왔을 때 끝났거나
안 끝났길 바라요
그럼 이쪽을 뒤집어서 시간을 채울 수도 있어요 그럼 작업을 하는 걸 살펴보죠
그래서 지금 우리가 기억하기 전에 일시적인 앱을 찾다가 길을 잃었어요
이제 제대로 배포된 앱에 있습니다 왜냐하면 Pricer 서비스를 보고 있으니까요
배포된 앱이죠
이 안에 들어가서 살펴보죠
성공했다고 뜨네요
다시 가서 보죠
확실히 성공했어요
됐어요
성공적으로 133을 반환했어요
지체 없이 바로 다시 실행하면 얼마나 빠른지 보이죠?
이미 따뜻할 때는 보통 그 정도로 빨리 녹아요
클라우드에 올릴 거예요
빨리 다른 걸 생각해 보죠
iPhone SE의 2차 버전을 보죠
아이폰은 얼마죠?
됐어요
299달러예요
그래서 2세대 아이패드 프로를 볼 수 있어서 정말 기뻐요
299달러라니 인기가 많은가 보군요
get이 따뜻해지면 좋은 감각을 갖게 되죠
모델을 일단 채우면 아주 빨리 호출할 수 있어요 빠른 응답을 얻게 되죠 get it
에이전트에게 전화했죠
에이전트가 하는 일은 여기 있는 에이전트가 하는 일은 이미 완료되었다는 거죠
이미 클래스를 갖고 있고 인스턴스화했어요
그 클래스는 안은 얼굴 파일에 이미 로드됐어요
따뜻하고 일할 준비가 됐어요
이 메서드를 호출할 때 파일을 다시 로드할 필요가 없어요
다 준비해 놨어요
추론만 하면 돼요
그래서 그렇게 빠른 거예요
그게 비결이에요
클라우드에서 실행되는 모델에 API 구축하는 방법입니다 서버리스
모델이죠 메모리에 모델 값을 캐시하는 방법입니다 준비되도록요
아주 빠르게 진행했지만 이제 다시 돌아가서 직접 해야 해요
제대로 작동하고 모듈에서도 멋지게 보여야 해요
그럼 다음 영상에서 마무리하도록 하죠