주피터 연구소의 4일째 날이죠
아주 익숙해 보일 거예요 왜냐하면 사실 3일째의 복제로 시작했거든요
이 복제본에는 셀이 몇 개 있어요
환경을 연결하는 시작에서 가져오기를 다시 실행해야죠
개척 시대 모델과 교감하고 싶어요
왜인 줄 알아요?
개척 모델들을 오픈 소스 모델과 나란히 작동시킬 수 있게 될 겁니다 아주 근사하겠죠 get the
new-file
프롬프트, 메시지 함수도 있습니다. C++ 파일을 OUTPUT하여 쓸 수 있는 것을
기억하신다면요.
이건 중복 기재될 테니 실행할 필요 없을 것 같아요
파이 프로그램 코드는 외우실 테니 안 해 봐도 돼요
근데 가장 누적된 수에 대한 배열을 찾는 하드 프로그램을 위한 코드를 얻게 될 거예요
스트림과 GPT 함수도 필요해요
이 개울이 필요해요 클로드 함수요
덮어쓰기 직전이지만 최적화 함수가 필요해요
이 멋진 그러데이션 함수는 파이썬 을 실행하고 C++를 실행합니다 다른
이들과 공유하지 않는다는 걸 기억하시길 바라요
파이썬 + C+ 코드를 임의로 실행할 수 있도록 허용해서는
안 되죠
좋은 생각이 아니에요
그러니 그래디오 인터페이스는 혼자만 알고 공유 = true라고 하지 마세요
CSS 덕분에 근사해 보이죠
좋아요
Get in get 새로운 코드예요
아주 간단한 거예요
수입품부터 시작하죠
휴깅페이스 허브에서 불러오고 있어요 로그인 함수죠 인퍼런스 클라이언트라는
클래스이기도 해요
토큰라이저를 불러올 거예요
얼굴 포옹에 로그인할게요
됐어요
이제 변함없는 것들만 남았어요
코드 모델의 이름이죠 여기 code젬마도 있어요 시도해보시고 저보다
성공했는지 보시라고요
이건 제 엔드포인트 URL이에요 제 엔드포인트 페이지에서 가져온 거죠
이 URL을 가져갈게요
지금 제 엔드포인트가 실행되는 곳이죠 0달러가 들었어요 시간당 80달러요
이건 코드 젬마인데 안타깝게도 일시 중단됐어요 안정적이지 않아서요
좋아요, 그럼 해 보죠
토큰마이저 기억하세요 오토 토큰마이저 클래스로 뭔가를 만들고 모델의 이름을 학습된 패스라고
하면 해당 모델에 맞는 토큰마이저를 얻게 돼요
이제 이걸 만들게요
이건 우리가 전에 쓴 함수인데 구조화된 사전 목록을 만들어 파이가
C++로 다시 쓰이는 간단한 함수를 요청할 거예요
그런 다음 토큰라이저를 이용해 채팅 템플릿을 적용해 텍스트로 바꿀 거예요
제가 무슨 말을 하는지 한번 보죠
저걸 실행하고 이걸 실행하는 걸 기억한다면요
먼저 메시지가 뭔지 기억하세요
메시지란 두 가지 요소로 된 목록이에요
그중 하나는 시스템 역할이에요
그게 내용이에요
파이썬 + 코드 어쩌고저쩌고를 다시 구현하라고 했죠
그리고 사용자 메서드가 있죠
완전히 열려 있다는 의미에서 여기서 언급해야 할 게 있어요 약간의 힌트를 추가했어요
난수 발생기의 구현을 동일하게 유지하세요 그래야 결과가 정확히 일치하니까요
짐작하시겠지만 진행을 유지하기 위해 여기저기 힌트를 추가해야 했어요
그 결과는 잠시 후에 보실 수 있어요
이게 여러분이 익숙한 메시지예요
이제 채팅 템플릿을 적용한 후 텍스트가 어떻게 됐는지 보여드릴게요 이걸 프린트하면 간격이 좀 더 길어질
거예요 비트 템플릿
인쇄해 봐요
시작할게요
이걸 보세요
특별한 토큰이 있어요 시작할게요, 다음은 시스템 그다음은 시스템 메시지죠
사용자에게도 같은 거죠
이게 코드예요
이 프롬프트로 끝나죠
달 착륙선은 계속 가서 지원 응답을 할 거예요
이제 여러분은 포옹하는 얼굴 엔드포인트에 전화를 걸고 오픈 소스 모델에 이런 종류의 메시지를
만들고 응답을 받는 게 아주 어려울 거라고 생각하겠죠
그렇지 않아요
코드 두어 줄이면 되는 그런 것 중 하나죠
여기 있네요
아주 간단해요
객체를 생성합니다 inference 클라이언트요 그리고 엔드포인트 URL과 포옹하는 얼굴
토큰을 알려줍니다 그런 다음 클라이언트 .text 생성이라고 하죠
메시지를 전달하는 거죠 이 경우엔 결과를 스트리밍하고 싶어요
그게 없으면 더 짧아져요
하지만 결과가 다시 흘러오는 걸 보니 좋네요
최대 새 토큰은 한동안 계속될 수 있다고 알려주는 거예요
어떻게 되는지 보죠
제 엔드포인트에서 스트리밍을 하고 있습니다 얼굴을 안으며 달리고 있습니다
이 변환의 결과죠
이 작업을 하는 동안 한 가지 지적하고 싶은 것은 여러분이 이 코드를
인식하고 계시길 바랍니다 아주 합법적으로 보이죠 파이썬 코드를 C+로 아주 탄탄하게 변환했어요
비트는 처음에 C 플러스 플러스 코드를 설명하고
있어요
왜 그렇게 했는지에 대한 문자로 끝나기도 하고요
내 시스템 메시지는 그러면 안 된다고 주장하는데도요
어떤 설명도 하지 말라고 돼 있는데 시스템 메시지를 통해 설명을 하지 말라는 메시지를
받을 수 없었어요 get it
기억하시겠지만 GPT 4와 클로드는 지시를 잘 따르죠
프롬프트에서 시간을 더 들여 작업하면 그런 일이 일어나지 않도록 할 수
있을 것 같아요
하지만 그게 실패하면 post processing을
해서 C 플러스 플러스 코드 시작까지 모든 걸 제거하는 게 아주 쉽죠 이 기호까지
모든 걸 제거하고 이와 이 사이에 있는 걸 취할 수 있어요
post processing을 하면 쉽게 할 수 있어요.
좋아요
추론을 실행하는 게 얼마나 쉬운지 보셨죠
UI 상에서 함께 조립하고 실행할 때 다시 뵙죠. TMI TMI UI
그때 봐요