다시 오신 걸 환영합니다 모든 걸 아름다운 사용자 인터페이스로 통합할 시간이네요
하지만 먼저 한 번 더 살펴보죠 추론 엔드포인트 스크린에서 제 실행 중인 코드를
볼 수 있어요
퀴네 1요 570억 개의 채팅 추론이죠
할 수 있어요
보여드리고 싶은 게 있는데 여기로 오셔서 여러분의 추론 엔드포인트가 어떻게 실행되고 있는지 살펴보세요
분석 보기 같은 걸 할 수 있어요 어떻게 되고 있는지, 요청 수를 볼 수 있죠 제가 만들긴 했지만
레이더에 잡히기엔 충분하지 않아요
대기 시간과 CPU 사용도요
저기 있네요
CPU 사용량과 GPU 사용량에 작은 변화가 있네요
좋아요
원가를 보시면 3달러가 사용된 걸 알 수 있어요 이 모델은 지금까지 64,000달러예요
네
그걸 염두에 두고 분석은 그만두고 주피터 연구소로 돌아가죠
코드 콴을 호출하기 위해 이 코드를 마무리하죠 멋진 스트림 메서드로요 GPT 4와 Clude
스트림 Quen에서 이미 했던 다른 스트림 메서드처럼요
같은 종류의 메서드지만 물론 같은 함수죠
아주 다르게 할 거예요
토큰라이저를 생성할 거예요
파이썬 을 일반적인 메시지 리스트로 바꿔줄 거예요
채팅 템플릿을 적용할 거예요
이제 텍스트에서 토큰화 준비가 됐어요
그런 다음 수증 클라이언트를 위해 URL을 이용해 수증하는 마법을 부립니다 H깅페이스 토큰을
넘기기 위해서요
클라이언트 텍스트 생성을 하고 있는데요
여기 우리가 스트리밍할 텍스트가 있어요
최대 새 토큰이에요
그리고 결과가 나오죠
지금까지 우리가 준 토큰을 스트리밍하면서 지금까지의 총액을 확인하죠 그라디오가 기대하는 게
그거란 걸 기억하시길 바라요
지금까지 받은 모든 정보가 누적되어야 해요 모든 덩어리가요
저 스트림 컬렉션은 전에 만든 다른 스트림 GPT와 컴패니언 기능이에요
스트림 클로드요
이제 최적화된 메서드를 가질 수 있습니다 코드를 최적화하는 이전의 최적화된 메서드를 대체할 수 있죠
GPT Clude나 Code K콴 세 모델 사이에서 바꿀 수 있어요
네
사용자 인터페이스 그라디오 코드의 총합이 여기 있네요
이거 꼭 돌려야 해요
얼마나 간단한지 기억하시라고요
말도 안 돼요
작지만 멋진 타이틀이 있고요 파이썬 코드와 C++ 코드가 있는 행도 있네요
모델을 선택할 행이 있어요
이제 코드 권을 3개에 추가했어요 이전 두 모델 사이에서 선택할 수 있었던 것에 대해서요
코드를 변환하는 버튼과 파이썬을 실행하는 버튼 C++를 실행하는 버튼이 있습니다
파이썬 결과와 C플러스플러스 결과의 출력 상자도 있고요
세 가지 액션이 있어요
버튼을 클릭하면 어떤 행동을 취하는 세 장소요
단순히 영어처럼 읽히는 게 마음에 들어요
누군가 변환을 원한다면 변환 버튼을 누르면 최적화 함수를 호출해요
이게 입력이고 이게 출력이죠
파이썬 실행 버튼을 누르면 파이썬을 실행하죠
입력은 파이썬 코드이고 출력은 파이썬 아웃입니다 C++ 버튼도 마찬가지고요
아주 간단해 보여야 해요
아주 간단하기 때문이죠
이제 시작할 거예요
예쁘게 나오길 기도해 보죠
자, 이게 사용자 인터페이스예요
그리고 여기 보이는 것은 파이썬 코드입니다 간단한 파이 계산을 위한 코드죠
왜 안 되죠?
GPT를 위해 한번 해 보죠
C 플러스 플러스 등가라는 걸 기억하세요
파이썬 변형을 실행해보죠
제 기억이 맞는다면 8초 정도 걸렸어요
8까지 셀 때까지 기다려야 해요
파이썬 결과가 Get in get으로 나올 거예요
8번 나왔네요 6초요
원주율은 소수점 이하 자리까지 있어요
이제 C+를 실행할게요
GPT 4에서도 연락이 왔고요
0년에도 잘했고요 06초면 100 엑스 이상 향상된 거죠
클로드를 위해 한 번 더 불러보죠
클로드의 코드를 변환하는 거죠
저기 있네요
클로드의 C 플러스도 해 볼게요
더 있어요
GPT 4를 다시 한번 간발의 차로 이기죠
하지만 이 선 때문에 속도가 약간 빨라진 것 같아요
클로드의 코드가 더 빠를지도 몰라요
너무 비슷해서 의심스러워요
맞아요
컴파일러에 의해 최적화돼요
하지만 이게 일정하게 약간 더 빠를 수도 있어요
C 플러스 전문가일 수도 있겠네요
그걸 보면 알 수 있죠
직접 해 보고 만족할 수도 있겠죠. 당신의 구조가 빠르든 느리든
간에요.
어쨌든 중요한 건 그게 아니에요
코드 품질이 어떻게 측정되는지 알아보려고 해요
전환이 가능한가요?
말이 되는지, 다른 점이 있는지요
코드 변환 버튼을 눌러 어떻게 되는지 보죠
우선, 알다시피 수다스러운 느낌이 더 강하죠
설명이 정확히 나오지 않았어요
그러니 삭제해야 해요
하지만 그렇게 하도록 놔두죠 get it
추가적인 것을 추가하는 코드 모델을 치지 않을게요.
기억하세요, 이건 지금 모두 스트리밍 중입니다 엔드포인트에서부터 보고 있으니까요
여기로 가면 새로 고침이 필요할지도 몰라요
그걸 봐야 해요
결과를 스트리밍할 때 CPU와 GPU 현상이 보여요
이제 여기 아래를 보시면... 죄송합니다, 그라데이션 스크린으로요
시작할게요
완벽한 해결책을 찾았어요
이제 상단에 있는 걸 제거하겠습니다 끝에 있는 설명도
제거할게요 필요 없으니까요
이 C++ 코드를 실행해 퀸 코드가 어떻게 됐는지 보죠
한번 해 보죠
아주 빠르게 달렸죠
GPT 4와 거의 비슷했어요
아마 비슷할 거예요
실용적인 느낌이 나진 않지만 아주 잘 만든 것 같아요
답은 같아요
그게 코드에 있어서는 확실히 성공이라고 생각해요
퀸이에요
코드 퀸이 실행 중인 모델 매개 변수는 70억 개로 다른
모델과 비교하면 죄송합니다 GPT 4와 클로드에는 2조 개 이상의
매개 변수가 있죠
그럼 다시 돌아가서 수준을 높여 보죠
더 어려운 과제를 내 보죠
이 값을 파이썬 하드 으로 바꾸겠습니다 최대 서브-러레이 합을 계산하는 코드죠
이제 오픈 소스 모델이 이 복잡한 케이스를 어떻게 처리하는지 보죠
뭘 하는 거죠?
벌써 문제가 생겼네요
문제가 있어요
그 문제는 임의의 숫자를 생성하는 접근법을 보류하기로 결정했다는
거예요 LCG라는 기술로 구현마다 반복적이고 일관된 임의의 숫자를
생성하는 거죠
제가 분명히 시스템 프롬프트에 난수 생성 주변의 기능성 변경을 금한다고
입력했는데도 말이죠.
그 전략을 바꾸라고 코텡을 설득할 수 없었어요
이걸로 실험해 보세요 더 잘할 수 있는지 보죠
하지만 실험만으로는 그렇게 할 수 없었어요
거의 다 됐어요
됐어요
다 됐어요
그래서 끝에 나오는 것도 빼고 처음에 나오는 것도 뺄 거예요
이제 진실의 순간이에요
콴 코드부터 C 플러스 플러스 코드를 실행하고 스크롤을 내리죠
물론 그 숫자가 일치하지 않는다는 걸 알게 됐죠
예전 결과를 기억한다면요
그래서 안타깝게도 코드 콴이 숫자를 복제하는 데 실패했는데 놀랄 일도 아니죠
왜냐하면 이 차에는 무작위 번호 생성기가 있거든요
흥미로운 일이 좀 있었어요
더 효율적인 방법론을 잠재적으로 인정한 것 같지만 숫자가 일치하지 않으니
모든 게 제대로 작동하고 숫자가 맞는지 확인할 수 없어요
그래서 정말 안타깝지만 희망을 걸었어요
코드클런은 파이 테스트 즉, 간단한 테스트를 통과했지만 더
어려운 테스트에 실패하고 말았습니다 파이썬 부호와 같은 답을
내지 못했죠
그런 관점에서 보면 안타깝게도 개척자 모델이 우세해요
다시 한 번 승리를 거머쥐었죠
코드클랜은 성공하지 못했죠
그럼 다음 시간에 마무리하죠