오픈 소스 세계로 여정을 계속하면서 오픈 소스 코드 생성 능력을 조사하기
위해 어떤 모델을 선택해야 할지 알아보죠
어디서부터 시작하죠?
우선은 큰 코드 모델의 leaderboard를 보시죠
이건 아까 봤던 포옹하는 얼굴 공간으로 실행되는 leaderboard입니다
코드 생성 작업에서 오픈 소스 모델의 성능을 비교하는 거죠
처음에 베이스모델을 봤을 때 몇몇 베이스모델이 잘 작동하고 있는
것을 볼 수 있습니다 코드 라마, 코드 콴 딥 시크 코더가 있네요
하지만 모든 모델을 살펴볼 겁니다 미세 조정된 모델에
관심이 많거든요 C 플러스 플러스 코드 같은 작업에 맞게 특별히 훈련된
몇몇 기본 모델보다 훨씬 더 잘 수행하니까요
그리고 파이썬 + C+ 테스트 기능을 살펴볼 겁니다 왜냐하면 결국 우리가
할 것이니까요
이걸 볼 때 주목할 점은 여기서 나가라는 건 기준점이 되는 거죠 외부적으로
채점이 발생했어요
그래서 저는 개인적으로 이 기호가 없는 걸 선호합니다
안는 얼굴, 스페이스 플랫폼의 벤치마크로 지정된 것들요 그중에서도 가장
높은 게 코드 콴 1이죠 570억 달러요, 맨 위에요
코드 변종 콴이에요
채팅도 가능하게끔 훈련되어 있습니다 즉, 단순히 파이썬 코드를 주고 완료되기를 기대하는
것과는 다른 상호작용이 가능하다는 것이죠
채팅을 할 수 있습니다 파이썬 코드를 최적화된 C+로 변환할 수 있나요?
그리고요?
들어가서 한번 보죠
지금 보시는 건 코드 콴 1이에요 570억 챗의 톱모델이죠
여기 보시면 이게 뭘 할 수 있는지 설명돼 있죠
어떻게 상호 작용할 수 있는지도요
파이썬 에서 퀵 센서트 알고리즘을 작성하세요
보시다시피 우리가 쓰던 방식으로 메시지를 만들 수 있어요 토큰라이저 앱으로
채팅 템플릿을 적용하면 메시지를 토큰으로 변환하고 모델로 실행할 수 있죠
과거 간단한 작업, 텍스트 생성 작업을 위해 실행했던 여러 모델과
아주 일관된 방식이죠
Codeclan을 보시면 파이썬 코딩에서 C++ 코딩에서 아주 높은 점수를 얻을 수
있어요
외부 실행 장치인 이것에 의해만 패하고 있어요 이건 아주 조금 더 잘 작동하죠
잘 보면 이 모델 자체가 퀸의 훌륭한 곡조예요
솔직히 코드를 고수하면서 잘 되고 있다고 생각해요
퀸이에요
그 뒤엔 급경사면이 있어요
또 보여드리고 싶은 건 코드 젬마도 보여드리고 싶어요 다른
것도 해보고 구글도 보죠
하지만 코드를 사용하려 할 때 발생하는 일이죠
제마는 아주 간단한 임무에 대처할 수 있었지만 어려운 임무를 받을 때마다 고장 났어요
코드를 얻을 수 있는지 훈련으로 알아보세요.
하지만 이 문제 때문에 작업을 할 수가 없었어요. 적어도 C 플러스 버전의 파이썬의
복잡한 번역이나 재공여가 일어나지 않았기 때문이죠.
하지만 다른 모델도 시도해 보는 것도 분명 도움이 될 거예요
선택지가 아주 많거든요
코드 콴을 선택했어요
한 번 더 얘기해 보죠
다음으로 할 일은 다양한 방식으로 어떻게 실행할지 알아내는 거죠
할 수 있어요
한 명은 이미 알고 계시잖아요
구글 Colab으로 가서 코드를 작성할 수 있습니다 안기 트랜스포머 라이브러리를
이용해 코덱스 코드에 직접 접근해 로드하고 추론 시간에 실행하는 거죠
그럼 아주 좋을 거예요
비트 박스에서 컴파일된 코드를 실행하고 싶다면 약간 불편할 거예요
주피터에서 실행해야 합니다 구글 Colab에서요 제 컴퓨터에 코드를 복사 붙여넣기
하죠
하나의 사용자 인터페이스로 다 할 수 있길 바랐어요
기본적으로 이 모델을 있는 그대로 실행하고 싶어요 제 상자에서요
그렇게 할 방법이 몇 가지 있는데 전부 설명하진 않겠지만 아주
편리한 방법이 있어요 프로덕션에서 모델을 배포하는 방법을 보여드릴 겁니다 프로덕션
목적을 위해서요
페이스 포옹에 이 모델을 실행해 달라고 요청하는 겁니다 여러분이 코드에서 원격으로 모델을
호출할 수 있는 엔드포인트를 주는 거죠
이런 모델이나 여러분이 원하는 오픈 소스 모델을 실행하는 일종의 호스팅 솔루션으로 여러분이
실행할 수 있는 엔드포인트를 제공하죠
정말 고급 기술 같네요
할 일이 많을 거라고 생각할 수도 있어요
전혀 어렵지 않아요
여러분이 할 일은 여기 이 배포 버튼으로 가는 것뿐이에요
첫 번째 옵션은 종점 추론입니다 프로덕션에 대한 전용 추론 배포죠
이 모델의 고유한 배포를 가질 수 있는 방법이라고 하네요
어디서든 직접 호출해 이 모델을 사용할 수 있어요
물론 그 대가를 치러야겠죠
공짜는 아니지만 아주 비싸진 않아요
하지만 이건 비트가 좀 더 비싸요
확실히 알아야 할 일이죠
이런 추론 끝점을 사용할 때 AWS나 애저 GCP, 구글
클라우드에서 실행할지 선택해요
CPU 박스와 GPU 박스도 선택할 수 있어요
이 모델의 경우 GPU 박스가 필요하고 엔비디아 L4도 최소한 있어야
해요
적어도 그게 권장하는 거죠 GPU 상에 24GB 램이 있어요
그래서 이걸 선택하고 이 중 몇 개를 채우고 엔드포인트 생성을
클릭해요
아주 간단해요
전용 엔드포인트를 만들어서 당신을 위해 0달러 내고 얼굴 껴안고 달리게 할
거예요 시간당 80달러요
미국에서는 가격이 다를 수 있어요
아주 저렴하진 않지만 원할 때 껐다 켤 수 있어요
실험에 한두 시간밖에 안 걸린다면 정말 재미있는
실험이 될 거예요 예산에 맞는다면 추천합니다 그렇지 않다면 걱정 마세요
제가 해드릴게요
여러분도 함께 지켜보며 어떤지 보세요
여기 이 메뉴를 이용해 지정된 끝점으로 가보죠
지정된 끝점이 2개 있는 게 보이시죠 제가 설정한 거요
그중 하나가 방금 본 코드클란이에요
기본적으로 저 화면을 따라가면 추천받은 L4 상자에서 실행되고 있어요
현재 0달러 썼어요 시간당 80달러로 이 엔드포인트를 운영하는 기쁨을 누리세요
내가 당신을 위해 아무것도 안 한다는 말은 하지 말아요
코드 젬마도 시도해 봤어요
알파 박스에 써봤어요
Get it을 실행할 수가 없었어요
아주 단순한 작업이지만 너무 복잡하면 충돌해요
하지만 이걸 연습 삼아 한번 해 보세요
코드 제마를 작동시켜 보세요 코드랑 어떻게 일치하는지 보고 싶네요
하지만 리더보드에서 본 것처럼 의심의 여지가 없어요
코드클란이 훨씬 뛰어나고 이런 장애물을 잘 해낼 거예요
지금까지는 잘 따라오셨길 바라요
5분 기다렸다가 커피를 마시고 codeclan 엔드포인트가 실행될 때까지
기다리세요 그런 다음 JupyterLab으로 돌아가 이 엔드포인트를 호출하고 코드 생성을 시험해볼
준비가 될 거예요
잠시 후에 뵙죠