이제 모델에 대해 비트 좀 할게요
프런티어 모델이라는 용어가 종종 등장하는데 오늘날 가능한 가장 큰 모델을
개척하는 llms를 뜻하죠
사람들이 개척자 모델이라고 할 때 주로 비공개 소스 모델을 말합니다 GPT나
클로드 같은 유료 모델이죠
사실, 프런티어 모델이라고 하는 사람들도 있어요 가장 크고 강력한 오픈
소스 모델을 언급할 때요
문맥에 따라 둘 다 될 수 있어요
먼저 비공개 프런티어 모델에 대해 얘기해 보죠
슈퍼 스케일러라고도 불리죠
가장 크고 높은 모형이죠
먼저, 오픈AI의 GPT는 설명이 필요 없겠죠?
2022년 말 챗GPT가 나왔을 때 그 출력에 다들 깜짝 놀랐어요
당신도 잘 알 거예요
인류학의 클로드예요
앤트로픽은 오픈라이의 경쟁자죠
잘 알려진 사실이죠
데이터 과학자들이 좋아하는 건 클로드예요
클로드와 GPT는 현재 순위표에서 막상막하로 평가받죠
클로드는 살짝 더 날카롭죠
제미니는 구글의 참가자죠
라마를 검색했을 때 기억하실 거예요 구글에도 제마가 있어요
오픈 소스 변종도요
명령 R은 코어에서 접할 수도 있고 아닐 수도 있어요
캐나다 인공지능 회사요
당황스러움은 검색 엔진으로 다른 모델을 사용할 수 있지만 모델 그 자체도
있어요
이건 개척 시대의 대형 모델이에요
오픈 소스 모델에 대해 얘기해보죠
라마는 메타에서 따온 이름인데 오픈 소스 모델 중 가장 유명하죠 메타가 원조 라마를
오픈 소스 소스 오픈 소싱해 오픈 소스 LMS 영역의 길을 포장한 거니까요
프랑스 회사 미스트랄의 미스트랄도 있는데 모델명이에요 전문가들을
섞은 거죠
작은 모델도 여러 개 포함돼 있죠
퀜은 오바마와 경기할 때 제가 언급했던 모델이에요
강력한 모델이죠
알리바바 클라우드에서 나온 건데 정말 인상적이에요 콴을 가끔 사용할 거예요 말씀드렸듯이
크기에 비해 아주 강력하거든요
젬마는 구글의 작은 모델이고 Fi는 마이크로소프트의 작은 오픈 소스 모델이죠
헷갈리지만 아주 중요해요
이미 아는 분들도 있겠지만 몇몇 분들은 계속 마음에
걸렸을 거예요
확실히 해두고 싶어요
완전히 다른 접근법으로 모델을 사용할 수 있는 다양한 방법이 있어요 그 둘의 차이를
이해하는 게 중요하죠 마주쳤을 때 다른 방식으로 사용될 수도
있고요
무슨 일인지 잘 생각해 봐요
먼저 모델을 이용한 채팅 인터페이스가 있습니다 챗GPT 같은 거죠 채팅하는 웹 프런트엔드로서
클라우드에서 실행 중인 뭔가를 호출하는 겁니다 LLM LM과의 상호 작용
전 과정은 그들의 클라우드에서 OpenAI가 처리하고요
챗GPT의 경우 클라우드와 제미니 어드밴스 등의 제약 회사가 있죠
클라우드 API가 있어요
여기서 클라우드에서 실행되는 걸 호출하지만 사용자 인터페이스가
아니라 코드로 하죠
요약본에 있는 유피터 노트북에서 유피터 랩은 OpenAI API라고 명명했죠
OpenAI에 연결해서 API 호출을 하고 채팅 인터페이스를 이용하면 무료로
사용할 수 있고 매달 사용료를 내야 사용자 인터페이스 채팅을 원하는 만큼
사용할 수 있어요
거기에도 한계가 있어요
API는 달라요
API는 구독이 없어요 매달 돈을 청구하지 않죠 대신 API 요청에 대한 비용을
지불해요
유료 API 경우에요
오픈 소스 무료 API도 있어요 API를 직접 호출할 수 있죠
랭 체인 같은 라이브러리도 있어요 일종의 추상 레이어를 제공하죠 랭 체인을 사용할
수 있어요
그 안에서 다양한 API를 호출할 수 있어요
통합된 API 하나를 제공하죠
랑 체인 같은 틀이 있어요
랭 체인을 사용하는 사람을 보면 커버 아래 lm API만을 사용하죠
더 나은 사용자와 API 인터페이스를 제공할 뿐이죠 더 일관성 있는 거요
또 다른 API 유형은 약간 다른데요 관리되는 인공 지능 클라우드 서비스라는
걸 사용합니다 아마존, 구글 또는 마이크로소프트 Azure 같은 공급자와 연결하는 거죠 비트로소프트
클라우드 서비스
클라우드에서 모델을 실행하고 공통 인터페이스를 제공해 여러분이 뒤에서
실행할 수 있게 하죠
오픈 소스일 수도 있고 폐쇄 소스일 수도 있죠
아마존 베드록도 있어요
아마존이 제공하는 거죠
구글의 정점 인공지능은 구글과 애저 ML이죠
다른 이름도 있어요 마이크로소프트가 제공하죠
관리되는 인공지능 클라우드 서비스죠
하지만 이 모든 것의 공통점은 로컬에서 코드를 작성한다는 거죠
클라우드에서 실행되는 LM에 호출을 하는데 그게 클라우드 API예요
세 번째 접근법은 LM에 대한 코드와 무게를 직접 알아내서 여러분의
박스에서 실행하거나 원격 get box로 원격 조종하는 것이죠.
다시 말씀드리지만 이 코스에서는 두 가지 다른 방법이 있어요
그 둘의 차이를 이해하는 게 중요해요
하나는 얼굴 안기입니다 파이썬 코드와 해당 모델이 있는 PyTorch
코드에 엑세스할 수 있죠
이 모델을 가지고 세분화 작업을 할 수 있습니다. 토큰화 텍스트 같은 작업을
할 수 있고 토큰으로 모델을 호출할 수 있습니다. 실제로 모델을 운영할 수 있죠.
일반적으로 구글 Colab 같은 걸 사용합니다 클라우드 내
고성능 상자에서 실행할 수 있죠 일반적으로 로컬 상자는 그런 수준의 프로세싱을
실행할 만큼 강력하지 않거든요
그 대신 사람들은 이 코드를 고성능 C++ 코드로 최적화해 컴파일했고
여러분의 박스에서 로컬로 실행할 수 있게 됐죠
그게 올라마예요
llama CPW라는 걸 사용합니다 C 플러스 코드로요
그 말은 로컬로 실행할 수 있다는 거죠
추론과 실행 모드로 모델을 실행하고 있지만 무슨 일이 일어나는지 제어할 능력은
별로 없어요 코드가 완전히 컴파일됐으니까요
그게 도움이 됐으면 좋겠네요
세부 사항은 대충 말씀드렸지만 여러분께 보여드릴 수 있길 바라요 모델을
다루는 세 가지 다른 방법과 그 밑에 있는 일종의 서브 테크닉을요
이제 어떻게 할 거예요?
오늘 할 운동은 아주 유용할 겁니다 수업 내내 계속
활용할 수 있죠 올라마를 배울 거니까요
그럼 지체 없이 유피터랩으로 넘어가서 이 운동에 대해 설명하죠