LLM 엔지니어링 여정 3주 차에 오신 여러분을 열렬히 환영해 주세요
지난주에 사용자 인터페이스를 구축하는 과정을 보셨다면 멋진 그래디오 프레임워크를
이용했죠 이번 주는 더 맘에 드실 겁니다 이제 오픈 소스를 시작해 포옹의 멋진
세계를 사용할 시간이거든요
하지만 먼저 늘 그렇듯 이미 할 수 있는 걸 간단히 요약해보죠
트랜스포머를 묘사할 수 있고 핵심 용어도 유창하죠
컨텍스트 창문에 대해 얘기할 수 있어요
쌍둥이자리나 클로드 오픈아이든 자신 있게 코드를 짤 수 있어요
API 아시죠?
스트림도 알고 마크다운도 알고 JSON 반응도 알죠
인공지능 비서인 챗봇도 만들 수 있어요
도구를 사용해도 돼요
여러 에이전트를 사용할 수도 있고 멀티모덜로 만들 수도 있어요
우리도 하나 지었죠
그걸 확장했길 바라요
저도요
오늘은 무슨 일이죠?
오늘은 얼굴 포옹을 배워볼 거예요 get it
먼저, 이게 무엇인지 설명하실 수 있을 겁니다 얼굴을 껴안는 것의 스코프와 규모도요
얼굴을 안는 것의 가장 놀라운 점은 너비예요
오픈 소스 데이터 과학 커뮤니티에 제공하는 모든 다양한 것들이요 여러분도
곧 그걸 잘 이해하게 될 거예요
모델과 얼굴을 포옹할 때 데이터 세트, 공간을 살펴볼 겁니다 구글 콜랩도 잘
이해하게 될 거예요
구글 콜랍을 이미 이해했다면 빠른 복습 지점이 되겠죠
그렇지 않은 분들은 지금 살펴보죠
좋은 GPU 박스에서 코드를 실행하는 방법을 볼 겁니다 다양한 제공이 있고 어떤 걸 클래스에
사용할지 알게 될 거예요
get up을 해드릴게요
오픈 소스 준비하세요
하지만 먼저, 현재 상황과 현재 위치, 남은 일을 간단히 정리해 보죠
왼쪽에서 출발해서 달 착륙선 엔지니어링 지식이 없었지만 능숙한 달 착륙선 엔지니어답게
오른쪽에서 끝날 거예요
첫 주에는 개척지 문화에 푹 빠져들었어요
2주 차에요
지난주엔 UI를 만들었죠
상위 3개에 API를 모두 사용했고 도구로 실험했어요
이번 주 에이전트 iization 다중 모듈은 오픈 소스와 얼굴 포옹에 관한 거죠
다음 주엔 문제에 맞는 LM을 선택하고 코드 생성하는 걸 얘기하죠
그다음은 래그 주간이에요
그 후 개척지 모델을 조정하고 오픈 소스 모델을 조정하고 피날레에서 전부 완성하는
거죠
그럼 지체 없이 포옹하는 얼굴 얘기를 해보죠
유비쿼터스라고 할 수 있죠
지역 사회에서 사용되죠
정말 훌륭한 자원이에요
무엇보다도 H깅 페이스 플랫폼이 세 가지 있습니다 H깅 페이스 코에 접속하면
계정을 만들 수 있죠
세 가지 카테고리에 접근할 수 있어요
우선 800,000개가 넘는 오픈 소스 모델이 있어요 다양한 작업을 수행할 수 있죠
그중 상당수는 이번 주 강의에서 실험할 거예요
앞으로 몇 주간은 데이터 세트가 있어요
보물 창고입니다 200,000개가 넘는 데이터가 거의 모든 문제를 다루고 있죠
검색해 보고 뭐가 나오는지 보세요
이 과정 후반부에 특히 놀라운 데이터 세트를 사용할 거예요
하지만 많은 데이터를 찾아서 문제를 해결할 수 있어요
플랫폼 케이글과 비슷합니다 데이터 측면에 훨씬 더 집중하죠
하지만 얼굴 한 번 안아도 데이터는 방대하죠
얼굴을 안는 것에는 스페이스라는 것이 있습니다 앱을 작성하고 공개할 수 있는 곳이죠
페이스 클라우드 하드웨어를 끌어안고 다른 사람들이 사용할 수 있도록 하세요
코드가 오픈 소스인 게 좋다면 말이죠 왜냐하면 그게 포옹하는 얼굴의
의미니까요
스페이스 앱은 많은 스페이스 앱이 그래디오로 만들어졌어요
그러디오 앱인 셈이죠
그러디오 앱이 아닌 것도 있어요
스트림리츠라는 게 있는데 앱을 만드는 또 다른 방법인데 이것도 꽤 마법 같아요
그래디오와는 달라요 마법 같죠
앱을 게시할 수 있는 다른 방법도 있어요
하지만 그라디오가 가장 흔한 것 같아요
그리고 leaderboard라는 것이 있는데 그러디오 앱으로 여러 llm을 평가하고 순위를
매겨 점수표에 표시하는 역할을 하죠
다른 llm들을 비교할 때 leaderboard를 많이 사용할
거예요 오늘 몇 가지를 볼 겁니다 포옹표 공간도 보고요
그게 허깅페이스 플랫폼입니다 허깅페이스 코에 로그인해 뭐가 있는지 살펴보면
알 수 있죠
얼굴을 안는 것은 라이브러리 코드도 제공합니다 우리 오픈 소스 프로젝트의 기초가 되는 코드죠
그리고 라이브러리는 우리가 원하는 것에서 출발할 수 있게 해주죠. HDP, DBP, HDP, HD, HDP, HD, HDP, HD, HDP, HD, HDP, HD, HDP, HD, HD
시장성이 훨씬 낮아지죠 아주 적은 상용 코드만으로도 아주 빨리 실행할
수 있으니까요
아주 잘 만들어진 도서관으로 출입 장벽을 줄이고 사람들의 생산력을 높여주죠
여러분이 경험할 첫 라이브러리 중 하나는 페이스 허브입니다
얼굴을 안는 데 로그인할 수 있는 라이브러리로서 허브에서 데이터 세트와 모델 같은 걸 다운로드 및 업로드
할 수 있습니다 얼굴을 안는 플랫폼이라고 부르는 거죠
데이터 집합은 라이브러리 같은 거예요 즉각적인 접근이 가능하죠 포옹이나 트랜스포머에
관한 데이터 저장소 같은 거요
이건 중앙 라이브러리인데 변압기 아키텍처를 따라가는 ㄹm을 감싸는 코드죠 그 밑에는 이런
신경망 네트워크를 실행하는 PyToch나 텐서플로우 코드가 있어요
하지만 변압기를 만들 때 손끝에 심층 신경망 코드가 있어요
함수나 변압기 코드의 메서드에 호출을 할 때 오픈AI의 범주 내 다른
클라우드에서 실행되는 API를 호출하지 않아요
우리가 직접 코드를 실행하는 건 심층 신경망에 대한 추론이나 훈련에 실행하기 위해서죠
언급하고 싶은 다른 라이브러리가 세 개 더 있어요 과정의 나중에
좀 더 고급 라이브러리예요
첫 번째는 페프트인데 매개 변수 효율 미세 조정의 약자죠
이 유틸리티 덕분에 수십억 개의 변수를 다루지 않고 llm을
훈련할 수 있죠
매개 변수 효율이죠
특히 우리가 사용할 기술은 로라라고 하는데 로라의 변형이죠
나중에 설명할 시간은 많아요
하지만 우리가 사용할 거라는 걸 명심하세요
페프트 라이브러리 매개 변수 효율적인 미세 조정의 일부죠
트리알이라는 라이브러리도 있는데 트랜스포머 강화 학습의 약자죠
몇 가지 조건이 있어요
보상 모델링 같은 걸 하는 능력이죠
네
최측근 정책 최적화 PPO라고도 하죠
음미로와 PPO에 대해 가끔 언급하실 텐데요
이건 앞서 언급한 WRF와 관련이 있어요 더 나은 후속
방식이죠 LMS를 훈련하는 방법이요 채팅에서 효과적이죠
2022년 말 챗GPT가 탄생한 핵심 혁신이었죠
많은 코드가 TRL 내에 있어요
TRL에는 감독 미세 조정과 SFT라는 게 있는데 나중에 코스에서도 직접
사용할 거예요
오픈 소스 모델을 조정하기 위해 사용하는 라이브러리입니다 특정 문제가
있는 특정 도메인에서 더 효과적으로요
TRL 라이브러리의 미세한 조율을 담당했죠
전부 두문자어예요
TRL의 일부예요 아주 중요한 프레임워크죠
이건 좀 더 고급이죠 나중에 다시 올게요 Get in get
지금 당장 다 외울 필요는 없어요 이 약어들도 확실히 기억할 필요는
없고요 하지만 제가 그 씨앗을 심어서 나중에 봤을 때 이미 들어본 것으로 만들게요
다른 하나는 무대 뒤의 것에 더 가깝지만 불러와서 이용하는 걸 종종 보실
수 있어요
가속이라고 하는데 고급 안기체 코드예요 어떤 분산 구성에서도 트랜스포머가
작동할 수 있게 해 주죠
훈련과 추론 둘 다 가능합니다 효율적이고 적응성 있는 방법으로 여러 GPU에 걸쳐 실행할
수 있도록요
우리가 할 실험은 최대 1개의 GPU로 진행되지만요
얼굴을 껴안는 것 뒤에 있는 주요 라이브러리예요
지금은요
Get it get 이제 포옹하는 모습을 볼 때가 됐어요
그럼 좀 둘러보죠 포옹하는 얼굴 플랫폼부터요