매주 끝날 때마다 도전 과제를 드리는 게 관례예요 혼자 해내야
하죠
여러분도 동의하시길 바라며 흥미로운 과제들이 있었지만 이번 주에 공개할게요 Tudum
Tudum Tudum
이번 과제가 지금까지 중 가장 흥미로워요 다들 이번 과제를 진지하게 받아들이고
열심히 해 주길 바라요 나도 직접 할 거니까요
이의를 제기합니다 최대한 빨리 끝내고 싶거든요
멋진 post가 될 것 같아요
정말 멋지고 재미있는 일이 될 것 같아요
문제는 이거예요
방금 만든 걸 이용해 개인 생산성을 높이기 위해 여러분의 정보에 기반한 여러분의
지식 작업자를 만드는 거죠
예를 들어 한 곳에 있는 모든 파일을 조립할 수 있어요 이미 하드 드라이브에
있을 수도 있죠 전 그래요
폴더 구조가 있는 여러분의 개인적 지식 기반이죠
모든 걸 크로마로 벡터화할 수 있어요 그럼 여러분 고유의 벡터 데이터 저장소가 되죠 그
위에 대화용 인공지능을 만들어 여러분의 정보에 관해 질문할 수 있어요
제가 작업했던 프로젝트와 했던 일에 대한 정보의 양을 생각해 보면
제 마음속에 그런 게 있을 리가 없어요
뭔가를 파헤치는 데 많은 시간을 보내는데 제 개인적인 배경에 최적화된
챗봇을 만들 생각을 하니 어쩌면 일과 개인적인 것을 합쳐서 연결할 수 있을지도
몰라요
제 연락처, 현재 직장, 이전 직장 등에서 저를 도와줄 수 있는
누군가를 생각해 보세요.
놀랍도록 강력한 아이디어예요
그래서 직접 하게 돼서 정말 신나요
더 멀리 갈 수 있는 방법이 몇 가지 있어요 정말 미친 짓을 하고 싶다면요
다시 말하지만 그게 제 계획이에요
그래서 전 지메일을 써요 인터넷 대부분이 그렇죠 코드 작성하는 건 꽤 쉬워요 구글 API에
대항해 인증을 하고 구글 API를 통해 이메일을 읽을 수 있는 자신의 메일함에 엑세스
권한을 가질 수 있죠
전 쉽다고 봐요
중간 크기예요
인증해야 하는 코드는 좀 지루하지만 많은 사람들이 해 봐서 구글에 쉽게
검색할 수 있어요 단계별로 어떻게 하는지 비트를 볼 수 있죠
이메일 상자에 접속해서 메일을 불러오고 크롬으로 벡터화할 수 있죠
이메일 기록도 있을 거예요
물론 이 모든 맥락을 개척자 모델로 보여주는 건 완전히
비현실적인 일이죠
모든 자재가 제미니 1호 토큰보다 훨씬 클 거라고 상상할 수
있어요 5번 섬광도 견뎌요
하지만 래그를 이용해 벡터 데이터베이스에서 특정 질문에 가장 가까운 25개의 문서를 뽑아내는 건 전적으로
가능합니다 그리고 그걸 제공할 수 있죠
이메일 받은 편지함에 그렇게 할 수 있다고 상상해 보세요
마이크로소프트 Office 파일이 있다면 그렇게 할 수도 있어요
간단한 파이썬 라이브러리가 있습니다 Office 파일을 읽고 텍스트 버전으로 불러오죠
구글 드라이브를 사용한다면 구글 드라이브에 있는 문서를 읽을 API가 있어요
아주 쉬운 일은 아니죠
감정할 게 좀 있지만 충분히 할 수 있어요 보상을 받으면 비트로도
가치가 있죠
마지막으로 작은 포인트를 말씀드리면 오픈AI 엠베딩 같은 것을 호출해 모든 데이터를 벡터화하는
것을 우려할 수 있습니다 왜냐하면 항상 이런 느낌이 들거든요 개인 데이터로 호출하는
것이 아무 데도 저장되지 않을 거라고 얼마나 확신하나요?
그래서 이번 과제의 마지막 부분으로 그게 걱정된다면
버트 같은 오픈 소스 모델을 직접 활용해도 좋아요
벡터화는 직접 할 수 있어요
두 가지 방법이 있어요
여러분이 아는 방법은 구글 Colab을 불러올 수 있다는 겁니다 구글 드라이브를
그 Colab에 매핑할 수 있어요 그걸 Colab에서 이용해 모든 문서를 그런 식으로 벡터화할 수
있죠
그게 한 가지 방법이죠
아주 효과적일 거예요
좀 더 고급인 다른 방법은 llama CP llama.CP라는 걸 이용하는
겁니다 라이브러리인데 여러분 컴퓨터에서 로컬로 실행할 수 있죠 C++ 코드를 최적화해
일부 모델을 추론 모드에서 여러분 박스에서 로컬로 실행합니다 여러분 박스를 떠나지 않고요
클라우드로 가지 않고도 모든 문서를 벡터화하고 싶다면 이 방법을 최종적으로
사용할 수 있어요
하지만 결국 가장 어려운 건 개인적이고 개인적인 지식인을 만들어서 할 수 있다는
걸 증명하는 거예요
그게 너무 힘들다면 최소한 갖고 있는 텍스트 문서 몇 개를
같은 폴더에 넣어 축소판을 만드세요
그것만이라도 해 줘요
그게 최소 기준치예요
그 정도는 요구해야죠
폴더 구조의 텍스트 문서를요 여러분 것을 위해 어떻게 작동하는지 볼 수 있도록요
하지만 누군가 이 프로젝트를 실제로 해내면 좋겠어요
저도 할 거예요 블로그 post도 쓸 거고요 기대되네요
이것으로 래그 주간을 마칠게요
그 시점에서 62점이 되죠 5%밖에 못 갔어요
의욕이 샘솟는 걸 느끼셨길 바라요
이제 많은 게 합쳐진다고 느끼길 바라요 이런 훈련을 계속하고
지금 이렇게 배우기만 한다면 래그가 어떻게 작동하고 왜 효과적인지 직관적으로
알 수 있을 거예요
벡터 삽입과 벡터 데이터 저장소는 아실 겁니다 이 모든 것은 우리가 과거에 연구한 모든 것 외에도 프론티어
모델과 툴을 이용한 인공지능 조수들 오픈 소스 모델에 얼굴을 끌어안기 파이프라인 토큰라이저 모델에
맞는 LLM을 선택하는 데에 기여했죠 다양한 leaderboard를 이용해 올바른 LLM을 선택하기도
했습니다 페이스 포옹의 오픈 LLM leaderboard처럼요
중요한 순간이죠
정말 신나요
하지만 다음 주에는 완전히 새로운 걸 시작해요
새로운 상업 프로젝트를 소개할 거예요
얼굴 안기 게임 데이터셋을 다운로드 해서 데이터를 큐레이팅해 새롭고 흥미로운
걸 시도할 거예요
추론만 하던 것을 훈련으로 바꾼 셈이니 큰 발전이죠
기대되네요, 그때 봐요