우리가 가장 좋아하는 JupyterLab에 왔습니다 오늘 코딩할 게 아주
많아요
가장 먼저 눈에 띄는 건 둘째 날의 주피터 공책이 없다는 거예요
5일간 작성된 주피터 공책도 있어요 우리가 할 일이 생겼다는
증거죠
비트는 제가 평소보다 공책을 빨리 작성할 수도 있다는 뜻이기도
해요 비트가 돌아오면 직접 해 볼 기회가 생기는 거죠
오늘은 좀 더 복잡한 접근법을 시도할 거예요 상품 가격 평가법이죠 한동안 해온
것과 같은 거예요
오늘 가장 중요한 부분은 같은 작업을 하기 위한 래그 파이프라인 해결책에
접근하는 거예요
직감적으로 봤을 때 랙을 사용하기에 아주 좋은 사례예요
교육 데이터 집합에 400,000가지 가격이 있어요
이것들을 데이터 스토어에 저장하고 모델을 호출할 때 유사한 제품들을 주면서 전동
칫솔의 가격을 알려달라고 하면 어떨까요?
훈련 데이터에 있는 유사한 전동 칫솔 5개를 도움될 모델에
주세요
개척자 모델을 사용하는 게 아주 합리적이죠
비슷한 점을 생각해 보면 개척지 모델에서 훨씬 유리하게 출발할 수 있어요. HMSII
HMSI HMSI
래그가 빛나야 할 좋은 예죠 정확한 데이터의 저장소가 있거든요
최적의 조건에 딱 맞아요
이 공책에서 할 일은요 지금 제가 있는 0번 공책은 8주 차 폴더인데
400,000개의 훈련 데이터 포인트를 가진 벡터 데이터 저장소를 만들 거예요
그게 중요하죠
5주 차보다 훨씬 많이 했어요
다음 공책 둘째 날에요 1번요
2D로 시각화한 다음 3D로 시각화할 거예요
빠른 노트들이네요
하지만 촬영 2일째에 이런 걸 직접 경험하니 좋네요 Get it 3번요
그런 다음 래그 파이프라인을 만들어 테스트하죠
둘째 날에도요 여기선 공책 하나에 많은 걸 담을 수 있어요
6주 차에 봤던 임의의 산림 처리기를 다시 쓸 거예요
하지만 우린 그걸 개선한 버전을 할 거예요
그런 다음 앙상블이라는 걸 만들 거예요 모든 모형을 사용할 수 있도록요
함께 투표한다고 생각하면 돼요
함께 문제를 해결하고 선형 조합을 선택해서 최고의 결과를
내는 거죠
Get up 할 게 많네요
말씀드리고 싶은 것은 이미 강력한 제품 프로세서를 특수 LLM의 형태로 만들었다는
점인데요
왜 이렇게 많은 시간을 투자하는지 궁금하실 거예요
답은 간단해요
방금 제가 한 말이잖아요
자신의 전문성을 확고히 하는 과정이라고 생각하세요
Get이랑 더 연습하라고 하는 거예요
에이전트 기반 함수를 구축하는 다른 양상으로 연습하는 거죠 같은 프로젝트에서 작업하면서요
우린 뭘 하는지 알고 만족스럽죠 데이터가 있으니 더 큐레이팅할 필요가
없어요
그게 우리가 하려는 일에 동기를 부여해주면 좋겠네요
좋아요, 그럼 지체 없이 환경 변수를 가져오기 실행할게요 익숙한 얼굴 껴안기로
로그인하고요
훈련 데이터를 로드하겠습니다 아까 있던 피클 파일이죠 일을 단순화하기
위해 훈련 데이터를 로드했어요
첫 번째 훈련 데이터 포인트 연료 펌프 모듈을 기억하실 거예요
기억하신다면 프롬프트 호출할 수 있어요
Get Frompts는 훈련에 사용된 익숙한 프롬프트죠
이게 얼마짜리인지 말이에요
가격과 가치가 여기 있네요
네
그동안 크로마 데이터스토어를 만들 거예요
기억하실지 모르겠지만 5주 차에 이 스토어를 만들 때 123개의 문서가 있었어요
제 기억이 맞는다면 123개의 덩어리가 우리 문서에서 빼냈죠 우리가 사용하도록 보장하는 가상
회사의 문서였어요
이번엔 400,000개의 문서가 있는 크로마 데이터스토어를 만들 거예요
많네요
부수지 않을 거예요
당연히 안 해도 되죠
이미 작은 조각이에요
각각의 제품은 각각의 아이템으로 채도에 들어갈 거예요
이 랙 파이프라인에는 랑체인을 쓰지 않을 거예요 직접 만드는
게 더 좋거든요
랑 사슬은 유용한 추상적 개념을 제공하지만 꼭 필요한 건 아니에요
현재 수준에 이르면 그냥 LIms로 작업하면
됩니다. 이런 추상화 계층이 꼭 필요하진 않아요.
그렇게 할 거예요
채도 데이터베이스를 만들 거예요 여기 어디쯤에 호출했죠
그 상표는 아까 뺐을 거예요
지금 당장요
미안해요
여기에 다른 상수 DB = 제품_벡터 스토어를 추가할게요
쓸모 있게 쓰려고 이 공책을 치우다가 너무 많이 치웠어요
철자가 맞는다면 상품이 있어요
벡터 스토어요
됐어요
다시 돌아가죠
잠시 우회한 거죠
그 경로로 크로마 데이터 저장소를 만들 거예요
됐어요
존재하는지는 확인하고 이미 존재한다면 삭제하죠
그건 안 할 거예요
제가 만든 벡터 스토어를 삭제할 거예요
비트를 만드는 데 시간이 좀 걸려요
그렇게 오래는 아니지만요
하지만 직접 운영하게 해드리죠
그래서 새로운 유형의 엠베딩을 사용할 거예요
문장 변압기라는 걸 사용할 거예요
얼굴을 감싸는 유용한 모델로 텍스트 덩어리를 384차원으로 매핑하죠
시맨틱 검색 같은 것에도 이상적이죠
벡터 내장 기능을 만드는 변압기 모델이죠
예전에 랙 파이프라인을 만들 때 오픈AI 엠디딩을 사용했던 걸 기억하시나요?
그래서 이 두 가지를 함께 비교해 보면 서로 껴안는 얼굴 1번은 입체감이
달라요
오픈AI의 삽입 방식만큼 정확하진 않을 거예요
하지만 무료에 빠르고 로컬에서 실행할 수 있죠
마지막 포인트는 아주 중요합니다 왜냐하면 어떤 경우에는 데이터가 박스를 떠나지 않기를
원할 수도 있거든요
예를 들어, 제가 5주 차에 배정했던 프로젝트를 작업하고
있다면 이메일 같은 것으로 개인 랙 데이터베이스를 구축하고 싶을 거예요
안전한 방법이지만 오픈라이로 보내지 않고 직접 보내는 게 나을 수도 있습니다
이렇게 하면 상자에서 꺼내지 않고도 쉽게 전송할 수 있죠
안는 얼굴에서 모델을 로딩해요
이 경고는 무시해도 될 것 같아요 미래에는 뭔가 달라져야 한다는
경고죠
이 모델을 생성하고 나면 Model.in코드를 호출할 수 있어요
텍스트 문서 목록을 제출해요
NFF 배열을 얻게 될 거예요.
첫 번째 것을 뽑고 벡터를 get 할 수 있어요
꽤 빨랐어요
대량으로 사용해도 효과적이죠
이 벡터의 길이를 보면 384차원인 걸 알 수 있어요
일단 출력해서 보죠
거대한 벡터가 될 거예요
저기 있네요
벡터는 어떤 식으로든 숫자로 나타내는데 LM에 따라 다차원적인
반사로 나타나죠
그래서 한번 해 보고 감을 잡아 볼 가치가 있어요
이제 이 유틸리티 메서드 설명을 작성하겠습니다 항목 하나를, 우리 항목 중
하나를 그냥 텍스트 덩어리로 바꾸는 거죠
보여드리기 위해 실행해 볼게요 기억하실지 모르겠지만 첫 번째 트레이닝 포인트
같은 걸 보고 프롬프트를 보면 프롬프트는 이렇게 생겼어요
만약 그것 대신에 해당 항목에 대한 설명을 호출하면 같은 것이 나오지만 앞에 있는 것들 없이
가격 없이요. 그냥 제품에 대한 설명만 있는 거에요.
이제 벡터 데이터 저장소에 Put을 할 거예요
코드를 실행하면 시간이 좀 걸려요
완료될 때쯤엔 벡터 데이터 저장소에 있을 테니 여러분은 준비가 된 거죠
이미 실행했어요 벡터 데이터 저장소가 이미 생성됐죠
왼쪽을 보시면 돼요
지금 하세요
다 끝나면 다음 영상에서 만나요