LM 엔지니어링으로 다시 오신 걸 환영합니다 벡터와 만나는 날이죠
벡터 얘기를 너무 오래 했네요
오늘은 실제로 갖고 놀 거예요 get it get it
곧 주피터 연구소에 가서 그 덩어리를 만들 거예요
오픈AI 엠베딩을 이용해 텍스트 덩어리로부터 벡터를 생성합니다 앞서 말씀드린 인코딩
모델이죠
유명한 오픈 소스 벡터 데이터베이스에 벡터들을 저장할 겁니다 크로마라고 하죠
그런 다음 벡터들이 뭘 나타내는지를 시각화하는 거죠 get it
벡터를 계속 갖고 노는 연습이 될 거예요
벡터에 여러분만의 것을 입력해 보세요 텍스트를 숫자로 바꾸어 의미를 갖는다는 게 어떤
것인지 더 나은 감각을 갖게 될 거예요 Get it
잠시 이런 다양한 모델 유형에 관해 얘기할게요
텍스트를 벡터로 바꾸는 방법이요
우선 아주 간단한 방법이 있어요
예를 들어 어휘를 생각해 보라고 하는 거죠
가능한 단어를 하나씩 생각해 봐요
여러분이 아는 단어 중 첫 번째가 개고 두 번째가
고양이예요
텍스트 블록을 하나 골라서 그 안에 있는 특정 단어의 횟수를
세는 거예요
예를 들어 dog라는 단어가 두 번 들어갔다면 첫 번째 장소에 2를
넣고 캣은 한 번 넣어요
그런 다음 해당 위치에 Put을 하는 거죠
특정 유형의 단어 수를 세서 벡터로 입력하는 거죠
아주 단순하죠
단어가 배치된 순서를 반영하지 못해요 같은 단어인 Java가 커피콩이나
프로그래밍 언어를 참조할 수 없다는 사실도요
단어 개수만 세면 돼요
그러니 좀 단순하죠
다행히 더 진보된 방법이 있죠
주목을 받은 것 중 하나는 2013년에 워드 2벡이라는 것이 등장했을
때입니다 심층 신경망을 이용해 단어를 벡터로 변환할 수 있었죠 그 의미를 반영하는 방식으로요
우리는 단어 2개를 통해 이런 얘기를 하기 시작했어요 킹에서 남자를 빼면
여자가 퀸이 되죠
버트는 제가 전에 말했던 모델이에요
이건 변압기 모델로 구글이 논문을 발표한 직후에 만든 부호화 모델입니다 트랜스포머
발명이었죠
우리가 사용할 OpenAI 엠디딩은 OpenAI에서 온 거예요
가장 최근 버전은 2024년의 업데이트예요
텍스트를 숫자 벡터로 변환하는 데 사용할 수 있는 가장
최신의 가장 훌륭한 모델이죠
그럼 이제 채도에 대해 빠르게 이야기해 보고 다시 보도록 하죠. Get in the Cream
채도는 벡터 데이터 저장소의 한 예인데요
꽤 많이 있고, 메인 데이터베이스도 벡터를 찾고 검색하는
것을 지원하죠
많은 사람들이 NoSQL 데이터 스토어로 사용하는 몽고DB의 예는 벡터를 취하고 벡터 데이터베이스로
작용할 수 있어요
크로머는 무엇보다도 벡터 데이터베이스였어요
이게 그 웹사이트예요
보시다시피 옛날 맥 인터페이스보다 사진이 더 잘 나와요
I 응용 프로그램에서 쿼리를 할 수 있고 여러 벡터에서 데이터를 검색할
수 있고 그 데이터를 입력한 프롬프트와 큐리에 넣는 거죠.
저번에 보여드린 다이어그램의 좀 더 화려한 버전이에요
이쪽은 크로머예요
벡터를 저장하기 위해 사용할 것들이죠
잡담은 충분히 한 것 같네요
JupyterLab을 get 할 때입니다 벡터를 먼저 사용할 때죠
거기서 봐요