오늘의 목적지예요
2번요 공책 한 권요
내가 당신을 위해 아무것도 안 한다고 하지 말아요
보시면 알겠지만, 당신의 즐거움을 위해 위험을 감수했어요
다시 말씀드리지만 잠시 데이터 저장소를 시각화해 볼게요
그러기 위해서는 수입을 해야 해요
그리고 셀이 있는데요 벡터의 시각화에서 보여주고자 하는 데이터 포인트의
최대 개수를 선택하는 곳이죠
저는 10,000개를 추천합니다 그게 안전한 숫자죠
이미지도 좋고 기계도 멈추지 않을 거예요. Get it.
하지만 그건 재미없잖아요
400,000개의 데이터 포인트를 모두 모으면 어떻게 되는지 보여드리고 싶었는데 불안정하고 제 기계가
위험한 상황에 처하게 돼요 언제라도 충돌할 수 있죠 Get up
이걸 준비하면서 제 기계가 몇 번 고장 났는데 이 주피터 노트북으로 다시
시작해야 했어요 그러니 아주 강력한 기계가 아닌 이상 이걸 하지 마세요
코드 안에서 우리는 벡터 데이터베이스에 연결돼요
코드가 있어요 래그 주간에서 이미 한 걸 복사한 거죠
벡터 데이터 수집을 위한 사전 작업을 할 때 개체 자체와 문서 메타데이터의
카테고리를 저장하고 적절한 색깔을 골라 여러 점을 식별할
수 있게 했죠
이걸 보여드릴 때 기억하셔야 할 아주 중요한 건 벡터화 프로세스, 각각의 문서에
대해 어떤 벡터를 사용할지를 결정하는 프로세스는 순전히 문서 그 자체의 설명에
근거했다는 거죠
각 제품 설명의 언어를 바탕으로 400,000개의 제품을 전부 추출했어요
어떤 게 전자 기기인지 자동차에 달린 건지 어떤 게 전자 기기인지
알 수 있죠
모델은 벡터를 구축하는 모델이 텍스트를 받는다는 걸 몰라요
그래서 볼 수 있게 색칠하는 게 도움이 되죠
좋아요
이게 모든 벡터의 풍경이에요
유행이 있나요?
모델이 언어를 통해서 거기 있는 다른 종류의 것들을 분리할
수 있었나요?
하지만 이런 종류의 카테고리는 벡터화 된 텍스트의 일부가 아니에요
네
어쨌든 이제 t-SNE 즉, 치수 감소 과정을 거치고 있어요 제 기계에
한 시간 정도 걸렸죠
400,000시간이면 5분 정도 걸릴 거예요 10,000시간요
그럼 전처럼 분산도를 만들 수 있어요
그러면 분산도를 그릴 수 있어요
이제 어떻게 생겼는지 보여드릴게요
제 컴퓨터로 하는 건 정말 느려요
여기 이 아름다운 것은 모든 벡터를 관찰한 결과예요
비트를 좀 줄여 볼게요
기계가 아주 느리게 돌아가요
400,000마리의 벡터를 통해 벡터 공간을 느낄 수 있어요. Get it.
시작할게요
이제 보이네요
중요한 건 이거예요
네, 맞아요
저기 가네요
고통스러울 정도로 느려요
네, 맞아요
다른 제품들은 대부분 다른 지역에서 벡터 공간에 놓이게 됩니다
서로 가까운 클러스터들에서요
더 적은 수의 가전제품이 있다면 다른 것들을 살펴보고
스스로 만족할 수 있습니다. 잠재적으로 다른 영역에 있는 이유는 가전제품과
전자 제품과 양쪽에 걸쳐 있기 때문일 수도 있어요.
데이터를 보고 조사하고 이해할 기회를 위한 거예요 문서와 관련된 벡터를
생성하고 저장하는 것이 어떤 의미인지 직관적인 것을 좀 더
보여주기 위해서요
그래서 눈에 보이는 감각을 손으로 만질 수 있어요
즐겁게 감상하시길 바라요 제 상자를 부술 뻔했는데도 가치가 있었길 바라요
더 적은 숫자로도 가능하길 바라요
다음 시간에 3D로 보여드릴 테니 기대하세요