From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
196 lines
5.3 KiB
196 lines
5.3 KiB
WEBVTT |
|
|
|
00:01.040 --> 00:02.930 |
|
오늘의 목적지예요 |
|
|
|
00:02.930 --> 00:04.730 |
|
2번요 공책 한 권요 |
|
|
|
00:04.760 --> 00:07.760 |
|
내가 당신을 위해 아무것도 안 한다고 하지 말아요 |
|
|
|
00:07.760 --> 00:12.920 |
|
보시면 알겠지만, 당신의 즐거움을 위해 위험을 감수했어요 |
|
|
|
00:13.190 --> 00:20.330 |
|
다시 말씀드리지만 잠시 데이터 저장소를 시각화해 볼게요 |
|
|
|
00:20.360 --> 00:23.240 |
|
그러기 위해서는 수입을 해야 해요 |
|
|
|
00:23.600 --> 00:28.580 |
|
그리고 셀이 있는데요 벡터의 시각화에서 보여주고자 하는 데이터 포인트의 |
|
|
|
00:28.580 --> 00:31.130 |
|
최대 개수를 선택하는 곳이죠 |
|
|
|
00:31.130 --> 00:35.240 |
|
저는 10,000개를 추천합니다 그게 안전한 숫자죠 |
|
|
|
00:35.240 --> 00:40.580 |
|
이미지도 좋고 기계도 멈추지 않을 거예요. Get it. |
|
|
|
00:40.580 --> 00:42.650 |
|
하지만 그건 재미없잖아요 |
|
|
|
00:42.650 --> 00:49.760 |
|
400,000개의 데이터 포인트를 모두 모으면 어떻게 되는지 보여드리고 싶었는데 불안정하고 제 기계가 |
|
|
|
00:49.760 --> 00:54.290 |
|
위험한 상황에 처하게 돼요 언제라도 충돌할 수 있죠 Get up |
|
|
|
00:54.290 --> 00:59.360 |
|
이걸 준비하면서 제 기계가 몇 번 고장 났는데 이 주피터 노트북으로 다시 |
|
|
|
00:59.360 --> 01:04.910 |
|
시작해야 했어요 그러니 아주 강력한 기계가 아닌 이상 이걸 하지 마세요 |
|
|
|
01:05.240 --> 01:11.550 |
|
코드 안에서 우리는 벡터 데이터베이스에 연결돼요 |
|
|
|
01:11.850 --> 01:17.730 |
|
코드가 있어요 래그 주간에서 이미 한 걸 복사한 거죠 |
|
|
|
01:17.790 --> 01:26.100 |
|
벡터 데이터 수집을 위한 사전 작업을 할 때 개체 자체와 문서 메타데이터의 |
|
|
|
01:26.100 --> 01:32.850 |
|
카테고리를 저장하고 적절한 색깔을 골라 여러 점을 식별할 |
|
|
|
01:32.850 --> 01:36.120 |
|
수 있게 했죠 |
|
|
|
01:36.120 --> 01:42.630 |
|
이걸 보여드릴 때 기억하셔야 할 아주 중요한 건 벡터화 프로세스, 각각의 문서에 |
|
|
|
01:42.630 --> 01:49.290 |
|
대해 어떤 벡터를 사용할지를 결정하는 프로세스는 순전히 문서 그 자체의 설명에 |
|
|
|
01:49.290 --> 01:51.570 |
|
근거했다는 거죠 |
|
|
|
01:51.570 --> 01:58.680 |
|
각 제품 설명의 언어를 바탕으로 400,000개의 제품을 전부 추출했어요 |
|
|
|
01:58.680 --> 02:04.590 |
|
어떤 게 전자 기기인지 자동차에 달린 건지 어떤 게 전자 기기인지 |
|
|
|
02:04.590 --> 02:05.820 |
|
알 수 있죠 |
|
|
|
02:05.820 --> 02:10.740 |
|
모델은 벡터를 구축하는 모델이 텍스트를 받는다는 걸 몰라요 |
|
|
|
02:10.740 --> 02:14.640 |
|
그래서 볼 수 있게 색칠하는 게 도움이 되죠 |
|
|
|
02:14.670 --> 02:15.030 |
|
좋아요 |
|
|
|
02:15.030 --> 02:17.370 |
|
이게 모든 벡터의 풍경이에요 |
|
|
|
02:17.610 --> 02:18.660 |
|
유행이 있나요? |
|
|
|
02:18.660 --> 02:24.740 |
|
모델이 언어를 통해서 거기 있는 다른 종류의 것들을 분리할 |
|
|
|
02:24.740 --> 02:26.750 |
|
수 있었나요? |
|
|
|
02:26.750 --> 02:33.080 |
|
하지만 이런 종류의 카테고리는 벡터화 된 텍스트의 일부가 아니에요 |
|
|
|
02:33.140 --> 02:33.890 |
|
네 |
|
|
|
02:33.890 --> 02:40.610 |
|
어쨌든 이제 t-SNE 즉, 치수 감소 과정을 거치고 있어요 제 기계에 |
|
|
|
02:40.610 --> 02:42.620 |
|
한 시간 정도 걸렸죠 |
|
|
|
02:42.800 --> 02:47.690 |
|
400,000시간이면 5분 정도 걸릴 거예요 10,000시간요 |
|
|
|
02:47.810 --> 02:52.160 |
|
그럼 전처럼 분산도를 만들 수 있어요 |
|
|
|
02:52.220 --> 02:55.010 |
|
그러면 분산도를 그릴 수 있어요 |
|
|
|
02:55.010 --> 02:57.560 |
|
이제 어떻게 생겼는지 보여드릴게요 |
|
|
|
02:59.150 --> 03:02.900 |
|
제 컴퓨터로 하는 건 정말 느려요 |
|
|
|
03:02.900 --> 03:09.470 |
|
여기 이 아름다운 것은 모든 벡터를 관찰한 결과예요 |
|
|
|
03:09.560 --> 03:13.970 |
|
비트를 좀 줄여 볼게요 |
|
|
|
03:14.390 --> 03:16.820 |
|
기계가 아주 느리게 돌아가요 |
|
|
|
03:17.030 --> 03:23.870 |
|
400,000마리의 벡터를 통해 벡터 공간을 느낄 수 있어요. Get it. |
|
|
|
03:23.870 --> 03:24.350 |
|
시작할게요 |
|
|
|
03:24.380 --> 03:26.660 |
|
이제 보이네요 |
|
|
|
03:27.510 --> 03:31.920 |
|
중요한 건 이거예요 |
|
|
|
03:31.920 --> 03:33.600 |
|
네, 맞아요 |
|
|
|
03:33.630 --> 03:35.070 |
|
저기 가네요 |
|
|
|
03:35.100 --> 03:36.270 |
|
고통스러울 정도로 느려요 |
|
|
|
03:36.300 --> 03:37.680 |
|
네, 맞아요 |
|
|
|
03:37.680 --> 03:44.580 |
|
다른 제품들은 대부분 다른 지역에서 벡터 공간에 놓이게 됩니다 |
|
|
|
03:44.580 --> 03:48.540 |
|
서로 가까운 클러스터들에서요 |
|
|
|
03:48.540 --> 03:53.250 |
|
더 적은 수의 가전제품이 있다면 다른 것들을 살펴보고 |
|
|
|
03:53.250 --> 03:59.820 |
|
스스로 만족할 수 있습니다. 잠재적으로 다른 영역에 있는 이유는 가전제품과 |
|
|
|
03:59.820 --> 04:04.770 |
|
전자 제품과 양쪽에 걸쳐 있기 때문일 수도 있어요. |
|
|
|
04:05.100 --> 04:12.510 |
|
데이터를 보고 조사하고 이해할 기회를 위한 거예요 문서와 관련된 벡터를 |
|
|
|
04:12.510 --> 04:18.750 |
|
생성하고 저장하는 것이 어떤 의미인지 직관적인 것을 좀 더 |
|
|
|
04:18.750 --> 04:21.750 |
|
보여주기 위해서요 |
|
|
|
04:21.810 --> 04:25.380 |
|
그래서 눈에 보이는 감각을 손으로 만질 수 있어요 |
|
|
|
04:25.440 --> 04:30.870 |
|
즐겁게 감상하시길 바라요 제 상자를 부술 뻔했는데도 가치가 있었길 바라요 |
|
|
|
04:30.990 --> 04:33.540 |
|
더 적은 숫자로도 가능하길 바라요 |
|
|
|
04:33.540 --> 04:38.070 |
|
다음 시간에 3D로 보여드릴 테니 기대하세요
|
|
|