From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
322 lines
8.9 KiB
322 lines
8.9 KiB
WEBVTT |
|
|
|
00:01.220 --> 00:04.460 |
|
우리가 함께한 지 4일째예요 |
|
|
|
00:04.460 --> 00:06.650 |
|
오늘은 중요한 날이에요 |
|
|
|
00:06.650 --> 00:12.110 |
|
오늘 살펴볼 것은 변압기의 발전입니다 이 과정에서 작업하게 될 LMS 대부분 |
|
|
|
00:12.110 --> 00:14.240 |
|
뒤에 자리한 아키텍처죠 |
|
|
|
00:14.240 --> 00:18.830 |
|
부조종사와 에이전트 같은 것에 대해 얘기할 겁니다 가장 중요한 |
|
|
|
00:18.860 --> 00:25.610 |
|
건 LMS의 기본 요소를 다룰 겁니다 토큰, 연락처, windows, 매개변수 API |
|
|
|
00:25.610 --> 00:28.040 |
|
비용에 대해 작업할 거예요 |
|
|
|
00:28.070 --> 00:32.240 |
|
여러분 중 일부는 이미 익숙한 내용이지만 좀 더 깊이 들어가 통찰력을 |
|
|
|
00:32.240 --> 00:37.310 |
|
보여드리고자 합니다 비트를 통해 시간을 유용하게 쓰실 거예요 |
|
|
|
00:37.310 --> 00:42.830 |
|
그러니 조금만 더 버텨요 처음이라면 이 세계에 대한 좋은 기초가 되길 바라요 |
|
|
|
00:43.340 --> 00:49.100 |
|
하지만 먼저 리더십 대결의 승자를 발표해야겠죠 |
|
|
|
00:49.130 --> 00:54.590 |
|
기억하시길 바랍니다 지난 세션 마지막에 알렉스와 |
|
|
|
00:54.590 --> 01:01.960 |
|
블레이크 대 찰리 GPT 40, 클로드 3, 오푸스 제미니가 대장을 |
|
|
|
01:02.080 --> 01:04.990 |
|
뽑기 위해 싸우고 있었죠 |
|
|
|
01:05.110 --> 01:06.400 |
|
기억하죠? |
|
|
|
01:06.430 --> 01:08.830 |
|
서로 간결하게 말하죠 |
|
|
|
01:08.830 --> 01:11.020 |
|
이제 결과를 발표하죠 |
|
|
|
01:11.020 --> 01:15.160 |
|
GPT의 알렉스가 첫 번째 투표를 했어요 |
|
|
|
01:15.310 --> 01:19.870 |
|
GPT가 블레이크를 지도자로 뽑았어요 |
|
|
|
01:19.900 --> 01:23.620 |
|
다음은 블레이크의 투표가 있었어요 |
|
|
|
01:23.620 --> 01:27.250 |
|
블레이크는 찰리를 제미니제로 뽑았고요 |
|
|
|
01:27.280 --> 01:29.290 |
|
클로드는 쌍둥이자리에 투표했어요 |
|
|
|
01:29.320 --> 01:31.030 |
|
블레이크는 찰리를 찍었어요 |
|
|
|
01:31.030 --> 01:34.180 |
|
찰리의 표에 모든 게 달렸죠 |
|
|
|
01:34.210 --> 01:35.200 |
|
드럼 소리요 |
|
|
|
01:35.200 --> 01:35.920 |
|
베팅하세요 |
|
|
|
01:35.920 --> 01:37.810 |
|
누가 우승할 것 같은지 결정하세요 |
|
|
|
01:37.840 --> 01:39.490 |
|
이게 우승이에요 |
|
|
|
01:39.520 --> 01:43.330 |
|
찰리는 블레이크를 뽑았고 클로드도 뽑았죠 |
|
|
|
01:43.360 --> 01:51.040 |
|
비과학적이지만 재미있는 도전 과제의 우승자는 오퍼스 블레이크입니다 사진에서 |
|
|
|
01:51.070 --> 01:54.970 |
|
보셨던 기대와 일치하면 좋겠네요 |
|
|
|
01:55.180 --> 01:57.100 |
|
여러분도 해 보세요 |
|
|
|
01:57.100 --> 02:01.530 |
|
말씀드린 대로 몇 달 전에 실행했는데 이제 결과가 달라질 |
|
|
|
02:01.560 --> 02:02.220 |
|
거예요 |
|
|
|
02:02.850 --> 02:04.920 |
|
적어도 다른 사진을 얻을 수 있죠 Get it |
|
|
|
02:04.920 --> 02:07.320 |
|
그러니 여러분도 한번 해 보세요 |
|
|
|
02:07.320 --> 02:12.060 |
|
제 프롬프트를 복사하거나 다른 걸 시도해서 비트를 만들어 보세요 |
|
|
|
02:12.060 --> 02:15.600 |
|
사실 이걸 토대로 게임을 만들었어요 |
|
|
|
02:15.600 --> 02:22.020 |
|
제 개인 웹페이지 @ed워드에서 확인하세요 아웃스마트라는 게임이 있는데요 |
|
|
|
02:22.080 --> 02:28.860 |
|
다양한 모델을 골라 비교해 양적인 효과를 내려고 했어요 비트를 |
|
|
|
02:28.860 --> 02:35.940 |
|
훔칠 방법을 결정해야 할 때요 다양한 모델의 다양한 기능을 볼 수 |
|
|
|
02:35.940 --> 02:40.290 |
|
있는 재미있는 방법이죠 |
|
|
|
02:40.290 --> 02:42.300 |
|
비트는 나중에 보도록 하죠 |
|
|
|
02:42.300 --> 02:42.990 |
|
두고 보죠 |
|
|
|
02:43.620 --> 02:44.430 |
|
좋아요 |
|
|
|
02:44.430 --> 02:49.440 |
|
자, 그럼 오늘의 주제로 넘어가 보죠 |
|
|
|
02:49.440 --> 02:54.660 |
|
지난 몇 년간의 믿기 힘든 역사에 대해 얘기해 보죠 |
|
|
|
02:54.660 --> 02:59.690 |
|
가끔 제 볼을 꼬집어야 해요 우리가 함께 겪은 모든 일을 떠올리려고요 |
|
|
|
02:59.690 --> 03:08.240 |
|
2017년에 구글의 몇몇 과학자들이 발표한 논문은 관심만 있으면 된다였고 |
|
|
|
03:08.240 --> 03:10.700 |
|
여러분이 볼 수 있었죠 |
|
|
|
03:10.850 --> 03:16.790 |
|
이 종이를 토대로 변압기 구조가 탄생했죠 |
|
|
|
03:16.820 --> 03:21.050 |
|
이 새로운 구조는 자기 집중 계층을 포함해요 |
|
|
|
03:21.290 --> 03:27.470 |
|
이 논문에서 가장 놀라운 점은 발명가들 자신은 |
|
|
|
03:27.470 --> 03:33.200 |
|
이 놀라운 발견을 전혀 몰랐다는 거예요 |
|
|
|
03:33.230 --> 03:39.650 |
|
놀라운 발견인 것처럼 언급했지만 그게 어떤 기회인지 전혀 모르고 |
|
|
|
03:39.650 --> 03:46.160 |
|
있었어요 그 발견으로 얼마나 많은 진전이 있을지도 몰랐고요 |
|
|
|
03:46.190 --> 03:51.170 |
|
사실 이듬해에 GPT 1이 출시됐죠 |
|
|
|
03:51.290 --> 03:56.020 |
|
하지만 그 당시 구글에서 버트를 사용했던 사람들은 달랐죠 |
|
|
|
03:56.020 --> 03:59.350 |
|
2019년 GPT 2가 시작됐죠 |
|
|
|
03:59.620 --> 04:02.140 |
|
GPT 3을 달성할 수 있죠 |
|
|
|
04:02.170 --> 04:09.340 |
|
하지만 2022년 말의 위력을 보고 대부분 충격을 받았어요 |
|
|
|
04:09.370 --> 04:13.360 |
|
챗GPT가 나온 게 11월인가 12월이었나요? |
|
|
|
04:13.510 --> 04:21.940 |
|
챗GPT는 GPT 3을 의미하지만 3.5나 3도 사용했어요 인간 피드백을 통해 배우는 RL |
|
|
|
04:21.970 --> 04:28.060 |
|
강화 기술을 사용했는데 아주 강력해졌죠 |
|
|
|
04:28.630 --> 04:35.590 |
|
2023년에 GPT 4가 출시됐고 올해에도 4가 출시됐죠 |
|
|
|
04:35.620 --> 04:42.580 |
|
아, 그리고 지금 보셨듯이 01 프리뷰가 있고 다른 것들도 준비 중이에요 |
|
|
|
04:43.960 --> 04:48.940 |
|
이런 변화에 세계가 어떻게 반응하는지 보는 건 흥미로웠어요 |
|
|
|
04:48.970 --> 04:54.840 |
|
처음에는 챗GPT가 모두에게 충격이었어요 심지어 업계 종사자들도요 |
|
|
|
04:55.080 --> 05:02.160 |
|
정말 놀라웠어요 얼마나 정확하고 뉘앙스가 많은지 질문에 대한 답을 줄 수 있었죠 |
|
|
|
05:02.160 --> 05:04.620 |
|
그에 따른 반발이 있었어요 |
|
|
|
05:04.620 --> 05:11.700 |
|
건전한 회의론이 많았어요 마술과 비슷하다는 사람들의 말에 말이죠 |
|
|
|
05:11.820 --> 05:16.560 |
|
여기 보이는 건 기본적으로 아주 훌륭한 예측 텍스트예요 |
|
|
|
05:16.560 --> 05:21.930 |
|
문자 메시지를 불러와서 다음 단어를 예측하는 버튼을 누르면 |
|
|
|
05:21.930 --> 05:28.380 |
|
정말 잘 나올 때도 있어요 거의 우연이죠 패턴을 통계적으로 일치하거든요 |
|
|
|
05:28.380 --> 05:30.240 |
|
그게 다예요 |
|
|
|
05:30.240 --> 05:35.940 |
|
추계학적 앵무새 논문이라는 유명한 논문이 있어요 그 논문은 |
|
|
|
05:35.940 --> 05:42.540 |
|
우리가 여기서 보는 게 통계에 불과하다는 사실을 강조하죠 우리가 |
|
|
|
05:42.540 --> 05:48.480 |
|
이걸 모델로 잘못 해석하고 있지도 않은 이해를 하고 있다는 걸 |
|
|
|
05:48.480 --> 05:50.160 |
|
시사해요 |
|
|
|
05:50.160 --> 05:55.850 |
|
이 책은 우리가 잘못된 결론을 내리는 데 따른 어려움과 위험을 |
|
|
|
05:55.850 --> 05:57.380 |
|
보여 주죠 |
|
|
|
05:57.500 --> 06:03.800 |
|
하지만 그 이후의 진전을 보면 비트는 약간 흔들렸어요 |
|
|
|
06:03.800 --> 06:09.770 |
|
이 시점에서 우리 의사들은 이를 초현실적 지능으로 설명하고 |
|
|
|
06:09.770 --> 06:10.670 |
|
있어요 |
|
|
|
06:10.670 --> 06:16.070 |
|
우리가 즐겨 쓰는 표현입니다 여기서 일어나는 일은 통계적 |
|
|
|
06:16.070 --> 06:22.160 |
|
예측일 뿐입니다 LM을 실행할 때 우리가 하는 일은 단어 혹은 토큰을 |
|
|
|
06:22.160 --> 06:27.890 |
|
제공하는 것입니다 트레이닝 데이터와 모든 것을 통해 패턴을 |
|
|
|
06:27.890 --> 06:32.570 |
|
보았고 다음 토큰이 무엇인지 가장 유력한 것이 무엇인지를 |
|
|
|
06:32.570 --> 06:36.770 |
|
알려주는 것이죠 |
|
|
|
06:36.770 --> 06:40.640 |
|
그런 다음 그걸 피드하고 그 다음에 가장 가능성이 큰 토큰이 뭔지 말하죠 |
|
|
|
06:40.640 --> 06:44.000 |
|
다음 토큰을 예측하는 게 전부죠 |
|
|
|
06:44.000 --> 06:45.230 |
|
맞아요 |
|
|
|
06:45.230 --> 06:53.500 |
|
하지만 그렇다고 해도 거대한 규모로 작업하면서 모델 내부에서 수조 개의 다른 중량을 설정해 |
|
|
|
06:53.500 --> 06:58.030 |
|
예측을 어떻게 할지 통제하는 부산물이죠 |
|
|
|
06:58.060 --> 07:05.740 |
|
그 정도 수준의 부산물로 발생하는 효과가 있는데 우리는 이를 비상 지능이라고 부릅니다 |
|
|
|
07:05.740 --> 07:07.570 |
|
명백한 지능이죠 |
|
|
|
07:07.570 --> 07:12.250 |
|
모델이 우리가 말하는 걸 정말 이해하는 것 같아요 |
|
|
|
07:12.280 --> 07:17.590 |
|
이해를 모방하는 것이라는 건 물론 사실이에요 |
|
|
|
07:17.590 --> 07:20.230 |
|
패턴을 보고 복제하는 거예요 |
|
|
|
07:20.230 --> 07:27.340 |
|
하지만 이 신흥 속성이 우리가 매일 개척자 모델을 사용할 때 경험하는 수준의 |
|
|
|
07:27.340 --> 07:30.820 |
|
지능을 보여줄 수 있다는 걸 보여주죠 |
|
|
|
07:31.540 --> 07:31.870 |
|
좋아요 |
|
|
|
07:31.870 --> 07:33.700 |
|
잘 생각해 보세요 |
|
|
|
07:33.730 --> 07:36.640 |
|
이번 토론에 대한 당신 입장이 궁금하군요 |
|
|
|
07:36.670 --> 07:40.690 |
|
post를 하시거나 저에게 알려주세요. |
|
|
|
07:40.750 --> 07:45.280 |
|
다음 강의에서는 이 이론에 대해 더 자세히 이야기해 보죠 |
|
|
|
07:45.280 --> 07:49.930 |
|
그 과정에서 발견한 것들도 살펴볼 거예요
|
|
|