WEBVTT 00:01.220 --> 00:04.460 우리가 함께한 지 4일째예요 00:04.460 --> 00:06.650 오늘은 중요한 날이에요 00:06.650 --> 00:12.110 오늘 살펴볼 것은 변압기의 발전입니다 이 과정에서 작업하게 될 LMS 대부분 00:12.110 --> 00:14.240 뒤에 자리한 아키텍처죠 00:14.240 --> 00:18.830 부조종사와 에이전트 같은 것에 대해 얘기할 겁니다 가장 중요한 00:18.860 --> 00:25.610 건 LMS의 기본 요소를 다룰 겁니다 토큰, 연락처, windows, 매개변수 API 00:25.610 --> 00:28.040 비용에 대해 작업할 거예요 00:28.070 --> 00:32.240 여러분 중 일부는 이미 익숙한 내용이지만 좀 더 깊이 들어가 통찰력을 00:32.240 --> 00:37.310 보여드리고자 합니다 비트를 통해 시간을 유용하게 쓰실 거예요 00:37.310 --> 00:42.830 그러니 조금만 더 버텨요 처음이라면 이 세계에 대한 좋은 기초가 되길 바라요 00:43.340 --> 00:49.100 하지만 먼저 리더십 대결의 승자를 발표해야겠죠 00:49.130 --> 00:54.590 기억하시길 바랍니다 지난 세션 마지막에 알렉스와 00:54.590 --> 01:01.960 블레이크 대 찰리 GPT 40, 클로드 3, 오푸스 제미니가 대장을 01:02.080 --> 01:04.990 뽑기 위해 싸우고 있었죠 01:05.110 --> 01:06.400 기억하죠? 01:06.430 --> 01:08.830 서로 간결하게 말하죠 01:08.830 --> 01:11.020 이제 결과를 발표하죠 01:11.020 --> 01:15.160 GPT의 알렉스가 첫 번째 투표를 했어요 01:15.310 --> 01:19.870 GPT가 블레이크를 지도자로 뽑았어요 01:19.900 --> 01:23.620 다음은 블레이크의 투표가 있었어요 01:23.620 --> 01:27.250 블레이크는 찰리를 제미니제로 뽑았고요 01:27.280 --> 01:29.290 클로드는 쌍둥이자리에 투표했어요 01:29.320 --> 01:31.030 블레이크는 찰리를 찍었어요 01:31.030 --> 01:34.180 찰리의 표에 모든 게 달렸죠 01:34.210 --> 01:35.200 드럼 소리요 01:35.200 --> 01:35.920 베팅하세요 01:35.920 --> 01:37.810 누가 우승할 것 같은지 결정하세요 01:37.840 --> 01:39.490 이게 우승이에요 01:39.520 --> 01:43.330 찰리는 블레이크를 뽑았고 클로드도 뽑았죠 01:43.360 --> 01:51.040 비과학적이지만 재미있는 도전 과제의 우승자는 오퍼스 블레이크입니다 사진에서 01:51.070 --> 01:54.970 보셨던 기대와 일치하면 좋겠네요 01:55.180 --> 01:57.100 여러분도 해 보세요 01:57.100 --> 02:01.530 말씀드린 대로 몇 달 전에 실행했는데 이제 결과가 달라질 02:01.560 --> 02:02.220 거예요 02:02.850 --> 02:04.920 적어도 다른 사진을 얻을 수 있죠 Get it 02:04.920 --> 02:07.320 그러니 여러분도 한번 해 보세요 02:07.320 --> 02:12.060 제 프롬프트를 복사하거나 다른 걸 시도해서 비트를 만들어 보세요 02:12.060 --> 02:15.600 사실 이걸 토대로 게임을 만들었어요 02:15.600 --> 02:22.020 제 개인 웹페이지 @ed워드에서 확인하세요 아웃스마트라는 게임이 있는데요 02:22.080 --> 02:28.860 다양한 모델을 골라 비교해 양적인 효과를 내려고 했어요 비트를 02:28.860 --> 02:35.940 훔칠 방법을 결정해야 할 때요 다양한 모델의 다양한 기능을 볼 수 02:35.940 --> 02:40.290 있는 재미있는 방법이죠 02:40.290 --> 02:42.300 비트는 나중에 보도록 하죠 02:42.300 --> 02:42.990 두고 보죠 02:43.620 --> 02:44.430 좋아요 02:44.430 --> 02:49.440 자, 그럼 오늘의 주제로 넘어가 보죠 02:49.440 --> 02:54.660 지난 몇 년간의 믿기 힘든 역사에 대해 얘기해 보죠 02:54.660 --> 02:59.690 가끔 제 볼을 꼬집어야 해요 우리가 함께 겪은 모든 일을 떠올리려고요 02:59.690 --> 03:08.240 2017년에 구글의 몇몇 과학자들이 발표한 논문은 관심만 있으면 된다였고 03:08.240 --> 03:10.700 여러분이 볼 수 있었죠 03:10.850 --> 03:16.790 이 종이를 토대로 변압기 구조가 탄생했죠 03:16.820 --> 03:21.050 이 새로운 구조는 자기 집중 계층을 포함해요 03:21.290 --> 03:27.470 이 논문에서 가장 놀라운 점은 발명가들 자신은 03:27.470 --> 03:33.200 이 놀라운 발견을 전혀 몰랐다는 거예요 03:33.230 --> 03:39.650 놀라운 발견인 것처럼 언급했지만 그게 어떤 기회인지 전혀 모르고 03:39.650 --> 03:46.160 있었어요 그 발견으로 얼마나 많은 진전이 있을지도 몰랐고요 03:46.190 --> 03:51.170 사실 이듬해에 GPT 1이 출시됐죠 03:51.290 --> 03:56.020 하지만 그 당시 구글에서 버트를 사용했던 사람들은 달랐죠 03:56.020 --> 03:59.350 2019년 GPT 2가 시작됐죠 03:59.620 --> 04:02.140 GPT 3을 달성할 수 있죠 04:02.170 --> 04:09.340 하지만 2022년 말의 위력을 보고 대부분 충격을 받았어요 04:09.370 --> 04:13.360 챗GPT가 나온 게 11월인가 12월이었나요? 04:13.510 --> 04:21.940 챗GPT는 GPT 3을 의미하지만 3.5나 3도 사용했어요 인간 피드백을 통해 배우는 RL 04:21.970 --> 04:28.060 강화 기술을 사용했는데 아주 강력해졌죠 04:28.630 --> 04:35.590 2023년에 GPT 4가 출시됐고 올해에도 4가 출시됐죠 04:35.620 --> 04:42.580 아, 그리고 지금 보셨듯이 01 프리뷰가 있고 다른 것들도 준비 중이에요 04:43.960 --> 04:48.940 이런 변화에 세계가 어떻게 반응하는지 보는 건 흥미로웠어요 04:48.970 --> 04:54.840 처음에는 챗GPT가 모두에게 충격이었어요 심지어 업계 종사자들도요 04:55.080 --> 05:02.160 정말 놀라웠어요 얼마나 정확하고 뉘앙스가 많은지 질문에 대한 답을 줄 수 있었죠 05:02.160 --> 05:04.620 그에 따른 반발이 있었어요 05:04.620 --> 05:11.700 건전한 회의론이 많았어요 마술과 비슷하다는 사람들의 말에 말이죠 05:11.820 --> 05:16.560 여기 보이는 건 기본적으로 아주 훌륭한 예측 텍스트예요 05:16.560 --> 05:21.930 문자 메시지를 불러와서 다음 단어를 예측하는 버튼을 누르면 05:21.930 --> 05:28.380 정말 잘 나올 때도 있어요 거의 우연이죠 패턴을 통계적으로 일치하거든요 05:28.380 --> 05:30.240 그게 다예요 05:30.240 --> 05:35.940 추계학적 앵무새 논문이라는 유명한 논문이 있어요 그 논문은 05:35.940 --> 05:42.540 우리가 여기서 보는 게 통계에 불과하다는 사실을 강조하죠 우리가 05:42.540 --> 05:48.480 이걸 모델로 잘못 해석하고 있지도 않은 이해를 하고 있다는 걸 05:48.480 --> 05:50.160 시사해요 05:50.160 --> 05:55.850 이 책은 우리가 잘못된 결론을 내리는 데 따른 어려움과 위험을 05:55.850 --> 05:57.380 보여 주죠 05:57.500 --> 06:03.800 하지만 그 이후의 진전을 보면 비트는 약간 흔들렸어요 06:03.800 --> 06:09.770 이 시점에서 우리 의사들은 이를 초현실적 지능으로 설명하고 06:09.770 --> 06:10.670 있어요 06:10.670 --> 06:16.070 우리가 즐겨 쓰는 표현입니다 여기서 일어나는 일은 통계적 06:16.070 --> 06:22.160 예측일 뿐입니다 LM을 실행할 때 우리가 하는 일은 단어 혹은 토큰을 06:22.160 --> 06:27.890 제공하는 것입니다 트레이닝 데이터와 모든 것을 통해 패턴을 06:27.890 --> 06:32.570 보았고 다음 토큰이 무엇인지 가장 유력한 것이 무엇인지를 06:32.570 --> 06:36.770 알려주는 것이죠 06:36.770 --> 06:40.640 그런 다음 그걸 피드하고 그 다음에 가장 가능성이 큰 토큰이 뭔지 말하죠 06:40.640 --> 06:44.000 다음 토큰을 예측하는 게 전부죠 06:44.000 --> 06:45.230 맞아요 06:45.230 --> 06:53.500 하지만 그렇다고 해도 거대한 규모로 작업하면서 모델 내부에서 수조 개의 다른 중량을 설정해 06:53.500 --> 06:58.030 예측을 어떻게 할지 통제하는 부산물이죠 06:58.060 --> 07:05.740 그 정도 수준의 부산물로 발생하는 효과가 있는데 우리는 이를 비상 지능이라고 부릅니다 07:05.740 --> 07:07.570 명백한 지능이죠 07:07.570 --> 07:12.250 모델이 우리가 말하는 걸 정말 이해하는 것 같아요 07:12.280 --> 07:17.590 이해를 모방하는 것이라는 건 물론 사실이에요 07:17.590 --> 07:20.230 패턴을 보고 복제하는 거예요 07:20.230 --> 07:27.340 하지만 이 신흥 속성이 우리가 매일 개척자 모델을 사용할 때 경험하는 수준의 07:27.340 --> 07:30.820 지능을 보여줄 수 있다는 걸 보여주죠 07:31.540 --> 07:31.870 좋아요 07:31.870 --> 07:33.700 잘 생각해 보세요 07:33.730 --> 07:36.640 이번 토론에 대한 당신 입장이 궁금하군요 07:36.670 --> 07:40.690 post를 하시거나 저에게 알려주세요. 07:40.750 --> 07:45.280 다음 강의에서는 이 이론에 대해 더 자세히 이야기해 보죠 07:45.280 --> 07:49.930 그 과정에서 발견한 것들도 살펴볼 거예요