You can not select more than 25 topics Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
 
 

322 lines
8.9 KiB

WEBVTT
00:01.220 --> 00:04.460
우리가 함께한 지 4일째예요
00:04.460 --> 00:06.650
오늘은 중요한 날이에요
00:06.650 --> 00:12.110
오늘 살펴볼 것은 변압기의 발전입니다 이 과정에서 작업하게 될 LMS 대부분
00:12.110 --> 00:14.240
뒤에 자리한 아키텍처죠
00:14.240 --> 00:18.830
부조종사와 에이전트 같은 것에 대해 얘기할 겁니다 가장 중요한
00:18.860 --> 00:25.610
건 LMS의 기본 요소를 다룰 겁니다 토큰, 연락처, windows, 매개변수 API
00:25.610 --> 00:28.040
비용에 대해 작업할 거예요
00:28.070 --> 00:32.240
여러분 중 일부는 이미 익숙한 내용이지만 좀 더 깊이 들어가 통찰력을
00:32.240 --> 00:37.310
보여드리고자 합니다 비트를 통해 시간을 유용하게 쓰실 거예요
00:37.310 --> 00:42.830
그러니 조금만 더 버텨요 처음이라면 이 세계에 대한 좋은 기초가 되길 바라요
00:43.340 --> 00:49.100
하지만 먼저 리더십 대결의 승자를 발표해야겠죠
00:49.130 --> 00:54.590
기억하시길 바랍니다 지난 세션 마지막에 알렉스와
00:54.590 --> 01:01.960
블레이크 대 찰리 GPT 40, 클로드 3, 오푸스 제미니가 대장을
01:02.080 --> 01:04.990
뽑기 위해 싸우고 있었죠
01:05.110 --> 01:06.400
기억하죠?
01:06.430 --> 01:08.830
서로 간결하게 말하죠
01:08.830 --> 01:11.020
이제 결과를 발표하죠
01:11.020 --> 01:15.160
GPT의 알렉스가 첫 번째 투표를 했어요
01:15.310 --> 01:19.870
GPT가 블레이크를 지도자로 뽑았어요
01:19.900 --> 01:23.620
다음은 블레이크의 투표가 있었어요
01:23.620 --> 01:27.250
블레이크는 찰리를 제미니제로 뽑았고요
01:27.280 --> 01:29.290
클로드는 쌍둥이자리에 투표했어요
01:29.320 --> 01:31.030
블레이크는 찰리를 찍었어요
01:31.030 --> 01:34.180
찰리의 표에 모든 게 달렸죠
01:34.210 --> 01:35.200
드럼 소리요
01:35.200 --> 01:35.920
베팅하세요
01:35.920 --> 01:37.810
누가 우승할 것 같은지 결정하세요
01:37.840 --> 01:39.490
이게 우승이에요
01:39.520 --> 01:43.330
찰리는 블레이크를 뽑았고 클로드도 뽑았죠
01:43.360 --> 01:51.040
비과학적이지만 재미있는 도전 과제의 우승자는 오퍼스 블레이크입니다 사진에서
01:51.070 --> 01:54.970
보셨던 기대와 일치하면 좋겠네요
01:55.180 --> 01:57.100
여러분도 해 보세요
01:57.100 --> 02:01.530
말씀드린 대로 몇 달 전에 실행했는데 이제 결과가 달라질
02:01.560 --> 02:02.220
거예요
02:02.850 --> 02:04.920
적어도 다른 사진을 얻을 수 있죠 Get it
02:04.920 --> 02:07.320
그러니 여러분도 한번 해 보세요
02:07.320 --> 02:12.060
제 프롬프트를 복사하거나 다른 걸 시도해서 비트를 만들어 보세요
02:12.060 --> 02:15.600
사실 이걸 토대로 게임을 만들었어요
02:15.600 --> 02:22.020
제 개인 웹페이지 @ed워드에서 확인하세요 아웃스마트라는 게임이 있는데요
02:22.080 --> 02:28.860
다양한 모델을 골라 비교해 양적인 효과를 내려고 했어요 비트를
02:28.860 --> 02:35.940
훔칠 방법을 결정해야 할 때요 다양한 모델의 다양한 기능을 볼 수
02:35.940 --> 02:40.290
있는 재미있는 방법이죠
02:40.290 --> 02:42.300
비트는 나중에 보도록 하죠
02:42.300 --> 02:42.990
두고 보죠
02:43.620 --> 02:44.430
좋아요
02:44.430 --> 02:49.440
자, 그럼 오늘의 주제로 넘어가 보죠
02:49.440 --> 02:54.660
지난 몇 년간의 믿기 힘든 역사에 대해 얘기해 보죠
02:54.660 --> 02:59.690
가끔 제 볼을 꼬집어야 해요 우리가 함께 겪은 모든 일을 떠올리려고요
02:59.690 --> 03:08.240
2017년에 구글의 몇몇 과학자들이 발표한 논문은 관심만 있으면 된다였고
03:08.240 --> 03:10.700
여러분이 볼 수 있었죠
03:10.850 --> 03:16.790
이 종이를 토대로 변압기 구조가 탄생했죠
03:16.820 --> 03:21.050
이 새로운 구조는 자기 집중 계층을 포함해요
03:21.290 --> 03:27.470
이 논문에서 가장 놀라운 점은 발명가들 자신은
03:27.470 --> 03:33.200
이 놀라운 발견을 전혀 몰랐다는 거예요
03:33.230 --> 03:39.650
놀라운 발견인 것처럼 언급했지만 그게 어떤 기회인지 전혀 모르고
03:39.650 --> 03:46.160
있었어요 그 발견으로 얼마나 많은 진전이 있을지도 몰랐고요
03:46.190 --> 03:51.170
사실 이듬해에 GPT 1이 출시됐죠
03:51.290 --> 03:56.020
하지만 그 당시 구글에서 버트를 사용했던 사람들은 달랐죠
03:56.020 --> 03:59.350
2019년 GPT 2가 시작됐죠
03:59.620 --> 04:02.140
GPT 3을 달성할 수 있죠
04:02.170 --> 04:09.340
하지만 2022년 말의 위력을 보고 대부분 충격을 받았어요
04:09.370 --> 04:13.360
챗GPT가 나온 게 11월인가 12월이었나요?
04:13.510 --> 04:21.940
챗GPT는 GPT 3을 의미하지만 3.5나 3도 사용했어요 인간 피드백을 통해 배우는 RL
04:21.970 --> 04:28.060
강화 기술을 사용했는데 아주 강력해졌죠
04:28.630 --> 04:35.590
2023년에 GPT 4가 출시됐고 올해에도 4가 출시됐죠
04:35.620 --> 04:42.580
아, 그리고 지금 보셨듯이 01 프리뷰가 있고 다른 것들도 준비 중이에요
04:43.960 --> 04:48.940
이런 변화에 세계가 어떻게 반응하는지 보는 건 흥미로웠어요
04:48.970 --> 04:54.840
처음에는 챗GPT가 모두에게 충격이었어요 심지어 업계 종사자들도요
04:55.080 --> 05:02.160
정말 놀라웠어요 얼마나 정확하고 뉘앙스가 많은지 질문에 대한 답을 줄 수 있었죠
05:02.160 --> 05:04.620
그에 따른 반발이 있었어요
05:04.620 --> 05:11.700
건전한 회의론이 많았어요 마술과 비슷하다는 사람들의 말에 말이죠
05:11.820 --> 05:16.560
여기 보이는 건 기본적으로 아주 훌륭한 예측 텍스트예요
05:16.560 --> 05:21.930
문자 메시지를 불러와서 다음 단어를 예측하는 버튼을 누르면
05:21.930 --> 05:28.380
정말 잘 나올 때도 있어요 거의 우연이죠 패턴을 통계적으로 일치하거든요
05:28.380 --> 05:30.240
그게 다예요
05:30.240 --> 05:35.940
추계학적 앵무새 논문이라는 유명한 논문이 있어요 그 논문은
05:35.940 --> 05:42.540
우리가 여기서 보는 게 통계에 불과하다는 사실을 강조하죠 우리가
05:42.540 --> 05:48.480
이걸 모델로 잘못 해석하고 있지도 않은 이해를 하고 있다는 걸
05:48.480 --> 05:50.160
시사해요
05:50.160 --> 05:55.850
이 책은 우리가 잘못된 결론을 내리는 데 따른 어려움과 위험을
05:55.850 --> 05:57.380
보여 주죠
05:57.500 --> 06:03.800
하지만 그 이후의 진전을 보면 비트는 약간 흔들렸어요
06:03.800 --> 06:09.770
이 시점에서 우리 의사들은 이를 초현실적 지능으로 설명하고
06:09.770 --> 06:10.670
있어요
06:10.670 --> 06:16.070
우리가 즐겨 쓰는 표현입니다 여기서 일어나는 일은 통계적
06:16.070 --> 06:22.160
예측일 뿐입니다 LM을 실행할 때 우리가 하는 일은 단어 혹은 토큰을
06:22.160 --> 06:27.890
제공하는 것입니다 트레이닝 데이터와 모든 것을 통해 패턴을
06:27.890 --> 06:32.570
보았고 다음 토큰이 무엇인지 가장 유력한 것이 무엇인지를
06:32.570 --> 06:36.770
알려주는 것이죠
06:36.770 --> 06:40.640
그런 다음 그걸 피드하고 그 다음에 가장 가능성이 큰 토큰이 뭔지 말하죠
06:40.640 --> 06:44.000
다음 토큰을 예측하는 게 전부죠
06:44.000 --> 06:45.230
맞아요
06:45.230 --> 06:53.500
하지만 그렇다고 해도 거대한 규모로 작업하면서 모델 내부에서 수조 개의 다른 중량을 설정해
06:53.500 --> 06:58.030
예측을 어떻게 할지 통제하는 부산물이죠
06:58.060 --> 07:05.740
그 정도 수준의 부산물로 발생하는 효과가 있는데 우리는 이를 비상 지능이라고 부릅니다
07:05.740 --> 07:07.570
명백한 지능이죠
07:07.570 --> 07:12.250
모델이 우리가 말하는 걸 정말 이해하는 것 같아요
07:12.280 --> 07:17.590
이해를 모방하는 것이라는 건 물론 사실이에요
07:17.590 --> 07:20.230
패턴을 보고 복제하는 거예요
07:20.230 --> 07:27.340
하지만 이 신흥 속성이 우리가 매일 개척자 모델을 사용할 때 경험하는 수준의
07:27.340 --> 07:30.820
지능을 보여줄 수 있다는 걸 보여주죠
07:31.540 --> 07:31.870
좋아요
07:31.870 --> 07:33.700
잘 생각해 보세요
07:33.730 --> 07:36.640
이번 토론에 대한 당신 입장이 궁금하군요
07:36.670 --> 07:40.690
post를 하시거나 저에게 알려주세요.
07:40.750 --> 07:45.280
다음 강의에서는 이 이론에 대해 더 자세히 이야기해 보죠
07:45.280 --> 07:49.930
그 과정에서 발견한 것들도 살펴볼 거예요