우리가 함께한 지 4일째예요
오늘은 중요한 날이에요
오늘 살펴볼 것은 변압기의 발전입니다 이 과정에서 작업하게 될 LMS 대부분
뒤에 자리한 아키텍처죠
부조종사와 에이전트 같은 것에 대해 얘기할 겁니다 가장 중요한
건 LMS의 기본 요소를 다룰 겁니다 토큰, 연락처, windows, 매개변수 API
비용에 대해 작업할 거예요
여러분 중 일부는 이미 익숙한 내용이지만 좀 더 깊이 들어가 통찰력을
보여드리고자 합니다 비트를 통해 시간을 유용하게 쓰실 거예요
그러니 조금만 더 버텨요 처음이라면 이 세계에 대한 좋은 기초가 되길 바라요
하지만 먼저 리더십 대결의 승자를 발표해야겠죠
기억하시길 바랍니다 지난 세션 마지막에 알렉스와
블레이크 대 찰리 GPT 40, 클로드 3, 오푸스 제미니가 대장을
뽑기 위해 싸우고 있었죠
기억하죠?
서로 간결하게 말하죠
이제 결과를 발표하죠
GPT의 알렉스가 첫 번째 투표를 했어요
GPT가 블레이크를 지도자로 뽑았어요
다음은 블레이크의 투표가 있었어요
블레이크는 찰리를 제미니제로 뽑았고요
클로드는 쌍둥이자리에 투표했어요
블레이크는 찰리를 찍었어요
찰리의 표에 모든 게 달렸죠
드럼 소리요
베팅하세요
누가 우승할 것 같은지 결정하세요
이게 우승이에요
찰리는 블레이크를 뽑았고 클로드도 뽑았죠
비과학적이지만 재미있는 도전 과제의 우승자는 오퍼스 블레이크입니다 사진에서
보셨던 기대와 일치하면 좋겠네요
여러분도 해 보세요
말씀드린 대로 몇 달 전에 실행했는데 이제 결과가 달라질
거예요
적어도 다른 사진을 얻을 수 있죠 Get it
그러니 여러분도 한번 해 보세요
제 프롬프트를 복사하거나 다른 걸 시도해서 비트를 만들어 보세요
사실 이걸 토대로 게임을 만들었어요
제 개인 웹페이지 @ed워드에서 확인하세요 아웃스마트라는 게임이 있는데요
다양한 모델을 골라 비교해 양적인 효과를 내려고 했어요 비트를
훔칠 방법을 결정해야 할 때요 다양한 모델의 다양한 기능을 볼 수
있는 재미있는 방법이죠
비트는 나중에 보도록 하죠
두고 보죠
좋아요
자, 그럼 오늘의 주제로 넘어가 보죠
지난 몇 년간의 믿기 힘든 역사에 대해 얘기해 보죠
가끔 제 볼을 꼬집어야 해요 우리가 함께 겪은 모든 일을 떠올리려고요
2017년에 구글의 몇몇 과학자들이 발표한 논문은 관심만 있으면 된다였고
여러분이 볼 수 있었죠
이 종이를 토대로 변압기 구조가 탄생했죠
이 새로운 구조는 자기 집중 계층을 포함해요
이 논문에서 가장 놀라운 점은 발명가들 자신은
이 놀라운 발견을 전혀 몰랐다는 거예요
놀라운 발견인 것처럼 언급했지만 그게 어떤 기회인지 전혀 모르고
있었어요 그 발견으로 얼마나 많은 진전이 있을지도 몰랐고요
사실 이듬해에 GPT 1이 출시됐죠
하지만 그 당시 구글에서 버트를 사용했던 사람들은 달랐죠
2019년 GPT 2가 시작됐죠
GPT 3을 달성할 수 있죠
하지만 2022년 말의 위력을 보고 대부분 충격을 받았어요
챗GPT가 나온 게 11월인가 12월이었나요?
챗GPT는 GPT 3을 의미하지만 3.5나 3도 사용했어요 인간 피드백을 통해 배우는 RL
강화 기술을 사용했는데 아주 강력해졌죠
2023년에 GPT 4가 출시됐고 올해에도 4가 출시됐죠
아, 그리고 지금 보셨듯이 01 프리뷰가 있고 다른 것들도 준비 중이에요
이런 변화에 세계가 어떻게 반응하는지 보는 건 흥미로웠어요
처음에는 챗GPT가 모두에게 충격이었어요 심지어 업계 종사자들도요
정말 놀라웠어요 얼마나 정확하고 뉘앙스가 많은지 질문에 대한 답을 줄 수 있었죠
그에 따른 반발이 있었어요
건전한 회의론이 많았어요 마술과 비슷하다는 사람들의 말에 말이죠
여기 보이는 건 기본적으로 아주 훌륭한 예측 텍스트예요
문자 메시지를 불러와서 다음 단어를 예측하는 버튼을 누르면
정말 잘 나올 때도 있어요 거의 우연이죠 패턴을 통계적으로 일치하거든요
그게 다예요
추계학적 앵무새 논문이라는 유명한 논문이 있어요 그 논문은
우리가 여기서 보는 게 통계에 불과하다는 사실을 강조하죠 우리가
이걸 모델로 잘못 해석하고 있지도 않은 이해를 하고 있다는 걸
시사해요
이 책은 우리가 잘못된 결론을 내리는 데 따른 어려움과 위험을
보여 주죠
하지만 그 이후의 진전을 보면 비트는 약간 흔들렸어요
이 시점에서 우리 의사들은 이를 초현실적 지능으로 설명하고
있어요
우리가 즐겨 쓰는 표현입니다 여기서 일어나는 일은 통계적
예측일 뿐입니다 LM을 실행할 때 우리가 하는 일은 단어 혹은 토큰을
제공하는 것입니다 트레이닝 데이터와 모든 것을 통해 패턴을
보았고 다음 토큰이 무엇인지 가장 유력한 것이 무엇인지를
알려주는 것이죠
그런 다음 그걸 피드하고 그 다음에 가장 가능성이 큰 토큰이 뭔지 말하죠
다음 토큰을 예측하는 게 전부죠
맞아요
하지만 그렇다고 해도 거대한 규모로 작업하면서 모델 내부에서 수조 개의 다른 중량을 설정해
예측을 어떻게 할지 통제하는 부산물이죠
그 정도 수준의 부산물로 발생하는 효과가 있는데 우리는 이를 비상 지능이라고 부릅니다
명백한 지능이죠
모델이 우리가 말하는 걸 정말 이해하는 것 같아요
이해를 모방하는 것이라는 건 물론 사실이에요
패턴을 보고 복제하는 거예요
하지만 이 신흥 속성이 우리가 매일 개척자 모델을 사용할 때 경험하는 수준의
지능을 보여줄 수 있다는 걸 보여주죠
좋아요
잘 생각해 보세요
이번 토론에 대한 당신 입장이 궁금하군요
post를 하시거나 저에게 알려주세요.
다음 강의에서는 이 이론에 대해 더 자세히 이야기해 보죠
그 과정에서 발견한 것들도 살펴볼 거예요