사후 조사를 하기 전에 순위표부터 간단히 살펴보죠
기억하실 거예요 평균에 기반해 지속 실행을 했을 때 오류가 있었죠 평균 예측
차이가 146였어요
전통적인 머신 러닝 때는 139까지 올라갔어요
랜덤 숲은 97이었어요
참가자 중 특히 한 명은 이름을 밝힐 수 없어요 127달러였죠 GPT 4라고 불리는 미니였는데 처음
실행했을 때 80달러였던 것 같아요
GPT 4는 76이었고 방금 나온 건 91이었어요
아까도 말했지만 이전 주행에서 개선된 점이 있지만 이유가
뭐든 어쩔 수 없죠
결과를 조작할 순 없어요
안타깝게도 우리가 가장 집중하는 사업 지표가 약간 부족합니다 세밀
조정이 잘못된 방향으로 이뤄진 것 같아요
그 얘길 해보죠
정신이 번쩍 드는 순간이었어요 여정에서 중요한 걸 배웠죠
시간이 좀 걸리네요
잠시 생각을 해봐야겠어요 개척지 모델을 세밀하게 조정하는 목표가
뭘까요?
미세 튜닝을 자주 사용하는데 매개 변수가 적은 오픈 소스 모델을 선택해 프런티어
모델에 대적할 수 있도록 데이터 세트에서 훈련할 거예요
하지만 수조 개의 매개 변수가 이미 있고 방대한 데이터 세트를 위해 훈련된
개척자 모델이 있다면 목표가 무엇일까요?
개척 시대 모델을 조정한 다섯 가지 주요 목적이 있어요
오픈AI의 웹사이트에서 가져온 것들이에요.
오픈라이에서는 GPT 같은 기능을 세밀하게 조정하는 훈련을 실시하죠
반응의 스타일이나 톤을 만들고 싶을 때 반응에 빈정거림을
추가하는 예가 되죠
특정 형식의 형식, 구성체를 신뢰할 수 있게 제작하고 싶다면 특정한 스타일,
방법, 구조에 있는 형식이 필요해요
세 번째는 수정입니다 어렵거나 어려운 프롬프트를 따르지 않는 모델이죠
아주 복잡한 걸 요구하는데 Get it은 농담을 이해하지 못해요
첨단 케이스 처리란 때때로 노출되는 결함이 있는 경우죠 그걸 수정하고
새로운 걸 실행해야 하는 모델에서요 Get up
그게 우리가 하려던 일이었어요 새로운 작업이었지만 바로 설명하긴 어려웠죠
오픈AI가 사이트에서 강조하는 게 바로 그겁니다 프롬프트만으로 고칠 수
없는 문제를 해결하려고 노력하죠 프롬프트에서 최대한 많은 작업을 하도록 강력하게
권장합니다 GPT 4, 미니 같은 것들은 대부분 프롬프트만으로
아주 높은 수준의 실행을 얻을 수 있거든요
개척지 모델로서는 그게 핵심이에요
이미 당면한 질문과 프롬프트에서 결과물의 스타일을 명시할 수 있어요
이전 결과를 떠올려 보면 GPT 4 미니는 적절한 구조라는 측면에서 정확하게
반응했죠
모든 사건에서 숫자를 추려내지 못한 적이 없어요
숫자는 항상 오차 범위 내에 제품에 근접해 있었어요
추측이었죠, 그래서 챌린지나 출력 형식을 이해하는 데는 문제가 없었어요
GPT4와 GPT4 미니는 엄청난 규모의 훈련 데이터를 가지고 있습니다
세계 지식이 담겨 있죠 500개의 훈련 예시를 더 제공한다고 세계 지식이
달라질 것 같진 않아요
그리고 사소한 문제가 있어요 전에 말했던 심각한 건망증에 대한
건데요 망각이라는 거예요 때때로 미세한 조율을 더하면
훈련 전에 얻은 깊은 지식이 줄어들기도 하죠
세세한 부분까지 신경 쓰는 게 늘 좋은 건 아니에요
엄청난 망각이 원인이었는지 약간 하락했는지도 모르고 시스템에
소음이 있어서 불운이 따랐는지도 몰라요 시험 세트에서 잘 안 풀린
거죠
하지만 나아진 건 없는 것 같았어요
그게 핵심이에요
제 관점에서 그리고 제가 이해하는 방식과 실험이 보여주는 방식으로 볼 때 필요한
걸 확실히 전달하는 훌륭한 일을 이미 하고 있었기 때문이죠
GPT 4는 이미 많은 사람이 이 점을 잘 이해하고 있었고 그 결과의 수준도 이미 매우 뛰어났죠
하지만 당신이 해야 할 일은 계속 작업하는 거예요
하이퍼파라미터 최적화 혹은 시행착오를 통해 개선하려고 했어요 비트
많이는 아니고요
조금이라도 나아지지 않는다면 정말 충격일 거예요 적어도 이전 비트보다 조금이라도
나아진다면요 get it get it
그게 과제군요
더 많은 것을요 오픈AI는 방대한 데이터 집합을 권장하지
않지만 특히 무료일 때는요 저는 더 큰 데이터 집합을 시도해보고 싶어요
훈련 데이터 집합을 1,000이나 2,000으로 해봐요
다른 시대를 살아볼 수도 있고요
해 봤는데 별 차이 없더라고요 다른 걸 시도해 보려고요
다른 hyperperameter도 있어요
오픈아이 웹사이트에서 찾아보세요
원하면 몇 가지 바꿔볼 수도 있어요
하이퍼파라미터 사전에 넣어 보세요
다양한 훈련 데이터를 입력해 볼 수도 있고 프롬프트를 플레이해 볼 수도
있어요
오픈아이가 웹 사이트에서 강조한 점은 입력을 개선함으로써 가장 많은 주행 거리를 얻을 수
있다는 거죠
데이터 큐레이팅과 프롬프트 수정에서 시간을 좀 들인 부분이죠 하지만 여기서
할 수 있는 건 훨씬 더 많아요
그것도 한번 해 보세요
하이퍼파라미터 최적화를 해야 합니다 프롬프트와 관련된 것을 변경해서 더 잘 할
수 있도록 하세요
다시 한 번 볼까요?
76점 이상을 받아야 해요
그리고 솔직히 말씀드리면 저는 이전 경기에서 76점보다 높은 점수를 받은
적이 있어요
그래서 저는 많은 변화 없이 76편보다 나은 걸 만들 수 있다는 걸 알아요
많이 나아지진 않았지만 나아졌어요
그게 바로 도전 과제죠
그렇게 해요, 어떻게 돼가는지 알려줘요 Get it
최적화된 프롬프트나 하이퍼 매개 변수가 있다면 코드를 푸시해 PR을 하세요
제가 살펴보고 공유할 수 있도록요 어떻게 되는지 보도록 하죠
76점 이상을 받으면 그게 바로 도전 과제의 성적이 되는 거죠
좋아요
이렇게 6주 차 결론이 났네요
당신은 이제 놀랍게도 75%에 달하는 길을 달렸습니다 능숙한 달 착륙 엔지니어로서 인공지능과
달 착륙 공학에 통달했죠
여러분도 저처럼 기뻐해 주시면 좋겠네요
정말 멋진 발전이에요 지금까지 배운 모든 걸 자랑스러워해도 돼요
프런티어 모델의 도움을 받아 텍스트와 코드를 생성하고 얼굴 껴안기 트랜스포머,
라이브러리 랑체 같은 오픈 소스 모델을 사용했죠
최근에는 큐레이터 문제 해결 5단계 전략을 다뤘는데요
큐레이팅 데이터를 많이 만들었어요
하지만 달 착륙선 엔지니어의 삶에는 데이터 수집이 많이 포함되죠
Get it은 요령이에요 가장 중요한 부분이죠
제가 했던 모든 실험에서 데이터 구조를 바꾸는 건 바늘을 움직이는
가장 큰 일이었어요
벌써 많은 실험이 post에 올라가 있어요.
하지만 더 잘할 수 있잖아요
전통적인 머신 러닝을 사용했죠
Get up 기본값이 얼마인지 확인하려고요 우리가 쉽게 이겼던 점수죠
개척 시대 해결책을 내놓았고 이젠 미세한 개척 시대 모델이 됐죠
그래서 결과가 좀 실망스러웠죠
현실적이어야 해요
그럼에도 불구하고 여러분의 프로젝트에 사용할 수 있는 거죠
스타일을 바꾸고 싶다거나 어려운 문제가 발생했을
때 미세 조정이 답이죠
그래도 이제 좋은 레시피가 생겼잖아요
어떻게 하는지 알고 연승하는 것도 봤죠
상태를 확인하고 무게와 편향성을 확인했죠
다 알고 계시잖아요
다음 주엔 새로운 관점으로 여행의 새로운 부분을 시작합니다 오픈 소스
모델로요
오픈 소스 모델을 미세 조정하는 건 개척지 모델을 미세 조정하는 것과 아주 다른
제의예요
우리가 하려는 건 우리가 다루는 큰 모델보다 훨씬 작은 모델이에요
여전히 수십억 개의 매개 변수가 있을 거예요
일반적으로 보면 여전히 큰 모델이지만 GPT4와 GPT4 미니에 있는 수조
개의 매개 변수와 비교할 수는 없어요
오픈 소스 모델을 세밀히 조정하고 로라라는 걸 사용할 거예요 들어본 적 있거나 있을
거예요 제가 몇 번 언급했거든요 하지만 로라의
예시를 본 적도 있을 거예요 로라의 사촌인 로라도 들어봤을 거예요 양자화된
버전의 로라죠
둘 다 연습할 거예요 끝날 때쯤엔 둘 다 알게 될 거예요
다음 세션에서는 기본 모델을 선택할 겁니다 이미 알고 계시겠지만요
하지만 진짜 선택해야 해요
GPT 4와 경쟁할 수 있는 모델이 될 거예요
현재 순위표의 우승자는요?
다음 주 과제는 그거예요
큰 도전이 되겠지만 빨리 시작하고 싶어요
당신도 기다려주지 않으면 좋겠네요
그때 봐요