6주 차, 3일 차예요
오늘은 여러분의 선호도에 따라 호불호가 갈리는 날이 될 겁니다 하지만
중간은 없을 거예요
멋진 하루가 되거나 끔찍한 하루가 될 겁니다 전통적인 머신 러닝에
관심 있느냐에 따라서요 오늘은 과거로 한 걸음 돌아가 기본적인 머신
러닝을 살펴보고 과거 어떻게 작동했는지 실질적인 예시를 볼 테니까요
그런 소개를 하루만 하면 참을 수 있을 거예요 아주 불쾌한 소개라도요 Put
it's go!
다시 한번 말씀드리면 이미 여러분이 할 수 있는 건 개척 모델과 함께 작업하는 겁니다 도구를 이용한 인공지능
조수 만들기 파이프라인, 토큰라이저 모델로 얼굴 안기 같은 오픈 소스 모델로요
긴 체인을 이용해 래그 파이프라인을 만들 수 있죠
사실, 보셨다시피 긴 체인 없이도 충분히 할 수
있어요
라인 체인을 쓰면 더 빠르지만 헝겊은 특별한 마법이
없어요
그리고 상업적 문제를 해결하는 5단계 전략을 얘기했죠
데이터도 아주 심오하고요
상처가 깊지 않아야 할 텐데요
살아남았길 바라요
데이터로 많은 작업을 했어요
차트를 많이 봤어요
지금쯤이면 아이템 클래스와 아이템 로더에 익숙해졌을 겁니다 여러분이 의도했던
것보다요
하지만 이 시점에선 데이터를 처음부터 다 알아요
오늘은 기준점에 대해 얘기할 거예요
기준 모델이 무엇인지 왜 중요한지 말씀드리겠어요
그런 다음 적어도 저는 기본 모델을 가지고 신나게 놀 겁니다 전통적인 머신
러닝을 연구해 이런 화려한 LM 같은 걸 쓰지 않고도 얼마나 잘 만들어지는지
볼 거예요
내일이 오기 전에 개척지로 향할 거예요
비트코인 기준에 대해 얘기해 보죠
상식적인 문제지만 문제를 해결하려면 단순하게 시작해야죠
특히 데이터 과학의 세계에서 근본적으로 중요한 부분입니다 두 가지
이유가 있어요
확실한 건 일종의 잣대를 제공한다는 거예요 진보를 측정할 때 사용할 수 있죠
단순하고 전통적인 것부터 시작하면 정교한 심층 신경망을 제대로 사용한다는 걸
알 수 있죠
바늘이 움직이고 기준선 없이 훨씬 더 높은 곳에 도달하는 걸 볼 때 알 수
없어요 멋진 결과를 얻는 건지 아니면 좋지 않은 방향으로 작은 발걸음을
내딛는 건지요
이게 그 잣대를 제공하죠
하지만 다른 문제도 있어요 llm이 항상 옳은 해결책은 아니에요
사실 저희가 해결하고자 하는 특정 사업상의 문제는 제품 가격 예측
문제인데요
llms가 올바른 솔루션인지는 잘 알 수 없습니다 왜냐하면 일반적으로
앞서 말했듯이 설명에서 가격과 숫자를 생성하는 것은 더 전통적인 NLP와 선형 회귀처럼 보이기 때문입니다
머신 러닝 분야에 속한 것처럼 느껴지죠
전통적인 머신 러닝이죠
그래서 기준점을 만드는 게 더 중요해요 기준점을 만든 다음에
개척 시대 모델을 써 봐도 더 나을 게 없으니까요
뻔한 거지만 왜 이걸 하는지 설명해주죠
오늘은 어떤 모델을 가지고 놀까요?
하루면 돼요
딱 한 번 하는 거잖아요
이런 모델에 이미 아주 익숙하다면 그럴 가치가 있어요
우리의 상업적 문제에 대한 흥미롭고 간단한 실험이 될 겁니다 처음
보시는 분들을 위해 자세하게 설명하진 않겠지만 어떤 관점인지
잘 아실 거예요
가장 먼저 할 일은 사업상의 문제를 해결하는 거예요
아주 옛날 방식으로 할 거예요
기능 엔지니어링이라고 부르는 걸 할 거예요
데이터를 이해하고 가격에 영향을 줄 수 있는 중요한 요인이
무엇인지 생각해 보는 거죠
그리고 기능이라 부르는 것들을 생각해내려고 노력하죠
그리고 몇 가지 특징을 생각해 낼 거예요 아마존 베스트셀러 순위에 어떻게 올랐는지
그런 거요
그리고 이 세 가지 요소의 직선적 조합이 가격을 예측하는 데 도움이 되는지
볼 거예요
머신 러닝 모델을 다룰 때는 종종 거기서부터 시작하죠
그리고 낱말 봉지라는 걸 할 거예요 자연 언어 처리를 처음 시도한
것 중 하나죠
NLP 단어 주머니는 특히 단순한 접근법입니다 말 그대로 단어 수를
세고 작은 벡터를 만드는 거죠 이 설명에서 각각의 단어가 몇 번 기능하는지
확인하는 거예요
단어가 있다면 정지 단어는 포함하지 않습니다. 이런 단어는
어떤 것과도 크게 다르지 않아요.
하지만 인텔 같은 단어가 특정 값을 가진 노트북이나 컴퓨터를 뜻한다면
인텔이 우리 단어 중 하나가 될 거예요
그게 나타나느냐에 따라 혹은 나타난다면 그 장소에 얼마나 많이 나타나느냐에
따라 달라져요
각 제품에 들어간 단어 목록이 들어 있어요
그런 다음 단어 봉지를 가져다가 이 다양한 단어들의 선형 조합이
있는지 보겠습니다 그걸 다 합쳤을 때 제품 가격을 예측하죠
그리고 워드 2 벡이라는 걸 사용할 겁니다 아까도 언급했지만
최초의 실제 신경망 중 하나로 알고리즘을 인코딩하는 거죠 단어보다 더 영리한 방식으로
벡터를 생성할 수 있어요
그걸 먼저 선형 회귀와 함께 사용할 거예요
그다음 무작위 포레스트에 사용할 겁니다 좀 더 복잡한 기술이죠 그때 말씀드릴게요
하지만 벡터 비트 형태로 데이터와 기능을 무작위로 취하고 벡터 비트가 벡터인지
아닌지를 확인한 후 이런 샘플 여러 개를 합친 일련의 모델로 앙상블을 생성하는
걸 포함하죠
그리고 벡터 회귀 지원이라는 것이 있습니다 벡터 머신의 지원 유형으로 다른
기술입니다 데이터를 여러 그룹으로 분리하는 방법이죠
다양한 기술을 시도해 볼 거예요
어느 제품이 가장 잘 팔리고 제품 설명만 보고 가격을 예측하는 문제를
해결할 수 있을지 지켜보죠
그럼 주피터랩으로 가보죠