From the uDemy course on LLM engineering.
https://www.udemy.com/course/llm-engineering-master-ai-and-large-language-models
You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
160 lines
4.8 KiB
160 lines
4.8 KiB
WEBVTT |
|
|
|
00:00.680 --> 00:05.210 |
|
액션 가득한 훈련 시간에 돌아오신 걸 환영해요 |
|
|
|
00:05.210 --> 00:13.880 |
|
5분 정도 기다린 후에 이 리스트 이벤트 함수를 실행하면 많은 일이 일어나고 있는 걸 볼 수 |
|
|
|
00:13.880 --> 00:16.100 |
|
있죠. Get it |
|
|
|
00:16.100 --> 00:19.520 |
|
지난 10종목 동안 훈련이 진행되고 있어요 |
|
|
|
00:19.520 --> 00:26.240 |
|
이 메시지를 보시면 단계 0, 1, 2, 3이 500개 중 하나입니다 500개의 |
|
|
|
00:26.240 --> 00:30.380 |
|
다른 훈련 데이터 포인트를 나타내죠 |
|
|
|
00:30.380 --> 00:32.750 |
|
훈련의 손실도 볼 수 있어요 |
|
|
|
00:32.780 --> 00:39.500 |
|
훈련에서 진 걸 만회해서 좋은 결과를 내고 싶어요 그게 |
|
|
|
00:39.500 --> 00:41.660 |
|
우리 목표죠 |
|
|
|
00:41.660 --> 00:49.820 |
|
이걸 재실행할 때마다 이미 118단계인 걸 보게 됩니다 지금 하고 있죠 무슨 일인지 보기가 |
|
|
|
00:49.820 --> 00:51.440 |
|
좀 어려워요 |
|
|
|
00:51.440 --> 00:55.970 |
|
비트 박스를 참는 게 쉽지 않았을 거예요 Put it up Put up Put it up Put it up Put it Put it Put it Put it Put it |
|
|
|
00:55.970 --> 01:02.990 |
|
우리는 무게와 편향성을 이용하기 때문에 그렇게 하지 않습니다 여기 멋진 무게와 편향 |
|
|
|
01:02.990 --> 01:06.440 |
|
스크린으로 훈련 과정을 따라 볼 수 있죠 |
|
|
|
01:06.770 --> 01:12.290 |
|
훈련에서 손실을 본 결과가 어떻게 되는지 볼 수 있어요 |
|
|
|
01:12.290 --> 01:14.900 |
|
페이지가 새로워져서 업데이트된 거예요 |
|
|
|
01:15.110 --> 01:18.980 |
|
Get up! Get up! 어떤 상황인지 파악할 수 있을 거예요 |
|
|
|
01:18.980 --> 01:25.100 |
|
이런 종류의 훈련을 실행할 때 항상 보게 되는 것 중 하나는 첫 몇 배치 단계에서 |
|
|
|
01:25.100 --> 01:28.430 |
|
보통 극적인 드롭을 보인다는 거죠 |
|
|
|
01:28.670 --> 01:33.590 |
|
get's get's get's get's get. 이건 사실 그렇게 좋아할 일은 아니에요 |
|
|
|
01:33.620 --> 01:39.770 |
|
일반적으로 이 모델은 아주 빠르게 학습합니다 거의 말할 필요도 |
|
|
|
01:39.770 --> 01:44.780 |
|
없는 구조의 일부를요 $ 기호가 있는 거나 소수점을 |
|
|
|
01:44.780 --> 01:52.250 |
|
어디에 둘지 같은 거요 이 경우에는 개념에서 0을 0으로 추정하는 게 다른 |
|
|
|
01:52.250 --> 01:58.400 |
|
어떤 것보다도 올바른 센트 수가 될 가능성이 높죠 달러의 개수에는 |
|
|
|
01:58.400 --> 02:03.590 |
|
많은 것들이 있으니까요 |
|
|
|
02:03.590 --> 02:09.590 |
|
아직은 추측일 뿐이지만 이런 것들이 도움이 돼요. Get-Tuck Season |
|
|
|
02:09.590 --> 02:16.740 |
|
1 닙턱 시즌 1 이런 구조의 특징 덕분에 훈련이 빠르게 진행되고 첫 몇 단계에서는 특징을 빠르게 |
|
|
|
02:16.740 --> 02:21.390 |
|
파악해서 지금은 괜찮은 패턴을 따르고 있죠. |
|
|
|
02:21.420 --> 02:28.290 |
|
그 시점부터 계속적인 진전을 봐야 합니다 트레이닝 세팅을 잘 해뒀다면 |
|
|
|
02:28.290 --> 02:32.430 |
|
여기에 옳고 그른 답은 없어요 |
|
|
|
02:32.430 --> 02:35.250 |
|
제가 지금 하는 모든 것에 예외가 있는 거죠 |
|
|
|
02:35.250 --> 02:38.460 |
|
하지만 일반적으로 보면 약간의 변화가 있어야 해요 |
|
|
|
02:38.460 --> 02:45.300 |
|
손실이 크고 적은 배치 단계를 보는 건 좋아요 최적화하고 다양한 |
|
|
|
02:45.300 --> 02:49.230 |
|
가능성을 탐색해야 하니까요 |
|
|
|
02:49.440 --> 02:57.000 |
|
지금 보시는 건 일종의 경향인데요 시간이 지나면서 |
|
|
|
02:57.000 --> 03:04.980 |
|
배치 단계를 늘렸다가 줄였다가 하면서 손실이 서서히 줄어들기를 |
|
|
|
03:05.250 --> 03:14.070 |
|
기대하는 거죠 그리고 걱정되는 부분은 비트 수가 줄지 않는 것 |
|
|
|
03:14.070 --> 03:18.310 |
|
같다는 거예요 |
|
|
|
03:18.310 --> 03:25.300 |
|
변동이 많은 것 같아요 추측 측면에서 일부 데이터 포인트가 다른 |
|
|
|
03:25.300 --> 03:28.840 |
|
것보다 더 잘한다는 걸 보여주죠 |
|
|
|
03:28.840 --> 03:35.770 |
|
하지만 아직 어떤 방향으로든 개선 추세가 있는 것 같진 않아요 |
|
|
|
03:36.070 --> 03:39.310 |
|
적어도 겉으로 보기엔 그래요 |
|
|
|
03:39.490 --> 03:45.970 |
|
여러분도 이걸 실행하며 무슨 일이 일어나는지 주의 깊게 보시길 바라요 |
|
|
|
03:45.970 --> 03:50.860 |
|
제 생각에는 다 실행하려면 10분에서 15분 정도 걸릴 것 같습니다 |
|
|
|
03:50.860 --> 03:53.290 |
|
리스트의 어디에 있는지 보죠 |
|
|
|
03:54.910 --> 03:57.130 |
|
이제 절반쯤 왔어요 |
|
|
|
03:57.160 --> 04:02.890 |
|
끝에 다다르면 일시 정지가 됩니다 결과의 유효성을 확인하는 단계를 |
|
|
|
04:02.890 --> 04:09.100 |
|
거치는 동안에요 OpenAI 쪽에서 확인을 합니다 상태에 대해 알려주는 |
|
|
|
04:09.100 --> 04:10.840 |
|
부분이죠 |
|
|
|
04:10.930 --> 04:16.690 |
|
Get이 완료됐다는 이메일을 받을 수 있어요 이 런이 완료되는 것과 동시에 |
|
|
|
04:16.690 --> 04:17.260 |
|
말이죠 |
|
|
|
04:17.260 --> 04:20.560 |
|
다음 비디오에선 실행될 거예요 |
|
|
|
04:20.560 --> 04:21.760 |
|
거기서 봐요
|
|
|