[음악] 고려 대상인 각각의 모델 차수에 대해 예를 들어 직선 모델이나 이차곡선 모델, 13차 다항식까지 다뤘습니다 물론 더 고차 모델도 고려할 수는 있습니다 테스트 오류는 어떻게 되나요? 죄송합니다. 테스트 오류가 아니라 훈련 오류부터 시작하죠 훨씬 이해하기가 쉽습니다 훈련 오류 모델 차수를 증가시키면 시킬수록 훈련 데이터 세트의 결과에
더 적합하게 맞춰집니다 즉 훈련 오류는 모델 차수를 증가시킬수록 감소하죠 전에 봤던 곡선을 되짚어 봅시다 회귀직선, 이차회귀곡선에서 모든 결과에 부합하는 13차 다항식에 대응하는 잔차제곱합입니다 잔차제곱합이 점점 감소함을 확인할 수 있습니다 몇몇 결과를 따로 빼놓은
훈련 데이터 세트를 보면 이 가정이 참이라는 사실을
확인할 수 있습니다 모델의 유연성을 증가시킬수록 훈련 오류가 감소하는 것이죠 여기에 예측 모델 파라미터 w 모자라고 적어두죠 w 모자가 무엇인지를 확실히 하고
넘어가죠 직선 모델, 이차곡선 모델 등의
모델 복잡도를 최적화하고 직선 모델 파라미터 w 모자를 찾을 것입니다 가능한 모든 선을 탐색해 훈련 오류를
최소화합니다 몇 슬라이드 전에 말씀드렸는데, 모델을 예측하는 방법은 훈련 데이터 세트
결과의 오류를 최소화하는 것이라고 했습니다 직선 모델의 w 모자를 그렇게 구하고 그 w 모자에 대응하는 훈련 오류를
계산합니다 가능한 모든 이차회귀곡선을 살펴봅니다 모든 이차회귀곡선에 대한 훈련 오류를
최소화해서 이차곡선 모델의 w 모자를 구합니다 그런 다음 이차곡선 모델의 w 모자에 대응하는 훈련 오류 그래프를 그리는 것입니다 테스트 오류에 대해서도 논해볼 수 있지만 이건 좀 복잡한데 모델 차수를 증가시킬수록 어떻게 될까요? 꾸불꾸불한 13차 다항식 곡선을 기억하신다면 아시겠지만 예측 정확도가 떨어집니다 테스트 데이터를 따로 빼놓는다고 할 때 훈련 데이터에만 13차 다항식을 적용하면
꾸불꾸불한 곡선이 나올 겁니다 그런 다음 테스트 결과인 빼놓은 주택에 적용해 보면 예측이 실제 수치와
동떨어져 있을 확률이 높습니다 그러므로 예상가능한 건 어느 지점부터 테스트 오류가 증가하리란 점입니다 테스트 오류 곡선은 주로 다음과 같은
모습이 되는데 특정 지점까지는 오류가 감소하지만 그 후로는 다시 증가합니다 모델이 훈련 데이터에 의해 학습되었을 때 모델에 대한 테스트 오류가 여기 이 곡선이 됩니다 훈련 오류와 테스트 오류를 모델 복잡도에 대한 함수로 나타내면
이런 곡선이 됩니다 이런 개념을 통해 예측을 위한 모델, 모델 복잡도를 어떻게 선택할지에 대해선 회귀와 분류 강의에서 훨씬 자세히 다룰 예정입니다 [음악]