모델 평가

[머신 러닝] 테스트와 검증

홀드아웃 검증 (holdout validation) 홀드아웃 검증에서는 훈련 세트의 일부를 떼어내어 검증 세트(validation set)을 만듭니다. 검증 세트를 떼어내고 남은 훈련 세트에서 다양한 하이퍼파라미터 값을 가진 여러 모델을 훈련합니다. 그 다음 검증 세트에서 가장 높은 성능을 내는 모델을 선택합니다. 홀드아웃 검증 과정이 끝나면 이 최선의 모델을 전체 훈련 세트에서 다시 훈련해서 최종 모델을 만듭니다. 마지막으로 최종 모델을 테스트 세트에서 평가하여 일반화 오차를 추정합니다. 이 방법은 일반적으로 잘 작동하지만, 검증 세트가 너무 작은 경우 모델이 정확하게 평가되지 않을 것이고, 검증 세트가 너무 크면 검증 세트를 뗀 훈련 세트가 전체 훈련 세트보다 너무 작아지기 때문에 전체 훈련 세트에서..