교차검증에서 전처리와 모델 학습을 하나의 Pipeline으로 묶어야 하는 이유로 가장 적절한 것은?

빅데이터분석기사 · 0pt

모든 데이터를 먼저 변환한 다음 교차검증을 수행하면 변환 결과가 일정해지므로, 검증 데이터 정보가 학습에 반영되어도 성능 추정에는 영향이 없다. 각 교차검증 반복에서 전처리 단계가 해당 반복의 학습 데이터에만 적합되고 검증 데이터에는 변환만 적용되도록 해, 정보 누수를 줄이고 전체 절차를 일관되게 평가할 수 있다. Pipeline을 사용하면 학습 데이터와 검증 데이터의 분포가 자동으로 같아져 분포 변화가 제거된다. Pipeline의 주된 목적은 테스트 데이터에 정답 레이블이 없을 때 이를 자동으로 생성하는 것이다.