텍스트 분류를 위해 TF-IDF 벡터화를 적용할 때의 설명으로 가장 적절한 것은?

AICE · 0pt

단어의 문서 내 빈도와 전체 문서 집합에서의 희소성을 함께 반영해 문서를 수치 벡터로 표현하며, 벡터화 기준은 학습 데이터에서 적합하는 것이 일반적이다. 단어가 전체 문서에 자주 등장할수록 해당 단어의 IDF 값이 커져 분류에 더 큰 영향을 준다. 단어 순서와 문맥을 직접 학습해 문장 간 의미 유사도를 항상 보존하는 문장 임베딩 방식이다. 테스트 데이터의 단어를 모두 포함해 어휘 사전을 만든 뒤 학습 데이터에 적용하면, 테스트 성능을 편향 없이 평가할 수 있다.