[음악] 다음 단계는 감성 모델 평가하기입니다 이 모듈에서 분류 오류를 알아봤는데 거짓 긍정과 거짓 부정이죠 이 개념을 자세히 노트북에서 다뤄봅시다 감성 모델에는 평가 함수가 있습니다 테스트 데이터에 대한 모델의 품질을
평가할 수 있게 도와주죠 일종의 기준을 제공하는데 roc_curve라는 겁니다 roc_curve에 대해선 나중에 배우게 됩니다 지금은 거짓 긍정과 거짓 부정을 혼동 행렬에서 다루는 기법이라고
이해하면 됩니다 평가 결과가 나왔는데 텍스트로는 알아보기 힘들죠 Canvas로 시각화를 해봅니다 sentiment_model.show를 입력하고 뷰로는 평가 뷰를 고릅니다 됐지요 멋지군요 이것저것 나오는군요 roc_curve라고 불리는 것입니다 거짓 긍정과 참 긍정의 균형을 나타내는 곡선이죠 잠시 설명하겠습니다 먼저 숫자 세 개를 보시죠 혼동 행렬입니다 참 긍정의 수 긍정 중 제대로 맞춘 숫자인데 26455개네요 이겁니다 참 부정은 4000개뿐입니다 정확히는 3965 매우 불균형한 사례군요 거짓 긍정과 거짓 부정은 거의 같습니다 전체 정확도는 91.1%, 0.911 정밀도와 재현율, 거짓 총계 등 앞으로 배우게 될 기준에 대해서 알아봅시다 거짓 긍정과 거짓 부정에서 유의할 점은 부정적인 클래스에서 긍정적인 클래스로 이행하는 역치를 변경하는 쉬운 방법이 있다는 것입니다 역치가 오른쪽에 보이는데 곡선에서 일단 보여드리죠 여기선 아주 높은 참 긍정 비율을 볼 수 있습니다 그러니 0.4, 죄송합니다 아주 낮은 0.4 거짓 긍정을 제한한다면 거짓 긍정만 제외하는 보수적인 태도를 취하면 거짓 긍정이 없어집니다 그러나 참 긍정도 놓치고 다른 실수들이 생기죠 그리고 곡선을 따라가면 여기가 구부러졌는데 그다지 많지 않은 거짓 긍정과 많은 참 긍정이 공존하는 지점이죠 그다음 여기선 전부 참 긍정입니다 많은 거짓 긍정도 있지만요 모든 참 긍정과 적은 거짓 긍정을 맞출 수 있나요? 모든 데이터 포인트를 긍정이라고 하면 됩니다 모든 참 긍정을 맞추지만 실수도 많이 나죠 정밀도/재현율 곡선를 다룰 때 자세히 알아보죠 편리하게도 역치를 바꿔서 곡선에서 왔다갔다 할 수 있지요 오른쪽 끝에서는 참 긍정 비율이 정말 높습니다 거짓 긍정이 없지만 참 부정도 없습니다 거짓 부정이 없고 참 부정도 없으니 다 맞췄습니다 반대쪽으로 옮겨보죠 이리저리 움직여가며 roc_curve가 어떤 의미를 가지는지 알아볼 수 있습니다 우리가 할 평가도 이렇습니다 [음악]