[음악]
다음 단계는
감성 모델 평가하기입니다
이 모듈에서 분류 오류를 알아봤는데
거짓 긍정과 거짓 부정이죠
이 개념을 자세히
노트북에서 다뤄봅시다
감성 모델에는 평가 함수가 있습니다
테스트 데이터에 대한 모델의 품질을 평가할 수 있게 도와주죠
일종의 기준을 제공하는데
roc_curve라는 겁니다
roc_curve에 대해선 나중에 배우게 됩니다
지금은 거짓 긍정과 거짓 부정을
혼동 행렬에서 다루는 기법이라고 이해하면 됩니다
평가 결과가 나왔는데 텍스트로는 알아보기 힘들죠
Canvas로 시각화를 해봅니다
sentiment_model.show를 입력하고
뷰로는
평가 뷰를 고릅니다
됐지요
멋지군요
이것저것 나오는군요
roc_curve라고 불리는 것입니다
거짓 긍정과 참 긍정의 균형을 나타내는 곡선이죠
잠시 설명하겠습니다
먼저 숫자 세 개를 보시죠
혼동 행렬입니다
참 긍정의 수
긍정 중 제대로 맞춘 숫자인데 26455개네요
이겁니다
참 부정은 4000개뿐입니다 정확히는 3965
매우 불균형한 사례군요
거짓 긍정과 거짓 부정은
거의 같습니다
전체 정확도는 91.1%, 0.911
정밀도와 재현율, 거짓 총계 등
앞으로 배우게 될 기준에 대해서 알아봅시다
거짓 긍정과 거짓 부정에서 유의할 점은
부정적인 클래스에서 긍정적인 클래스로 이행하는
역치를 변경하는 쉬운 방법이 있다는 것입니다
역치가 오른쪽에 보이는데
곡선에서 일단 보여드리죠
여기선 아주 높은 참 긍정 비율을
볼 수 있습니다
그러니 0.4, 죄송합니다 아주 낮은 0.4
거짓 긍정을 제한한다면
거짓 긍정만 제외하는 보수적인 태도를 취하면
거짓 긍정이 없어집니다
그러나 참 긍정도 놓치고 다른 실수들이 생기죠
그리고
곡선을 따라가면 여기가 구부러졌는데
그다지 많지 않은 거짓 긍정과
많은 참 긍정이 공존하는 지점이죠
그다음 여기선 전부 참 긍정입니다
많은 거짓 긍정도 있지만요
모든 참 긍정과 적은 거짓 긍정을 맞출 수 있나요?
모든 데이터 포인트를 긍정이라고 하면 됩니다
모든 참 긍정을 맞추지만 실수도 많이 나죠
정밀도/재현율 곡선를 다룰 때 자세히 알아보죠
편리하게도 역치를 바꿔서 곡선에서 왔다갔다 할 수 있지요
오른쪽 끝에서는
참 긍정 비율이 정말 높습니다
거짓 긍정이 없지만 참 부정도 없습니다
거짓 부정이 없고 참 부정도 없으니 다 맞췄습니다
반대쪽으로 옮겨보죠
이리저리 움직여가며
roc_curve가 어떤 의미를 가지는지 알아볼 수 있습니다
우리가 할 평가도 이렇습니다
[음악]