[음악]
분류기의 정확도와 오류를 알아봤습니다
오류에도 여러 유형이 있습니다
이런 오류는 실수 유형라고 합니다
분류기가 실수하는 유형을 살피는 건 중요합니다
한 가지 방법은 혼동 행렬이라는 도구를 통하는 것입니다
잠시 살펴보죠
참 라벨과 예측 라벨의 관계를
나타냅니다
참 라벨이 긍정이고 그 문장에 대해 긍정적이라고
예측했다면 옳으니 참 긍정이라고 합니다
비슷하게 참 라벨이 부정인데
예측도 부정이라면 참 부정이라고 부릅니다
맞췄으니 좋은 일이죠
실수도 두 종류가 있습니다
참 라벨이 긍정인데 예측이 부정이면
거짓 부정이라고 부릅니다
부정이라고 했는데 긍정이니 거짓입니다
비슷하게 참 라벨이 부정인데 긍정으로 예측했으면
거짓 긍정이라고 부릅니다
부정이었지만 긍정으로 예측했습니다
거짓 긍정과 거짓 부정은 실무에서
다른 영향력을 가집니다
몇 가지 예를 들어봅시다
두 영역을 보고 거짓 긍정과 거짓 부정의
비용을 알아봅시다
스팸 필터링이 대상일 때 거짓 부정은
스팸 이메일인데 아니라고 판단한 겁니다
이건 짜증이 좀 나는 정도죠
나쁘지만 아주 나쁘지는 않습니다
거짓 긍정이 되면
스팸이 아닌 이메일이 스팸 폴더로 가버린 것이죠
그 이메일을 못 보게 되고 결국 유실됩니다
비용이 높죠
두 번째로 의료진단과 다른 영역을
살펴보죠
외료진단에서 거짓 부정은 뭐죠?
거짓 부정은 질병에 걸렸는데
검출이 안 된거고, 분류기가 부정이라 판단한 것이죠
병이 없다고요
이 경우 질병은 검출되지 않는 것인데
아주 나쁜 겁니다
하지만 거짓 긍정도 나쁩니다
분류기가 질병이 있다고 판단했는데 사실 없는 것이죠
이 경우 부작용이 심한 독한 약을
있지도 않은 질병에 쓰게 되죠
거짓 긍정과 거짓 부정 중
어떤 게 더 나쁜지는 불확실합니다
의학 영역에서는 치료 비용, 부작용과
질병의 심각성 등에 달려 있습니다
참 라벨과 예측 라벨,
거짓 긍정과 거짓 부정 사이의 관련성을 혼동 행렬이라 부릅니다
방금 했던 것이죠
100 테스트 예제를 가진 설정이 있다고 합시다
그 중 60이 긍정, 40이 부정입니다
클래스 불균형이 조금 있지만 많지는 않지요
60개의 참 긍정 중에 50개를 맞추고
40개의 참 부정 중에
35개를 맞춥니다
배운 걸 되짚어 보죠
100개의 예제 중에 85개를 맞췄습니다
정확도를 논할 수 있겠죠
100개 중에 85를 맞췄으니 0.85입니다
참 긍정과 참 부정에 대해서도 다뤄보죠
죄송합니다. 거짓 긍정과 거짓 부정에서
긍정인데 부정이란 라벨이 붙은 게 거짓 부정입니다
거짓 부정이 10개가 있고
거짓 긍정이 5개가 있습니다
이 예제에서 85% 정확도를 냈습니다
거짓 부정율이 거짓 긍정율보다 더 높습니다
거짓 긍정, 거짓 부정은 클래스가
두 개일때만 가능한 분류입니다
혼동 행렬은 클래스가 더 많아도 잘 작동하죠
간단한 예를 봅시다
의료진단 100 테스트 예제에서
건강, 감기, 독감으로 클래스 3개가 있습니다
100명의 조사 대상에서 70명은 건강했고
20명은 감기고 10명은 독감입니다
건강한 사람들에서 60명을 맞췄고
감기 걸린 사람들 중 12명을 맞췄고
독감 걸린 사람들 중 8명을 맞췄다고 합시다
그러면 전체 정확도는 80인데
60 + 12 + 8 나누기 100에서 나온 수치죠
0.8 80% 정확도입니다
거짓 예측에 대해서도 알아보죠
건강한 사람들에게 10개의 실수가 있었습니다
건강한 사람에게 감기가 있다고 혼동하는 게
독감이 있다는 것보다 흔한데
독감이 복합질환이라 10개의 실수 중
8개가 감기고 2개가 독감입니다
감기는 양방향으로 갈 수 있습니다
실수가 8개였습니다
절반은 건강과 혼동했고 절반은
독감으로 진단됐습니다
독감으로 진단된 2개의 실수 중
건강하다고 판별된 사람은 없는데 독감 걸려서 온 사람 보고 건강하다고 하지는 않기 때문이죠
10개 중 2개는 감기로 판단된 사례입니다
혼동 행렬 예제였는데 어떤 종류의 실수를
했고 어떻게 해석하는지 배울 수 있습니다
분류에서는 아주 중요한 일이죠