[음악] 분류기의 정확도와 오류를 알아봤습니다 오류에도 여러 유형이 있습니다 이런 오류는 실수 유형라고 합니다 분류기가 실수하는 유형을 살피는 건 중요합니다 한 가지 방법은 혼동 행렬이라는 도구를
통하는 것입니다 잠시 살펴보죠 참 라벨과 예측 라벨의 관계를 나타냅니다 참 라벨이 긍정이고 그 문장에 대해 긍정적이라고 예측했다면 옳으니 참 긍정이라고 합니다 비슷하게 참 라벨이 부정인데 예측도 부정이라면 참 부정이라고 부릅니다 맞췄으니 좋은 일이죠 실수도 두 종류가 있습니다 참 라벨이 긍정인데 예측이 부정이면 거짓 부정이라고 부릅니다 부정이라고 했는데 긍정이니 거짓입니다 비슷하게 참 라벨이 부정인데 긍정으로 예측했으면 거짓 긍정이라고 부릅니다 부정이었지만 긍정으로 예측했습니다 거짓 긍정과 거짓 부정은 실무에서 다른 영향력을 가집니다 몇 가지 예를 들어봅시다 두 영역을 보고 거짓 긍정과 거짓 부정의 비용을 알아봅시다 스팸 필터링이 대상일 때 거짓 부정은 스팸 이메일인데 아니라고 판단한 겁니다 이건 짜증이 좀 나는 정도죠 나쁘지만 아주 나쁘지는 않습니다 거짓 긍정이 되면 스팸이 아닌 이메일이 스팸 폴더로 가버린 것이죠 그 이메일을 못 보게 되고 결국 유실됩니다 비용이 높죠 두 번째로 의료진단과 다른 영역을 살펴보죠 외료진단에서 거짓 부정은 뭐죠? 거짓 부정은 질병에 걸렸는데 검출이 안 된거고, 분류기가 부정이라 판단한 것이죠 병이 없다고요 이 경우 질병은 검출되지 않는 것인데 아주 나쁜 겁니다 하지만 거짓 긍정도 나쁩니다 분류기가 질병이 있다고 판단했는데
사실 없는 것이죠 이 경우 부작용이 심한 독한 약을 있지도 않은 질병에 쓰게 되죠 거짓 긍정과 거짓 부정 중 어떤 게 더 나쁜지는 불확실합니다 의학 영역에서는 치료 비용, 부작용과 질병의 심각성 등에 달려 있습니다 참 라벨과 예측 라벨, 거짓 긍정과 거짓 부정 사이의 관련성을
혼동 행렬이라 부릅니다 방금 했던 것이죠 100 테스트 예제를 가진 설정이 있다고 합시다 그 중 60이 긍정, 40이 부정입니다 클래스 불균형이 조금 있지만 많지는 않지요 60개의 참 긍정 중에 50개를 맞추고 40개의 참 부정 중에 35개를 맞춥니다 배운 걸 되짚어 보죠 100개의 예제 중에 85개를 맞췄습니다 정확도를 논할 수 있겠죠 100개 중에 85를 맞췄으니 0.85입니다 참 긍정과 참 부정에 대해서도 다뤄보죠 죄송합니다. 거짓 긍정과 거짓 부정에서 긍정인데 부정이란 라벨이 붙은 게
거짓 부정입니다 거짓 부정이 10개가 있고 거짓 긍정이 5개가 있습니다 이 예제에서 85% 정확도를 냈습니다 거짓 부정율이 거짓 긍정율보다 더 높습니다 거짓 긍정, 거짓 부정은 클래스가 두 개일때만 가능한 분류입니다 혼동 행렬은 클래스가 더 많아도 잘 작동하죠 간단한 예를 봅시다 의료진단 100 테스트 예제에서 건강, 감기, 독감으로 클래스 3개가 있습니다 100명의 조사 대상에서 70명은 건강했고 20명은 감기고 10명은 독감입니다 건강한 사람들에서 60명을 맞췄고 감기 걸린 사람들 중 12명을 맞췄고 독감 걸린 사람들 중 8명을 맞췄다고 합시다 그러면 전체 정확도는 80인데 60 + 12 + 8 나누기 100에서 나온 수치죠 0.8 80% 정확도입니다 거짓 예측에 대해서도 알아보죠 건강한 사람들에게 10개의 실수가 있었습니다 건강한 사람에게 감기가 있다고 혼동하는 게 독감이 있다는 것보다 흔한데 독감이 복합질환이라 10개의 실수 중 8개가 감기고 2개가 독감입니다 감기는 양방향으로 갈 수 있습니다 실수가 8개였습니다 절반은 건강과 혼동했고 절반은 독감으로 진단됐습니다 독감으로 진단된 2개의 실수 중 건강하다고 판별된 사람은 없는데 독감 걸려서
온 사람 보고 건강하다고 하지는 않기 때문이죠 10개 중 2개는 감기로 판단된 사례입니다 혼동 행렬 예제였는데 어떤 종류의 실수를 했고 어떻게 해석하는지 배울 수 있습니다 분류에서는 아주 중요한 일이죠