[NHẠC]
Bước tiếp theo của chúng ta là đánh giá
mô hình cảm tính mà chúng ta vừa xây dựng.
Bây giờ chúng ta chỉ nói trong bài học này về lỗi phân loại,
sự chính xác, xin lỗi, tích cực sai và tiêu cực sai.
Và chúng ta sẽ khám phá ý tưởng đó ở đây.
được minh họa này trong notebook này.
Mô hình cảm tính có một hàm được gọi là Evaluate.
Và hàm Evaluate đó cho phép bạn đánh giá chất lượng của nó trên dữ liệu kiểm tra.
Và chúng ta sẽ cung cấp một ma trận cụ thể và
ma trận này được gọi là roc_curve.
Chúng ta sẽ học nhiều hơn một chút về roc_curve tiếp theo.
Nhưng roc_curve là một cách để khám phá tích cực sai và
tiêu cực sai trong ma trận nhầm lẫn mà chúng ta đã thảo luận.
Bây giờ ở đây nó chỉ cho bạn các kết quả của sự đánh giá khó thấy trong văn bản.
Hãy hình dung một chút về nó, một lần nữa sử dụng Canvas.
Chúng ta có thể sử dụng sentiment_model.show và
chúng ta sẽ chỉ ra view mà chúng ta sẽ sử dụng,
sẽ là view Evaluation.
Và chúng ta có ở đây.
Ok điều này thật tuyệt.
Chúng ta đã xây dựng một vài thứ.
Đây là tính lại độ chính xác, tôi xin lỗi, điều này được gọi là roc_curve,
nó là một đường cong cân nhắc các tích cực sai với các tích cực đúng.
Để tôi giải thích một chút.
Nhưng đầu tiên hãy nhìn vào số lượng ở đây.
Đây là ma trận nhầm lẫn.
Số lượng của các tích cực đúng,
những thứ chúng ta nhận là đúng, 22.455.
Ngay ở đây.
Số lượng các tiêu cực đúng chỉ là 4.000 và 3.965.
Đây là trường hợp mất cân bằng cao.
Và sau đó số lượng các tích cực sai và
số lượng các tiêu cực sai gần bằng nhau.
Độ chính xác tổng thể là 91.1%, là 0.911.
Và cũng thảo luận một vài chỉ số như là tính lại độ chính xác và đếm sai
cái mà chúng ta sẽ học nhiều hơn sau này trong khóa học và trong chuỗi học này.
Bây giờ những thứ về tích cực sai và tiêu cực sai là
có một cách tự nhiên để thay đổi ngưỡng mà chúng ta tin
sự chuyển tiếp từ lớp tiêu cực sang lớp tích cực là gì.
Đây là cái mà ngưỡng hiển thị bên phải, nhưng
để tôi chỉ nó trên đường cong ở đây.
Bạn có thể thấy là tôi có thể có được, ví dụ
tỉ lệ tích cực đúng rất cao.
.4 xin lỗi, rất thấp .4.
Nếu tôi không cho phép bản thân tôi nhận bất kì tích cực sai nào.
Nếu tôi lo lắng về tích cực sai mà có thể rất bảo thủ,
không nhận tích cực sai.
Nhưng một lần nữa không nắm bắt nhiều tích cực đúng và tạo các lỗi khác.
Và bạn thấy.
Bạn đi qua vòng cung có một xoắn ở đây.
Đây là điểm nơi bạn không nhận quá nhiều các tích cực sai nhưng
nhiều tích cực đúng.
Và sau đó ở cuối bạn có tất cả tích cực đúng.
Nhưng bạn có rất nhiều các tích cực sai.
Bạn có nhiều tích cực đúng nhưng có ít tích cực sai như thế nào?
Bạn nói mọi điểm dữ liệu là tích cực.
Sau đó bạn có tất cả các tích cực đúng, nhưng bạn cũng tạo ra nhiều lỗi.
Và chúng ta sẽ thảo luận nhiều hơn về điều này khi chúng ta nói về đường cong độ nhạy.
Nhưng rất tuyệt là chúng ta có thể thay đổi các ngưỡng ở đây và đi qua đường cong đó.
Như bạn có thể thấy , ví dụ ở điểm cuối bên phải
bạn thấy rằng tỉ lệ tích cực đúng rất cao.
Không có tích cực sai nhưng không có tiêu cực đúng.
Không có tiêu cực sai, không tiêu cực đúng, bạn chỉ có mọi thứ đúng.
Và bạn có thể di chuyển nó theo cách khác.
Bạn có thể thể hiện bằng điều này và
cảm thấy đường cong có ý nghĩa , roc_curve.
Đây là đánh giá mà chúng ta sẽ làm.
[NHẠC]