Precision, recall và ROC-AUC như đại lượng thống kê

By Better Wise

Từ khoảng tin cậy sang confusion matrix

Bài trước bạn đã dựng xong bộ công cụ: mỗi ước lượng đều có sai số chuẩn, mỗi khoảng tin cậy nói lên mức bất định, và p-value chỉ trả lời một câu hỏi rất hẹp. Bài này mang đúng bộ công cụ đó sang bài toán phân loại. Precision, recall và ROC-AUC không phải những con số thiêng liêng in ra từ thư viện, chúng cũng là ước lượng trên một mẫu, cũng có nhiễu, và threshold cũng là một quyết định chứ không phải tham số kỹ thuật.

Sau bài này bạn có thể:

• Dựng confusion matrix từ bảng dự đoán và tính precision, recall, accuracy.
• Gắn sai số chuẩn kiểu binomial cho precision và recall, rồi đọc khoảng tin cậy của chúng.
• Giải thích vì sao precision sụp khi prevalence thay đổi, còn ROC-AUC thì gần như đứng yên.
• Chọn threshold dựa trên chi phí false positive và false negative thay vì cảm giác.

Confusion matrix: hai câu hỏi khác nhau, hai metric khác nhau

Một hệ thống phát hiện gian lận chạy trên 1.000 giao dịch, trong đó có 20 giao dịch gian lận thật.

$$ \text{precision} = \frac{TP}{TP+FP} = \frac{16}{100} = 0{,}16, \qquad \text{recall} = \frac{TP}{TP+FN} = \frac{16}{20} = 0{,}80 $$

Accuracy là 912/1.000 = 91,2%. Nghe rất ổn. Nhưng nếu model đoán "không gian lận" cho tất cả 1.000 giao dịch, accuracy là 98%. Con số 91,2% thực ra tệ hơn cả việc không làm gì. Đây là lý do tôi không bao giờ đọc accuracy đầu tiên trên dữ liệu mất cân bằng.

Hai metric trả lời hai câu hỏi khác nhau:

• Precision = 0,16: khi model báo động, chỉ 16% là đúng. 84 lần gọi khách hàng xác minh là báo nhầm.
• Recall = 0,80: model bắt được 16/20 vụ gian lận, bỏ sót 4.

Precision phụ thuộc prior của dữ liệu, recall thì không. Đây là câu quan trọng nhất của bài, và phần sau sẽ chứng minh bằng số.

Precision và recall cũng là ước lượng, có sai số chuẩn riêng

This lesson is premium content. Sign in and purchase the course to view the full content. Sign in