# 🚦 Khoảng tin cậy và p-value: trực giác và cách đọc sai

By Better Wise

Bài trước bạn đã có ước lượng điểm $\bar{x}$ và biết rằng nó dao động quanh giá trị thật với độ lớn được mô tả bởi sai số chuẩn $SE = s/\sqrt{n}$. Giờ ta làm bước mà mọi báo cáo A/B test đều phải làm: biến một con số duy nhất thành một khoảng, rồi hỏi xem hiệu số quan sát được có đáng tin hay chỉ là nhiễu.

Sau bài này bạn có thể:

- Dựng khoảng tin cậy 95% cho một trung bình mẫu từ $\bar{x}$, $s$ và $n$.
- Dựng khoảng tin cậy cho hiệu số giữa hai nhóm trong một A/B test.
- Phát biểu chính xác p-value là gì, và nó không phải là gì.
- Chỉ ra ba cách đọc sai p-value phổ biến trong một báo cáo thực tế.

> **Note:** 
> Nhắc lại một dòng: $SE$ là độ lệch chuẩn của phân phối lấy mẫu, không phải độ lệch chuẩn của dữ liệu. $s$ mô tả dữ liệu phân tán bao nhiêu, $SE$ mô tả ước lượng của bạn nhảy bao nhiêu nếu bạn lấy mẫu lại.

## Từ một con số duy nhất sang một khoảng

Ước lượng điểm luôn sai một chút. Câu hỏi thực dụng là: sai bao nhiêu thì còn chấp nhận được? Khoảng tin cậy trả lời câu đó bằng cách mở rộng ước lượng điểm ra hai phía theo một bội số của $SE$:

$$
\bar{x} \pm z^{*} \cdot \frac{s}{\sqrt{n}}
$$

Với mức tin cậy 95%, $z^{*} \approx 1,96$. Con số 1,96 không phải phép thuật: nó là giá trị mà phân phối chuẩn để lại 2,5% ở mỗi đuôi.

Cách đọc đúng: nếu ta lặp lại việc lấy mẫu rất nhiều lần và mỗi lần dựng một khoảng theo cùng công thức, khoảng 95% số khoảng đó sẽ chứa trung bình thật. Cách đọc thực dụng: khoảng này là tập hợp các giá trị mà dữ liệu của ta còn thấy hợp lý.

Cách đọc sai phổ biến nhất: "có 95% xác suất trung bình thật nằm trong khoảng này". Với trường phái frequentist, trung bình thật là một hằng số, nó hoặc nằm trong khoảng hoặc không. Cái có xác suất 95% là **quy trình** dựng khoảng, không phải tham số.

## Ví dụ 1: thời gian tải trang

Bạn đo thời gian tải trang trên $n = 400$ phiên, được $\bar{x} = 42,3$ giây, độ lệch chuẩn mẫu $s = 18,5$ giây.

$$
SE = \frac{18,5}{\sqrt{400}} = \frac{18,5}{20} = 0,925
$$

Biên sai số: $1,96 \times 0,925 \approx 1,81$. Khoảng tin cậy 95% là $[40,5;\ 44,1]$ giây.

Giờ đọc kết quả có kỷ luật: nếu team product tuyên bố "thời gian tải trung bình của chúng ta là 39 giây", con số 39 nằm ngoài khoảng. Bạn không cần nói họ sai tuyệt đối, nhưng dữ liệu của bạn không yểm trợ cho tuyên bố đó. Còn nếu ai đó nói 43 giây, đó là giá trị hoàn toàn tương thích với dữ liệu.

Lưu ý nhỏ nhưng hay bị bỏ: khi $n$ dưới khoảng 30, thay 1,96 bằng giá trị tới hạn của phân phối $t$ (ví dụ 2,04 với $n = 30$). Chênh lệch không lớn, nhưng dùng $z$ cho mẫu 8 quan sát là tự tin thái quá.

## Ví dụ 2: A/B test và khoảng tin cậy cho hiệu số

Đây là chỗ p-value và khoảng tin cậy gặp nhau. Một A/B test với 5.000 người mỗi nhóm:

| Nhóm | Người dùng | Chuyển đổi | Tỷ lệ |
| --- | --- | --- | --- |
| A (control) | 5.000 | 250 | 5,0% |
| B (variant) | 5.000 | 285 | 5,7% |

Hiệu số quan sát: $\hat{d} = 0,057 - 0,050 = 0,007$, tức 0,7 điểm phần trăm. Nghe có vẻ là B thắng. Nhưng sai số chuẩn của hiệu số là:

$$
SE_{\hat{d}} = \sqrt{\frac{0,05 \times 0,95}{5000} + \frac{0,057 \times 0,943}{5000}} \approx 0,0045
$$

Khoảng tin cậy 95% cho hiệu số: $0,007 \pm 1,96 \times 0,0045$, tức $[-0,0018;\ 0,0158]$.

Khoảng này chứa số 0. Nghĩa là "B không tốt hơn A" vẫn là một khả năng hoàn toàn hợp lý với dữ liệu. Đây là lúc câu hỏi hoài nghi phát huy tác dụng: 0,7 điểm phần trăm có thể chỉ là nhiễu lấy mẫu. Bạn cần cỡ mẫu lớn hơn, hoặc chấp nhận rằng chưa kết luận được.

Điểm cần nhớ: khoảng tin cậy cho hiệu số và kiểm định hai phía với cùng mức $\alpha$ luôn nhất quán. Khoảng chứa 0 thì p-value lớn hơn 0,05, và ngược lại. Nếu bạn thấy một báo cáo mâu thuẫn ở hai chỗ này, báo cáo đó có lỗi.

## p-value thực sự trả lời câu hỏi nào

Định nghĩa gọn: p-value là xác suất quan sát được kết quả **cực đoan như đã thấy hoặc hơn**, giả sử giả thuyết không $H_0$ đúng.

$$
p = P(\text{dữ liệu như thế này hoặc cực đoan hơn} \mid H_0)
$$

Với ví dụ trên: $z = 0,007 / 0,0045 \approx 1,56$, p-value hai phía xấp xỉ 0,12. Diễn giải: nếu B thực sự không khác A, thì có khoảng 12% khả năng ta vẫn thấy một chênh lệch lớn cỡ này chỉ vì may mắn lấy mẫu. 12% không phải con số đủ nhỏ để gọi là bất ngờ.

Điều quan trọng: p-value được tính **có điều kiện trên $H_0$**. Nó không nói gì về xác suất $H_0$ đúng, cũng không nói hiệu ứng lớn hay nhỏ.

## Ba cách đọc sai p-value trong một báo cáo A/B test

**Sai lầm 1: "p = 0,03 nghĩa là chỉ có 3% khả năng B không tốt hơn A."** Đây là đảo chiều điều kiện, đúng loại lỗi mà định lý Bayes đã cảnh báo ở Module 1. $P(\text{dữ liệu} \mid H_0)$ không bằng $P(H_0 \mid \text{dữ liệu})$. Muốn có con số thứ hai, bạn cần prior, và p-value không cung cấp prior.

**Sai lầm 2: "p < 0,05 nên hiệu ứng quan trọng."** p-value phụ thuộc cỡ mẫu. Cùng một hiệu ứng 0,2 điểm phần trăm: với $n = 5.000$, $p \approx 0,12$; với $n = 500.000$, $p$ có thể xuống dưới 0,001. Hiệu ứng không to hơn, chỉ là bạn đo chính xác hơn. Hãy nhìn effect size và khoảng tin cậy trước, p-value sau. **Ý nghĩa thống kê không đồng nghĩa với ý nghĩa thực tiễn.**

**Sai lầm 3: "p = 0,08 nên không có hiệu ứng."** Không đủ bằng chứng bác bỏ $H_0$ khác với bằng chứng rằng $H_0$ đúng. Và p = 0,08 với p = 0,04 không phải hai thế giới khác nhau, chúng là hai điểm gần nhau trên cùng một thang liên tục; ranh giới 0,05 là quy ước, không phải quy luật tự nhiên. Một biến thể của lỗi này là đọc p-value như xác suất kết quả lặp lại được: p = 0,04 không có nghĩa 96% lần chạy lại sẽ ra kết quả tương tự.

Khoảng tin cậy 95% cho trung bình mẫu có dạng x̄ ± _____ · SE.
Nếu lặp lại việc lấy mẫu nhiều lần, khoảng _____% số khoảng dựng theo cùng công thức sẽ chứa tham số thật.
p-value là xác suất quan sát dữ liệu cực đoan như đã thấy, với điều kiện _____.
Khoảng tin cậy 95% cho hiệu số hai nhóm chứa giá trị _____ thì tương đương với p-value lớn hơn 0,05.
Với cùng một hiệu ứng, tăng cỡ mẫu làm p-value _____.

Front: Công thức khoảng tin cậy 95% cho trung bình mẫu?
Back: x̄ ± 1,96 · s/√n (dùng giá trị tới hạn t khi n nhỏ).

Front: 1,96 trong khoảng tin cậy 95% đến từ đâu?
Back: Phân phối chuẩn để lại 2,5% xác suất ở mỗi đuôi.

Front: Cách đọc sai phổ biến nhất của khoảng tin cậy 95%?
Back: Nói rằng có 95% xác suất tham số thật nằm trong khoảng; đúng ra 95% là về quy trình dựng khoảng.

Front: Định nghĩa p-value trong một câu?
Back: Xác suất thấy dữ liệu cực đoan như đã quan sát hoặc hơn, giả sử H0 đúng.

Front: p-value có phải là xác suất H0 đúng không?
Back: Không. Đó là lỗi đảo chiều điều kiện; p-value có điều kiện trên H0, không phải ngược lại.

Front: Vì sao p < 0,05 không đồng nghĩa hiệu ứng lớn?
Back: p-value phụ thuộc cỡ mẫu; n rất lớn làm p nhỏ dù hiệu ứng nhỏ.

Front: p = 0,08 nói lên điều gì?
Back: Không đủ bằng chứng bác bỏ H0; không có nghĩa là H0 đúng hay không có hiệu ứng.

Front: Khoảng tin cậy 95% cho hiệu số chứa 0 nghĩa là gì?
Back: Không loại trừ được khả năng không có khác biệt; tương đương p-value > 0,05.

Front: Mối liên hệ giữa CI và kiểm định hai phía cùng mức α?
Back: Luôn nhất quán: khoảng chứa 0 khi và chỉ khi p > α.

Front: Sai số chuẩn của hiệu hai tỷ lệ?
Back: Căn bậc hai của p1(1-p1)/n1 + p2(1-p2)/n2.

Front: Vì sao nên báo cáo khoảng tin cậy thay vì chỉ p-value?
Back: CI cho biết cả độ lớn hiệu ứng lẫn độ bất định, p-value chỉ cho một tín hiệu nhị phân.

Front: Sai lầm khi so sánh p = 0,049 với p = 0,051?
Back: Coi hai giá trị gần nhau là hai kết luận khác biệt; ngưỡng 0,05 chỉ là quy ước.

## Cách đọc con số mà không tự lừa mình

- **Báo cáo cặp đôi.** Mỗi ước lượng đi kèm khoảng tin cậy. Một mình p-value không cho biết hiệu ứng lớn hay nhỏ.
- **Nhìn effect size trước, p-value sau.** Câu hỏi đầu tiên luôn là "chênh lệch này có ý nghĩa nghiệp vụ không", rồi mới hỏi "có vượt nhiễu không".
- **Kiểm tra tính nhất quán.** Khoảng tin cậy chứa 0 mà báo cáo nói p < 0,05 là dấu hiệu có lỗi tính toán hoặc chọn mẫu lại giữa đường.
- **Xem bạn đã thử bao nhiêu biến thể.** Chạy 20 phép so sánh, kiểu gì cũng có một cái p < 0,05 do may mắn. Nếu báo cáo không nói đã thử bao nhiêu, hãy hỏi.
- **p-value rất nhỏ chưa chắc đáng hành động.** Với dữ liệu lớn, hãy tự hỏi: nếu hiệu ứng thật đúng bằng con số này, ta có đổi quy trình không?

## Gói lại

Khoảng tin cậy biến ước lượng điểm thành một tuyên bố trung thực về độ bất định. p-value là xác suất của dữ liệu dưới giả định $H_0$, không phải xác suất của giả thuyết, không phải thước đo tầm quan trọng, và không phải lời hứa về việc lặp lại. Đọc cả hai cùng lúc, và luôn kèm theo câu hỏi: nếu đây chỉ là nhiễu, ta sẽ thấy gì?

Bài tiếp theo chuyển bộ công cụ này sang bài toán phân loại: precision, recall và ROC-AUC, nơi mỗi metric cũng chỉ là một ước lượng có sai số chuẩn riêng, và việc chọn ngưỡng cũng là một quyết định thống kê.

---

## Contents

Part of [🎲 Khóa 4: Toán cho Machine Learning — xác suất, thống kê và đánh giá mô hình](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh.md)

- **🎯 Xác suất, biến cố và định lý Bayes**
  - [🔁 Ôn nhanh: biến cố, không gian mẫu và các quy tắc xác suất](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/on-nhanh-bien-co-khong-gian-mau-va-quy-tac-xac-suat.md)
  - [🌿 Xác suất có điều kiện và cây quyết định](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/xac-suat-co-dieu-kien-va-cay-quyet-dinh.md) (sign-in required)
  - [🔮 Định lý Bayes và suy luận ngược](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/dinh-ly-bayes-va-suy-luan-nguoc.md)
  - [✅ Checkpoint: xác suất và định lý Bayes](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/checkpoint-xac-suat-va-dinh-ly-bayes.md)
- **📊 Biến ngẫu nhiên và các phân phối cốt lõi**
  - [⚖️ Biến ngẫu nhiên, kỳ vọng và phương sai](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/bien-ngau-nhien-ky-vong-va-phuong-sai.md)
  - [🔔 Bernoulli, nhị thức và phân phối chuẩn](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/bernoulli-nhi-thuc-va-phan-phoi-chuan.md)
  - [🧪 Checkpoint: biến ngẫu nhiên và phân phối](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/checkpoint-bien-ngau-nhien-va-phan-phoi.md)
- **📈 Lấy mẫu, suy diễn thống kê và metrics trên dữ liệu thật**
  - [🎣 Lấy mẫu, ước lượng điểm và sai số chuẩn](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/lay-mau-uoc-luong-diem-va-sai-so-chuan.md)
  - [🚦 Khoảng tin cậy và p-value: trực giác và cách đọc sai](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/khoang-tin-cay-va-p-value-truc-giac-va-cach-doc-sai.md) — this lesson
  - [🧭 Precision, recall và ROC-AUC như đại lượng thống kê](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/precision-recall-va-roc-auc-nhu-dai-luong-thong-ke.md) (premium content)
  - [🏁 Checkpoint: suy diễn thống kê và metrics](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/checkpoint-suy-dien-thong-ke-va-metrics.md) (premium content)
- [Course cheatsheet](https://everwise.study/courses/khoa-4-toan-cho-machine-learning-xac-suat-thong-ke-va-danh-gia-mo-hinh/cheatsheet.md) (premium content)