# ✅ Checkpoint: Gradient descent và hồi quy tuyến tính

By Better Wise



## Quiz

1. Trong quy tắc cập nhật θ ← θ − α·∇L(θ), vì sao phải trừ đi gradient thay vì cộng vào?
   - Vì dấu trừ giúp learning rate tự động nhỏ dần qua các vòng.
   - Vì cộng gradient sẽ làm tham số tiến về phía cực tiểu nhanh hơn.
   - Vì gradient luôn là số âm nên phải trừ để thành phép cộng.
   - Vì gradient chỉ hướng loss tăng nhanh nhất, nên đi ngược chiều gradient để loss giảm.
2. Với f(x, y) = x² + 3y², đạo hàm riêng theo y là ____.
3. Chạy gradient descent trên f(x, y) = x² + 3y² từ điểm (2, 1) với α = 0,1. Sau vòng đầu tiên, cặp (x, y) và loss là bao nhiêu?
   - (1,8; 0,7) và loss 4,71
   - (1,6; 0,4) và loss 1,7152
   - (2,4; 1,6) và loss 13,44
   - (1,6; 0,4) và loss 3,04
4. Những lỗi nào sau đây làm hỏng bảng tính gradient descent bằng tay? (chọn tất cả đáp án đúng)
   - Chỉ ghi loss mà không ghi gradient nên không phân biệt được gần đích với bước quá nhỏ.
   - Cập nhật x xong rồi dùng x mới để tính gradient cho y.
   - Làm tròn quá sớm ở các vòng giữa khiến sai số cộng dồn.
   - Ghi lại giá trị tham số, gradient và loss sau mỗi vòng.
5. Với loss bậc hai L(w) = ½·a·w², ngưỡng phân kỳ của learning rate là bao nhiêu?
   - α > 2/a
   - α > 1/a
   - α > 1/(2a)
   - α > a/2
6. Chuỗi loss qua các vòng là 2 → 0,08 → 0,003 → gần 0, trong đó w đổi dấu sau mỗi vòng. Kết luận nào đúng?
   - Đang dao động nhưng vẫn hội tụ, không cần giảm α ngay.
   - Đây là dao động vĩnh viễn vì r = −1.
   - α quá nhỏ nên loss giảm chậm, cần tăng α.
   - Đã phân kỳ vì w đổi dấu, phải chia α cho 10.
7. Với L = ½(λ₁w₁² + λ₂w₂²) và một learning rate dùng chung cho mọi hướng, α bị chặn trên bởi ____ (viết dạng biểu thức theo λmax).
8. Những phát biểu nào đúng về điểm dừng (stationary point) và saddle point? (chọn tất cả đáp án đúng)
   - Gradient norm nhỏ luôn chứng tỏ đã tới đáy loss.
   - Với hàm một biến, f'(x) = 0 và f''(x) > 0 cho biết x là local minimum.
   - Hessian có eigenvalue trái dấu tại điểm dừng cho biết đó là saddle point.
   - Saddle point có gradient xấp xỉ 0 nên gradient descent chậm lại và dễ bị nhầm là đã hội tụ.
   - Loss MSE của hồi quy tuyến tính là hàm lồi nên mọi điểm dừng đều là global minimum.
9. Trong hồi quy tuyến tính với loss MSE, đạo hàm riêng theo w có thêm thừa số ____ so với đạo hàm theo b.
10. Hãy tự chạy một vòng gradient descent bằng tay cho hồi quy tuyến tính với x = [1, 2, 3, 4], y = [3, 5, 7, 9], khởi tạo w = b = 0, α = 0,05. Trình bày residual, hai gradient, tham số mới và loss trước/sau bước đó.


---

## Contents

Part of [📉 Khóa 3: Toán cho Machine Learning — đạo hàm, gradient và tối ưu hóa huấn luyện](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen.md)

- **📐 Đạo hàm, độ dốc và gradient**
  - [📈 Độ dốc và ý nghĩa hình học của đạo hàm](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/do-doc-va-y-nghia-hinh-hoc-cua-dao-ham.md)
  - [🔗 Đạo hàm hàm hợp và chain rule](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/dao-ham-ham-hop-va-chain-rule.md) (sign-in required)
  - [🧭 Đạo hàm riêng và vector gradient](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/dao-ham-rieng-va-vector-gradient.md)
  - [✅ Checkpoint: Đạo hàm và gradient](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/checkpoint-dao-ham-va-gradient.md)
- **📉 Gradient descent và hồi quy tuyến tính**
  - [✍️ Gradient descent tính tay từng bước](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/gradient-descent-tinh-tay-tung-buoc.md)
  - [🎚️ Learning rate, dao động và phân kỳ](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/learning-rate-dao-dong-va-phan-ky.md)
  - [⛰️ Cực trị, saddle point và điểm dừng](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/cuc-tri-saddle-point-va-diem-dung.md)
  - [🛠️ Project: Hồi quy tuyến tính với gradient descent](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/project-hoi-quy-tuyen-tinh-voi-gradient-descent.md)
  - [✅ Checkpoint: Gradient descent và hồi quy tuyến tính](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/checkpoint-gradient-descent-va-hoi-quy-tuyen-tinh.md) — this lesson
- [Course cheatsheet](https://everwise.study/courses/khoa-3-toan-cho-machine-learning-dao-ham-gradient-va-toi-uu-hoa-huan-luyen/cheatsheet.md) (premium content)