Checkpoint: Gradient descent và hồi quy tuyến tính

By Better Wise

Quiz

Trong quy tắc cập nhật θ ← θ − α·∇L(θ), vì sao phải trừ đi gradient thay vì cộng vào?
- Vì dấu trừ giúp learning rate tự động nhỏ dần qua các vòng.
- Vì cộng gradient sẽ làm tham số tiến về phía cực tiểu nhanh hơn.
- Vì gradient luôn là số âm nên phải trừ để thành phép cộng.
- Vì gradient chỉ hướng loss tăng nhanh nhất, nên đi ngược chiều gradient để loss giảm.
Với f(x, y) = x² + 3y², đạo hàm riêng theo y là ____.
Chạy gradient descent trên f(x, y) = x² + 3y² từ điểm (2, 1) với α = 0,1. Sau vòng đầu tiên, cặp (x, y) và loss là bao nhiêu?
- (1,8; 0,7) và loss 4,71
- (1,6; 0,4) và loss 1,7152
- (2,4; 1,6) và loss 13,44
- (1,6; 0,4) và loss 3,04
Những lỗi nào sau đây làm hỏng bảng tính gradient descent bằng tay? (chọn tất cả đáp án đúng)
- Chỉ ghi loss mà không ghi gradient nên không phân biệt được gần đích với bước quá nhỏ.
- Cập nhật x xong rồi dùng x mới để tính gradient cho y.
- Làm tròn quá sớm ở các vòng giữa khiến sai số cộng dồn.
- Ghi lại giá trị tham số, gradient và loss sau mỗi vòng.
Với loss bậc hai L(w) = ½·a·w², ngưỡng phân kỳ của learning rate là bao nhiêu?
- α > 2/a
- α > 1/a
- α > 1/(2a)
- α > a/2
Chuỗi loss qua các vòng là 2 → 0,08 → 0,003 → gần 0, trong đó w đổi dấu sau mỗi vòng. Kết luận nào đúng?
- Đang dao động nhưng vẫn hội tụ, không cần giảm α ngay.
- Đây là dao động vĩnh viễn vì r = −1.
- α quá nhỏ nên loss giảm chậm, cần tăng α.
- Đã phân kỳ vì w đổi dấu, phải chia α cho 10.
Với L = ½(λ₁w₁² + λ₂w₂²) và một learning rate dùng chung cho mọi hướng, α bị chặn trên bởi ____ (viết dạng biểu thức theo λmax).
Những phát biểu nào đúng về điểm dừng (stationary point) và saddle point? (chọn tất cả đáp án đúng)
- Gradient norm nhỏ luôn chứng tỏ đã tới đáy loss.
- Với hàm một biến, f'(x) = 0 và f''(x) > 0 cho biết x là local minimum.
- Hessian có eigenvalue trái dấu tại điểm dừng cho biết đó là saddle point.
- Saddle point có gradient xấp xỉ 0 nên gradient descent chậm lại và dễ bị nhầm là đã hội tụ.
- Loss MSE của hồi quy tuyến tính là hàm lồi nên mọi điểm dừng đều là global minimum.
Trong hồi quy tuyến tính với loss MSE, đạo hàm riêng theo w có thêm thừa số ____ so với đạo hàm theo b.
Hãy tự chạy một vòng gradient descent bằng tay cho hồi quy tuyến tính với x = [1, 2, 3, 4], y = [3, 5, 7, 9], khởi tạo w = b = 0, α = 0,05. Trình bày residual, hai gradient, tham số mới và loss trước/sau bước đó.