Cheatsheet: Khóa 3: Toán cho Machine Learning — đạo hàm, gradient và tối ưu hóa huấn luyện
Tra cứu nhanh cho toàn khóa. Câu hỏi xuyên suốt: "đạo hàm này giúp model giảm lỗi thế nào?"
1. Đạo hàm và ý nghĩa hình học (1.1)
| Khái niệm | Công thức / ý nghĩa | Ghi nhớ thực chiến |
|---|---|---|
| Đạo hàm tại điểm | $f'(x_0) = \lim_{h \to 0} \dfrac{f(x_0+h) - f(x_0)}{h}$ | Tốc độ thay đổi tức thời của $f$ theo $x$ |
| Độ dốc (slope) tiếp tuyến | $f'(x_0)$ chính là hệ số góc tiếp tuyến tại $x_0$ | Dốc lên: $f' > 0$; dốc xuống: $f' < 0$; bằng phẳng: $f' = 0$ |
| Xấp xỉ tuyến tính | $f(x_0 + h) \approx f(x_0) + f'(x_0),h$ | Bước nhỏ theo $h$ đổi loss khoảng $f' \cdot h$ |
| Hướng giảm nhanh nhất (1D) | Đi ngược dấu đạo hàm: $x \leftarrow x - \eta f'(x)$ | Đây chính là mầm mống của gradient descent |
Quy tắc đạo hàm cơ bản cần thuộc:
| $f(x)$ | $f'(x)$ |
|---|---|
| $c$ | $0$ |
| $x^n$ | $n x^{n-1}$ |
| $e^x$ | $e^x$ |
| $\ln x$ | $1/x$ |
| $c \cdot g(x)$ | $c \cdot g'(x)$ |
| $g(x) + h(x)$ | $g'(x) + h'(x)$ |
| $g(x)h(x)$ | $g'h + gh'$ |
Tip: Đọc đồ thị: chỗ đồ thị dốc nhất thì $|f'|$ lớn nhất; chỗ đạt cực trị (đỉnh/đáy) thì tiếp tuyến nằm ngang, $f' = 0$.
2. Chain rule và đạo hàm hàm hợp (1.2)
$$ \frac{d}{dx} f(g(x)) = f'(g(x)) \cdot g'(x) $$
- "Đạo hàm ngoài nhân đạo hàm trong", nhân từ ngoài vào trong.
- Nhiều lớp: $\dfrac{d}{dx} f(g(h(x))) = f'(g(h(x))) \cdot g'(h(x)) \cdot h'(x)$.
| Dạng hàm hợp | Đạo hàm |
|---|---|
| $(ax+b)^n$ | $n(ax+b)^{n-1} \cdot a$ |
| $e^{g(x)}$ | $e^{g(x)} \cdot g'(x)$ |
| $\ln g(x)$ | $g'(x)/g(x)$ |
| $(w x + b - y)^2$ | $2(wx+b-y) \cdot x$ (theo $w$) |
Ví dụ loss đơn giản $L(w) = (w x - y)^2$:
$$\frac{\partial L}{\partial w} = 2(wx - y),x$$
Đây là "động cơ" để cập nhật $w$ trong hồi quy tuyến tính.
3. Đạo hàm riêng và vector gradient (1.3)
This cheatsheet is premium content. Sign in and purchase the course to view the full content. Sign in