# ✅ Checkpoint: nền tảng toán của Policy Gradient

By Everwise Intern



## Quiz

1. Policy có 3 hành động với xác suất 0.5, 0.3, 0.2 và phần thưởng tương ứng 1, 2, 10. Kỳ vọng phần thưởng của policy này bằng bao nhiêu?
   - 13 (tổng phần thưởng)
   - 2.0 (chỉ lấy phần thưởng lớn nhất nhân xác suất nhỏ nhất)
   - 3.1
   - 4.33 (trung bình cộng của 1, 2, 10)
2. Với J(θ) = -(θ - 3)², tốc độ học α = 0.1 và khởi đầu θ = 0, sau một bước gradient ascent thì θ bằng bao nhiêu?
   - 0.6
   - -0.6
   - 6.0
   - 0.3
3. Vì sao trong biểu thức ∇θ J(θ) = Στ ∇θ P(τ|θ) · R(τ), gradient chỉ tác động lên P(τ|θ) mà không lên R(τ)?
   - Vì R(τ) luôn bằng 0 trong mọi episode
   - Vì ta cố tình bỏ qua R(τ) để công thức gọn hơn
   - Vì R(τ) là hằng số theo θ: phần thưởng do môi trường trả về, không phụ thuộc tham số policy
   - Vì R(τ) là hàm khả vi của θ nhưng đạo hàm của nó triệt tiêu
4. Đẳng thức lõi của log-derivative trick được phát biểu đúng là:
   - ∇θ log pθ(x) = pθ(x) · ∇θ pθ(x)
   - ∇θ pθ(x) = ∇θ log pθ(x) / pθ(x)
   - ∇θ pθ(x) = pθ(x) · ∇θ log pθ(x)
   - ∇θ pθ(x) = log pθ(x) · ∇θ pθ(x)
5. Sau khi áp dụng log-derivative trick và phân rã xác suất quỹ đạo, công thức gradient cuối cùng của policy gradient là gì?
   - ∇θ J(θ) = E[ (Σt ∇θ log πθ(at|st)) · R(τ) ]
   - ∇θ J(θ) = E[ Σt ∇θ P(st+1|st, at) · R(τ) ]
   - ∇θ J(θ) = E[ ∇θ R(τ) ]
   - ∇θ J(θ) = E[ Σt log πθ(at|st) + R(τ) ]
6. Trong PyTorch, optimizer mặc định giảm loss. Bạn có logp (log xác suất hành động đã chọn) và R (phần thưởng). Dòng code nào đúng với mục tiêu gradient ascent?
   - loss = -(logp * R).mean()
   - loss = (logp * R).mean()
   - loss = (logp / R).mean()
   - loss = -R.mean() (không cần logp)
7. Theo quy tắc chuỗi cho hàm log, ta có ∇θ log pθ(x) = ∇θ pθ(x) / pθ(x), với điều kiện ____ để phép log hợp lệ.
8. Với policy softmax trên logits z, gradient của log xác suất theo z có dạng: vector one-hot của hành động a trừ đi ____.
9. Trong công thức cập nhật θ ← θ + α ∇θ J(θ), đại lượng α được gọi là ____.
10. Hãy tự chứng minh log-derivative trick trên giấy: từ ∇θ log pθ(x) = ∇θ pθ(x) / pθ(x), suy ra ∇θ pθ(x) = pθ(x) ∇θ log pθ(x), rồi giải thích bằng lời vì sao đẳng thức này giúp ước lượng gradient của J(θ) = E[f(x)] bằng lấy mẫu Monte Carlo.


---

## Contents

Part of [🎯 Policy Gradient cho người mới: từ toán nền tảng đến đồ án REINFORCE](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce.md)

- **🧮 Nền tảng toán cho Policy Gradient**
  - [📐 Ôn nhanh: kỳ vọng, gradient và quy tắc chuỗi](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/quick-review-expectation-gradient-chain-rule.md)
  - [🔑 Log-derivative trick: vì sao đạo hàm của log xác suất lại hữu ích](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/log-derivative-trick-explained.md) (sign-in required)
  - [🧭 Từ mục tiêu phần thưởng đến công thức cập nhật policy](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/policy-gradient-theorem-intuition.md)
  - [✅ Checkpoint: nền tảng toán của Policy Gradient](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/checkpoint-policy-gradient-math.md) — this lesson
- **🛠️ Đồ án: cài đặt REINFORCE và giảm variance**
  - [📉 Giảm variance với baseline và advantage](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/variance-reduction-baseline-advantage-project.md)
  - [📊 Huấn luyện, vẽ biểu đồ và đánh giá kết quả đồ án](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/train-plot-evaluate-capstone-project.md)
  - [✅ Checkpoint: cài đặt REINFORCE và giảm variance](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/checkpoint-reinforce-and-variance-reduction.md)
- [Course cheatsheet](https://everwise.study/courses/policy-gradient-cho-nguoi-moi-tu-toan-nen-tang-den-do-an-reinforce/cheatsheet.md) (premium content)