Capstone hoàn chỉnh: pipeline end-to-end và báo cáo chi phí

By Ngọc Vương Trương

Bài trước bạn đã có phần monitoring rẻ: chỉ lưu summary statistics theo giờ và tính PSI thay vì ghi từng request. Bạn cũng đã có checklist vận hành và danh sách cạm bẫy chi phí. Giờ là lúc ghép mọi mảnh rời đó thành một thứ chạy được thật: train, deploy, monitor, và một bảng chi phí bằng số.

Vì sao phải làm capstone này cho tử tế

Một notebook train ra accuracy 0.91 không chứng minh được gì. Thứ chứng minh năng lực MLOps là: chạy lại pipeline từ dữ liệu thô bằng một lệnh, model vào registry có phiên bản, endpoint trả lời được, và bạn biết mỗi 1000 dự đoán tốn bao nhiêu tiền. Đó là ba câu hỏi mà người phỏng vấn hoặc khách hàng sẽ hỏi.

flowchart TD
    Data["📦<br/>Dữ liệu thô"] --> Prep["🧹<br/>Làm sạch (DVC stage)"]
    Prep --> Train["🏋️<br/>Train"]
    Train --> Track["📊<br/>MLflow tracking"]
    Track --> Reg["🗂️<br/>Model Registry"]
    Reg --> Build["🐳<br/>Build image slim"]
    Build --> Serve["🚀<br/>Serving trên VPS"]
    Serve --> Mon["👀<br/>Summary stats + PSI"]
    Mon --> Report["🧾<br/>Báo cáo chi phí"]

Bản đặc tả: pipeline phải làm được gì

Sáu yêu cầu, không hơn, để capstone vẫn gói trong một buổi làm:

1. Dữ liệu có version bằng DVC, dvc repro chạy lại từ raw tới model mà không sửa tay bước nào.
2. Mỗi lần train ghi params, metrics, artifact vào MLflow; model đăng ký vào registry và được promote lên stage Production.
3. Serving bằng container nhẹ, có /health và /predict, chạy trên VPS rẻ.
4. Monitoring lưu summary stats theo giờ và PSI so với baseline train, cảnh báo khi PSI vượt ngưỡng.
5. Smoke test sau mỗi lần deploy: gọi /health và một mẫu /predict, so kết quả với lần chạy local.
6. Báo cáo chi phí theo tháng, có cột cost per 1000 predictions.

This lesson is premium content. Sign in and purchase the course to view the full content. Sign in