# ✅ Checkpoint: Hạ tầng và serving By Ngọc Vương Trương ## Quiz 1. Bạn cần chọn hạ tầng cho một job train lại model mỗi tuần 2 lần, mỗi lần khoảng 4 giờ, dữ liệu 20GB nằm trên MinIO. Lựa chọn nào phù hợp nhất theo bài học? - Spot instance kèm cơ chế ghi checkpoint ra MinIO - Thuê GPU theo tháng để chắc chắn có máy - Nâng cấp VPS lên gói cao nhất và chạy 24/7 - Serverless vì trả tiền theo request 2. Theo bài học, ba con số cần đo trước khi nhìn bảng giá hạ tầng là gì? - Số lượng model, kích thước dataset, số phiên bản trong registry - Request/giây trung bình, request/giây đỉnh, và mức gián đoạn chịu được - Số người dùng, số GPU, băng thông egress - Giá mỗi giờ, số vCPU, dung lượng ổ đĩa 3. Vì sao online serving thường đắt hơn batch inference với cùng một model? - Vì online serving luôn cần GPU - Vì online serving tính tiền theo thời gian process tồn tại, kể cả khi không có request - Vì online serving không thể chạy trên VPS - Vì batch inference không cần model 4. Image serving của bạn nặng 2,4GB và tốn 1,8GB RAM dù model chỉ 40MB. Theo bài học, việc kiểm tra nào nên làm trước? - Tăng số worker để chia tải - Kiểm tra xem có cài bản torch CUDA thay vì bản CPU hoặc onnxruntime, và có thư viện chỉ dùng lúc train nằm trong requirements không - Chuyển sang serverless ngay - Mua thêm RAM cho VPS 5. Trong capstone phần 1, vì sao nên chạy `mlflow models serve` với `--workers 1` trên VPS 2GB? - Vì workers 1 giúp tăng độ chính xác của model - Vì MLflow không hỗ trợ nhiều worker - Vì mỗi worker load một bản model vào RAM, mặc định 4 worker dễ gây OOM - Vì nhiều worker làm model dự đoán sai 6. Bạn muốn client không phải sửa code khi có phiên bản model mới trong Registry. Cách nào đúng theo bài học? - Dùng alias (ví dụ `models:/ten-model@champion`) và chuyển alias sang phiên bản mới - Đặt tên model khác đi mỗi lần có phiên bản mới - Xóa phiên bản cũ rồi trỏ lại vào số phiên bản mới - Copy file model mới đè lên file cũ trong container 7. Khi log model lên MLflow, để serving biết kiểu dữ liệu đầu vào và tránh nhận request sai schema mà không báo lỗi, bạn cần log kèm ____ và input_example. 8. Với tải thất thường, cơ chế đưa số replica về 0 khi không có request được gọi là ____, đổi lại là rủi ro cold start. 9. Hãy tự đánh giá phần capstone 1 của bạn: bạn đã có một endpoint thật từ model thật trên hạ tầng rẻ chưa? Đối chiếu với các tiêu chí nghiệm thu trong bài. 10. Hãy tự đánh giá khả năng chọn hạ tầng và kiểu serving tiết kiệm của bạn: bạn có giải thích được vì sao chọn VPS, spot hay serverless cho từng thành phần trong pipeline của mình không? --- ## Contents Part of [💸 Tự dựng pipeline MLOps end-to-end trên hạ tầng rẻ](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re.md) - **🧱 Nền tảng MLOps và bộ công cụ OSS tự host** - [🗺️ MLOps là gì và bản đồ chi phí hạ tầng](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/mlops-cost-map.md) - [🧰 Bộ công cụ OSS thay thế dịch vụ trả tiền: MLflow, DVC, MinIO](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/oss-stack-mlflow-dvc-minio.md) (sign-in required) - [🛠️ Thực hành: dựng stack OSS tự host trên một VPS rẻ](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/self-host-oss-stack-on-vps.md) - [✅ Checkpoint: Nền tảng và stack OSS](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/checkpoint-foundations-oss-stack.md) - **🖥️ Hạ tầng rẻ và phục vụ model tiết kiệm** - [⚡ Chọn hạ tầng rẻ: VPS, spot instance, serverless](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/cheap-infra-vps-spot-serverless.md) - [📦 Phục vụ model tiết kiệm: batch, container nhẹ, autoscale](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/cheap-model-serving-patterns.md) - [🚀 Capstone phần 1: train, đăng ký model và deploy lên hạ tầng rẻ](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/capstone-train-register-deploy.md) - [✅ Checkpoint: Hạ tầng và serving](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/checkpoint-infra-and-serving.md) — this lesson - **📈 Monitoring chi phí thấp và hoàn thiện capstone** - [🔍 Monitoring và logging chi phí thấp](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/low-cost-monitoring-logging.md) - [⚠️ Cạm bẫy chi phí và checklist vận hành](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/cost-pitfalls-and-ops-checklist.md) - [🏁 Capstone hoàn chỉnh: pipeline end-to-end và báo cáo chi phí](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/capstone-end-to-end-pipeline-report.md) (premium content) - [✅ Checkpoint: Monitoring và capstone](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/checkpoint-monitoring-and-capstone.md) (premium content) - [Course cheatsheet](https://everwise.study/courses/tu-dung-pipeline-mlops-end-to-end-tren-ha-tang-re/cheatsheet.md) (premium content)