Checkpoint: Hạ tầng và serving
Quiz
- Bạn cần chọn hạ tầng cho một job train lại model mỗi tuần 2 lần, mỗi lần khoảng 4 giờ, dữ liệu 20GB nằm trên MinIO. Lựa chọn nào phù hợp nhất theo bài học?
- Spot instance kèm cơ chế ghi checkpoint ra MinIO
- Thuê GPU theo tháng để chắc chắn có máy
- Nâng cấp VPS lên gói cao nhất và chạy 24/7
- Serverless vì trả tiền theo request
- Theo bài học, ba con số cần đo trước khi nhìn bảng giá hạ tầng là gì?
- Số lượng model, kích thước dataset, số phiên bản trong registry
- Request/giây trung bình, request/giây đỉnh, và mức gián đoạn chịu được
- Số người dùng, số GPU, băng thông egress
- Giá mỗi giờ, số vCPU, dung lượng ổ đĩa
- Vì sao online serving thường đắt hơn batch inference với cùng một model?
- Vì online serving luôn cần GPU
- Vì online serving tính tiền theo thời gian process tồn tại, kể cả khi không có request
- Vì online serving không thể chạy trên VPS
- Vì batch inference không cần model
- Image serving của bạn nặng 2,4GB và tốn 1,8GB RAM dù model chỉ 40MB. Theo bài học, việc kiểm tra nào nên làm trước?
- Tăng số worker để chia tải
- Kiểm tra xem có cài bản torch CUDA thay vì bản CPU hoặc onnxruntime, và có thư viện chỉ dùng lúc train nằm trong requirements không
- Chuyển sang serverless ngay
- Mua thêm RAM cho VPS
- Trong capstone phần 1, vì sao nên chạy `mlflow models serve` với `--workers 1` trên VPS 2GB?
- Vì workers 1 giúp tăng độ chính xác của model
- Vì MLflow không hỗ trợ nhiều worker
- Vì mỗi worker load một bản model vào RAM, mặc định 4 worker dễ gây OOM
- Vì nhiều worker làm model dự đoán sai
- Bạn muốn client không phải sửa code khi có phiên bản model mới trong Registry. Cách nào đúng theo bài học?
- Dùng alias (ví dụ `models:/ten-model@champion`) và chuyển alias sang phiên bản mới
- Đặt tên model khác đi mỗi lần có phiên bản mới
- Xóa phiên bản cũ rồi trỏ lại vào số phiên bản mới
- Copy file model mới đè lên file cũ trong container
- Khi log model lên MLflow, để serving biết kiểu dữ liệu đầu vào và tránh nhận request sai schema mà không báo lỗi, bạn cần log kèm ____ và input_example.
- Với tải thất thường, cơ chế đưa số replica về 0 khi không có request được gọi là ____, đổi lại là rủi ro cold start.
- Hãy tự đánh giá phần capstone 1 của bạn: bạn đã có một endpoint thật từ model thật trên hạ tầng rẻ chưa? Đối chiếu với các tiêu chí nghiệm thu trong bài.
- Hãy tự đánh giá khả năng chọn hạ tầng và kiểu serving tiết kiệm của bạn: bạn có giải thích được vì sao chọn VPS, spot hay serverless cho từng thành phần trong pipeline của mình không?
Sign in to submit answers.