Đánh giá agent và tiêu chí chọn kiến trúc

By Ngọc Vương Trương

Bài trước ta đã chốt chuyện memory: cái gì giữ trong context, cái gì đẩy ra state store hay vector store, và khi nào thì cắt bớt lịch sử. Giờ đến câu hỏi cuối của module: làm sao biết một agent đang chạy tốt, và khi có nhiều lựa chọn kiến trúc thì chọn cái nào. Đây là bài đặt nền trực tiếp cho checkpoint ngay sau, nên mình sẽ đi theo hướng "có bảng tiêu chí trong tay rồi mới biện luận", chứ không chọn theo cảm giác.

Sau bài này, bạn cần làm được:

• Giải thích vì sao đánh giá agent phải nhìn cả trajectory, không chỉ output cuối.
• Lập được bảng tiêu chí bốn trục: độ chính xác, chi phí, độ trễ, khả năng kiểm soát.
• Chọn được metric và dựng một eval set nhỏ nhưng đủ dùng.
• Biện luận cho một lựa chọn kiến trúc cụ thể bằng số liệu, không bằng cảm tính.

Vì sao chấm điểm agent khó hơn chấm một lần gọi LLM

Một lần gọi LLM là hàm gần như thuần: input vào, output ra, so khớp được. Agent thì khác ở ba điểm, và cả ba đều làm việc đánh giá rối lên.

Thứ nhất, agent chạy nhiều bước và lỗi tích lũy. Observation sai ở bước 2 thì bước 5 lệch theo, output cuối sai nhưng nguyên nhân nằm ở giữa. Thứ hai, agent không deterministic: cùng prompt, chạy ba lần ra ba trajectory khác nhau, nên một lần chạy đúng không chứng minh được gì. Thứ ba, output đúng chưa chắc đã tốt: agent trả lời đúng nhưng gọi tool 12 lần và đốt 40k token vẫn là lỗi vận hành, chỉ là lỗi chưa lộ ra ở tầng kết quả.

Kết luận thực dụng: đánh giá agent phải có hai tầng. Tầng outcome trả lời "đúng hay sai", tầng trajectory trả lời "đi đường nào, tốn bao nhiêu, có bước thừa không".

Bốn trục tiêu chí, và cái nào là ràng buộc cứng

Đây là bảng bạn sẽ mang đi họp. Giữ nó ngắn, đừng thêm trục thứ năm nếu chưa ai hỏi.

This lesson is premium content. Sign in and purchase the course to view the full content. Sign in