IBM Research giảm gần một nửa lỗi lặp lại của AI agent
GPT-4.1 giải quyết các tác vụ AppWorld 77% thời gian nhưng chỉ lặp lại thành công tương tự trong năm lần thử liên tiếp với tỷ lệ 53%.
- Consistency Analyzer lấy mẫu lại từng điểm quyết định của agent năm lần để bắt lỗi những bước tung đồng xu.
- Độ nhất quán Pass^5 tăng từ 53,0% lên 69,0%, mức tăng 16 điểm trên AppWorld.
- Các tác vụ độ khó trung bình tăng 22,9 điểm; các tác vụ liên quan cải thiện 13,0 điểm từ cùng bộ hướng dẫn.
Vì sao quan trọng: Thành công một lần rồi thất bại khi thử lại có nghĩa là kỹ năng đó chưa từng tồn tại, tất cả chỉ là may mắn.