IBM Research reduce casi a la mitad los fallos en tareas repetitivas de agentes de IA
GPT-4.1 resolvió tareas de AppWorld el 77% de las veces, pero repitió el mismo éxito en cinco intentos seguidos solo el 53% de las veces.
- El Analizador de Consistencia vuelve a muestrear cada punto de decisión del agente cinco veces para detectar pasos de tira y afloja.
- La consistencia Pass^5 subió del 53,0% al 69,0%, una ganancia de 16 puntos en AppWorld.
- Las tareas de dificultad media aumentaron 22,9 puntos y las tareas relacionadas mejoraron 13,0 puntos con las mismas directrices.
Por qué importa: Aprobar una vez y fallar en el reintento significa que la habilidad nunca estuvo ahí, solo fue suerte.