IBMリサーチ、AIエージェントの連続タスク失敗率を半減へ
GPT-4.1はAppWorldのタスクを77%の確率で解決したが、同じ成功を5回連続で達成できたのは53%にとどまった。
- コンシステンシー・アナライザーは、コイン投げのような不確実なステップを捉えるため、各エージェントの決定ポイントを5回再サンプリングする。
- AppWorldにおけるPass^5の一貫性は53.0%から69.0%へと上昇し、16ポイントの改善となった。
- 中程度の難易度のタスクは22.9ポイント上昇し、同じガイドラインからの関連タスクは13.0ポイント改善した。
なぜ重要か: 一度成功してやり直しで失敗する場合、そのスキルは身についておらず、単なる運にすぎないことを意味する。