刷题 Agent 的失败模式分析什么时候 AI 给的答案靠不住一、Agent 不是永远都对构建了刷题 Agent 之后你会逐渐发现它有一些固定失败模式。不是随机出错而是在特定类型的输入下系统性失败。理解这些失败模式不是为了否定 Agent 的价值而是为了在它能做好的领域让它自动运作在它容易出错的领域引入人工审查或其他兜底机制。这是工程化的思维方式——不追求完美追求可控。二、失败模式的分类flowchart TD A[Agent 失败模式] -- B[模式理解失败] A -- C[约束遗漏失败] A -- D[复杂度误判失败] A -- E[边界遗漏失败] A -- F[过度自信失败] B -- B1[复杂条件判断: if嵌套深] B -- B2[隐含条件: 题目没明确说但必须考虑] B -- B3[多步骤推理: 需要3步以上的推导] C -- C1[忽略时间约束: n10^5 却给 O n² 解] C -- C2[忽略空间约束: 要求O 1 却用 O n] C -- C3[忽略特殊限制: 不能使用除法等] D -- D1[低估嵌套循环: 3层循环以为是2层] D -- D2[高估剪枝效果: 以为能剪掉大部分] D -- D3[忽略递归开销: 栈空间和函数调用] E -- E1[空输入/单元素输入] E -- E2[极大值/极小值] E -- E3[重复元素/相同值] F -- F1[生成的代码有逻辑bug但声称完全正确] F -- F2[复杂度分析错误但语气很确定] F -- F3[生成了不存在的API]三、失败模式检测系统from dataclasses import dataclass, field from typing import Optional, Callable from enum import Enum import re class FailureCategory(Enum): 失败类别 PATTERN_MISUNDERSTANDING pattern_understanding CONSTRAINT_MISSING constraint_missing COMPLEXITY_MISJUDGE complexity_misjudge BOUNDARY_MISSING boundary_missing OVERCONFIDENCE overconfidence dataclass class AgentOutput: Agent 的一次输出 code: str analysis: str problem_description: str constraints: dict language: str python class FailureDetector: 失败模式检测器 在 Agent 输出后、用户看到前自动检测常见失败模式。 检测到问题时可以自动修正、降低置信度、或标记需人工审查。 def detect(self, output: AgentOutput) - dict: 检测所有失败模式返回检测报告 detections { has_failure: False, failures: [], confidence: 1.0, recommendation: pass, # pass / review / reject } # 检测 1约束遗漏 constraint_issues self._check_constraints(output) if constraint_issues: detections[has_failure] True detections[failures].extend(constraint_issues) detections[confidence] - 0.3 * len(constraint_issues) # 检测 2复杂度误判 complexity_issues self._check_complexity(output) if complexity_issues: detections[has_failure] True detections[failures].extend(complexity_issues) detections[confidence] - 0.2 * len(complexity_issues) # 检测 3边界遗漏 boundary_issues self._check_boundaries(output) if boundary_issues: detections[has_failure] True detections[failures].extend(boundary_issues) detections[confidence] - 0.15 * len(boundary_issues) # 检测 4过度自信 overconfidence self._check_overconfidence(output) if overconfidence: detections[failures].append(overconfidence) # 根据置信度给出建议 detections[confidence] max(0.0, detections[confidence]) if detections[confidence] 0.3: detections[recommendation] reject elif detections[confidence] 0.6: detections[recommendation] review else: detections[recommendation] pass return detections def _check_constraints(self, output: AgentOutput) - list[dict]: 检查是否违反了题目约束 例如题目要求 O(n) 但给了 O(n²) 解法 issues [] constraints output.constraints analysis output.analysis # 检查时间约束 if n in constraints: n constraints.get(n) if n and isinstance(n, int) and n 10**5: # n 很大必须 O(n) 或 O(n log n) if O(n²) in analysis or O(n^2) in analysis: issues.append({ category: FailureCategory.CONSTRAINT_MISSING, detail: fn{n} 但给出了 O(n²) 解法会超时, severity: critical, }) # 检查空间约束 if constraints.get(space) O(1): if O(n) in analysis: issues.append({ category: FailureCategory.CONSTRAINT_MISSING, detail: 要求 O(1) 空间但分析显示 O(n), severity: high, }) return issues def _check_complexity(self, output: AgentOutput) - list[dict]: 检查复杂度声明与实际代码是否一致 issues [] code output.code analysis output.analysis # 检测嵌套循环简单启发式 lines code.split(\n) nested_loops 0 in_loop 0 for line in lines: stripped line.strip() if stripped.startswith(for ) or stripped.startswith(while ): in_loop 1 if in_loop 3: nested_loops 3 break # 简化不检测循环结束实际需要 AST 分析 if nested_loops 3 and O(n in analysis and O(n^ not in analysis and O(n² not in analysis): issues.append({ category: FailureCategory.COMPLEXITY_MISJUDGE, detail: ( f代码中有 {nested_loops} 层嵌套循环 f但复杂度声明中未体现 ), severity: high, }) # 检查递归是否分析了栈空间 if def in code and return in code: # 检测递归调用 func_name_match re.search(rdef (\w), code) if func_name_match: func_name func_name_match.group(1) if func_name ( in code.split(def func_name)[-1]: if 栈 not in analysis and stack not in analysis.lower(): issues.append({ category: FailureCategory.COMPLEXITY_MISJUDGE, detail: 使用了递归但未分析栈空间复杂度, severity: medium, }) return issues def _check_boundaries(self, output: AgentOutput) - list[dict]: 检查是否处理了关键边界情况 issues [] code output.code # 检查空输入处理 if def in code and nums in code or arr in code or list in code: if if not not in code and if len not in code and 0 not in code: issues.append({ category: FailureCategory.BOUNDARY_MISSING, detail: 未检测到空数组的边界处理, severity: medium, }) # 检查除零保护 if / in code and if not in code.split(/)[0].rsplit(\n, 1)[-1]: if ! 0 not in code and 0 not in code: pass # 不是所有除法都需要保护降低误报 return issues def _check_overconfidence(self, output: AgentOutput) - Optional[dict]: 检查过度自信的标志 analysis output.analysis # 过度自信的语言特征 overconfident_phrases [ (显然, 算法分析中使用显然可能掩盖了推导漏洞), (容易看出, 如果容易看出后面没有解释可能是理解不到位的信号), (一定正确, 100% 确定的表述在算法验证中需要警惕), ] for phrase, explanation in overconfident_phrases: if phrase in analysis: return { category: FailureCategory.OVERCONFIDENCE, detail: f发现过度自信表述: {phrase}——{explanation}, severity: low, } return None四、如何利用失败模式分析4.1 构建检测先验规则将已知的失败模式编码为检测规则在 Agent 输出后自动运行。检测到问题后critical/high 级别拒绝输出触发重新生成medium 级别标记为需人工审查low 级别仅记录日志不阻塞流程4.2 反馈给 Agent 自身将检测到的问题反馈给 Agent让它根据反馈修正。这构成了检测-反馈-修正的闭环。4.3 统计与趋势记录各失败模式的出现频率形成 Agent 的能力画像。如果约束遗漏占比 30%说明需要加强约束感知能力——比如在 prompt 中显式强调约束条件。五、总结AI Agent 的失败不是随机的而是有模式的。识别这些模式建立自动检测机制是为 Agent 构建安全护栏的关键步骤。不追求 Agent 永远不犯错不现实追求的是当它犯错时能检测到、能补救、能避免把错误输出给用户。
