更新于 2026/05/24 12:55
论文揭示 LLM Agent 在后端代码生成中的约束衰减问题
新论文《Constraint Decay》发现,LLM Agent 在生成后端代码时,随着对话轮次增加,对原始约束(如数据库 schema、API 签名、安全规则)的遵循程度持续下降。实验覆盖 GPT-4o、Claude 3.5 Sonnet 等模型,在 10+ 轮交互后约束遵循率平均下降 30-50%。
核心问题在于 Agent 的上下文窗口虽大,但模型对早期约束的注意力随 token 位置衰减,且工具调用返回的中间结果会稀释原始指令信号。论文提出 Constraint Decay 度量框架,并验证了显式约束注入(每轮重述关键规则)可缓解衰减,但无法完全消除。
该发现对后端工程中依赖 Agent 自动生成 CRUD、API 路由、ORM 代码的实践提出警示:长链路代码生成任务需要约束检查层或外部状态机来保证输出一致性,而非单纯依赖模型上下文。
速读
LLM Agent 在多轮后端代码生成中约束遵循率下降 30-50%
相关源 (1)
- HN frontpage · 2026/5/24 12:55:53https://arxiv.org/abs/2605.06445