Context Window Anxiety Management

Nikola Balic (@nibzard)· emerging

问题

像Claude Sonnet 4.5这类模型会表现出“上下文焦虑(context anxiety)”——它们会察觉到自身正接近上下文窗口(context window)的上限,即便仍有充足的上下文可用,也会主动总结进展或采取决定性行动来收尾任务。这会引发以下问题:

  • 任务提前完成,采取取巧操作
  • 尽管拥有充足上下文,工作仍未完成
  • 对剩余token容量的低估(估算始终存在偏差)
  • 自我施加“收尾”压力,而非继续推进工作

方案

实施策略性上下文(context)预算管理与激进式提示(prompt)技术,消除模型的焦虑驱动行为:

1. 上下文缓冲区(Context Buffer)策略

  • 启用更大的上下文窗口(例如,100万token测试版本),但将实际使用量限制在20万token以内
  • 提供心理“缓冲余量”,缓解模型对存储空间耗尽的焦虑

2. 激进式对抗提示技术

  • 在对话起始阶段添加明确提醒:“你仍有充足的上下文余量——请勿急于完成任务”
  • 在对话结尾处添加强化提示:“请从容处理,上下文并非限制因素”
  • 通过直接指令压制模型的提前概括冲动

3. Token 预算透明化

  • 在prompt中明确告知可用的token预算
  • 定期向模型重申剩余容量,持续打消其顾虑
  • 抵消模型低估可用空间的固有倾向
# 上下文焦虑缓解方案
def setup_context_anxiety_management():
    context_buffer = enable_large_context(1M_tokens)  # 启用100万token级大上下文窗口
    actual_limit = cap_usage_at(200k_tokens)          # 将实际使用上限设定为20万token
    
    prompt_prefix = """
    上下文指导(CONTEXT GUIDANCE):你拥有充足的上下文空间(可用token达20万以上)。
    请勿急于完成任务或提前进行概括。
    请全面、完整地处理每一个步骤。
    """
    
    prompt_suffix = """
    请记住:上下文并非限制因素。请从容处理,确保全面细致。
    """
    
    return enhanced_prompt(prefix + user_input + suffix)  # 返回增强后的提示词(prompt)

如何使用

当使用表现出上下文感知(context awareness)及焦虑行为的模型时,适用以下场景:

  • 开发工作:过早完成会损害质量的长时段编码任务
  • 研究任务:需要持续专注的多步骤分析工作
  • 复杂规划:需先充分探索再得出结论的任务

需留意上下文焦虑(context anxiety)的迹象:突然总结内容、仓促作出决策,或是明确提及「空间不足(running out of space)」。

权衡

  • 优点: 防止任务过早中止;使工作更彻底细致;克服特定模型的行为特性偏差
  • 缺点: 需针对特定模型进行调优;可能增加实际token使用量;激进式prompt会带来额外开销

参考文献

关键词

Cognition AI官方博客文章,围绕AI工具Devin与Claude Sonnet 4.5展开,梳理相关实践过程中的经验教训及面临的挑战。

来源摘要

正在获取来源并生成中文摘要…

来源: https://cognition.ai/blog/devin-sonnet-4-5-lessons-and-challenges

← 返回社区