Context 系统
Context 系统
Context 系统
Context 系统是 Vibecape 的 AI 对话上下文管理核心,负责整合各种信息源,构建最优的消息列表发送给 LLM。
什么是 Context 系统?
Context 系统解决的是 AI 对话中的核心挑战:
- Token 限制:模型有固定的上下文窗口(如 128K、200K tokens)
- 信息密度:需要确保发送的信息最有价值,避免"噪音"
- 记忆持久性:重要信息不能因为滑动窗口而丢失
- 响应延迟:过长的上下文会增加推理延迟和成本
- 工具调用开销:工具结果可能非常大,需要智能压缩
核心功能
上下文构建
ContextBuilder 整合多种上下文来源:
- System Prompt (20%):Hero 的系统提示词
- Thread Summary (10%):会话摘要(压缩的历史对话)
- Long-term Memory (10%):长期记忆检索(RAG)
- Recent Messages (55%):近期消息(滑动窗口)
- Current Input (5%):当前用户输入
- Instruction Pinning:在上下文末尾重复指令,保持专注
Token 管理
智能的 Token 计数和预算控制:
- 快速估算:使用字符计数,避免调用 tokenizer API
- 预算跟踪:实时跟踪各部分的使用情况
- 智能截断:在句子边界截断文本,保留语义完整性
- 动态调整:根据预算自动调整各部分的占比
记忆管理
双层记忆系统:
-
会话摘要:压缩单个会话的历史对话
- 增量生成:新摘要与旧摘要合并
- 双层触发:消息数阈值 + Token 阈值
- 异步更新:不阻塞主流程
-
长期记忆:跨会话的持久化记忆
- 语义检索:基于向量相似度的 RAG 检索
- 自动提取:每轮对话后自动分析并保存
- 智能合并:相似记忆自动合并,避免重复
文档导航
核心概念
实现细节
集成与使用
- 系统集成 - Context 系统与外界的关系和集成方式
相关资源
- Hero 系统文档 - AI 智能体系统
- Agent Tools 文档 - Hero 可用的工具
- Repository 架构 - 仓库系统架构