Vibecape
Context 系统

Context 系统

Context 系统

Context 系统是 Vibecape 的 AI 对话上下文管理核心,负责整合各种信息源,构建最优的消息列表发送给 LLM。

什么是 Context 系统?

Context 系统解决的是 AI 对话中的核心挑战:

  • Token 限制:模型有固定的上下文窗口(如 128K、200K tokens)
  • 信息密度:需要确保发送的信息最有价值,避免"噪音"
  • 记忆持久性:重要信息不能因为滑动窗口而丢失
  • 响应延迟:过长的上下文会增加推理延迟和成本
  • 工具调用开销:工具结果可能非常大,需要智能压缩

核心功能

上下文构建

ContextBuilder 整合多种上下文来源:

  1. System Prompt (20%):Hero 的系统提示词
  2. Thread Summary (10%):会话摘要(压缩的历史对话)
  3. Long-term Memory (10%):长期记忆检索(RAG)
  4. Recent Messages (55%):近期消息(滑动窗口)
  5. Current Input (5%):当前用户输入
  6. Instruction Pinning:在上下文末尾重复指令,保持专注

Token 管理

智能的 Token 计数和预算控制:

  • 快速估算:使用字符计数,避免调用 tokenizer API
  • 预算跟踪:实时跟踪各部分的使用情况
  • 智能截断:在句子边界截断文本,保留语义完整性
  • 动态调整:根据预算自动调整各部分的占比

记忆管理

双层记忆系统:

  • 会话摘要:压缩单个会话的历史对话

    • 增量生成:新摘要与旧摘要合并
    • 双层触发:消息数阈值 + Token 阈值
    • 异步更新:不阻塞主流程
  • 长期记忆:跨会话的持久化记忆

    • 语义检索:基于向量相似度的 RAG 检索
    • 自动提取:每轮对话后自动分析并保存
    • 智能合并:相似记忆自动合并,避免重复

文档导航

核心概念

  • 系统概述 - Context 系统的整体架构和核心概念
  • 数据模型 - Context 系统的数据结构和存储方式

实现细节

集成与使用

  • 系统集成 - Context 系统与外界的关系和集成方式

相关资源