Version: 0.9.14.dev.260410

后端:
  1. LLM 客户端从 newAgent/llm 提升为 infra/llm 基础设施层
     - 删除 backend/newAgent/llm/(ark.go / ark_adapter.go / client.go / json.go)
     - 等价迁移至 backend/infra/llm/,所有 newAgent node 与 service 统一改引用 infrallm
     - 消除 newAgent 对模型客户端的私有依赖,为 memory / websearch 等多模块复用铺路
  2. RAG 基础设施完成可运行态接入(factory / runtime / observer / service 四层成型)
     - 新建 backend/infra/rag/factory.go / runtime.go / observe.go / observer.go /
  service.go:工厂创建、运行时生命周期、轻量观测接口、检索服务门面
     - 更新 infra/rag/config/config.go:补齐 Milvus / Embed / Reranker 全部配置项与默认值
     - 更新 infra/rag/embed/eino_embedder.go:增强 Eino embedding 适配,支持 BaseURL / APIKey 环境变量 / 超时 /
  维度等参数
     - 更新 infra/rag/store/milvus_store.go:完整实现 Milvus 向量存储(建集合 / 建 Index / Upsert / Search /
  Delete),支持 COSINE / L2 / IP 度量
     - 更新 infra/rag/core/pipeline.go:适配 Runtime 接口,Pipeline 由 factory 注入而非手动拼装
     - 更新 infra/rag/corpus/memory_corpus.go / vector_store.go:对接 Memory 模块数据源与 Store 接口扩展
  3. Memory 模块从 Day1 骨架升级为 Day2 完整可运行态
     - 新建 memory/module.go:统一门面 Module,对外封装 EnqueueExtract / ReadService / ManageService / WithTx /
  StartWorker,启动层只依赖这一个入口
     - 新建 memory/orchestrator/llm_write_orchestrator.go:LLM 驱动的记忆抽取编排器,替代原 mock 抽取
     - 新建 memory/service/read_service.go:按用户开关过滤 + 轻量重排 + 访问时间刷新的读取链路
     - 新建 memory/service/manage_service.go:记忆管理面能力(列出 / 软删除 / 开关读写),删除同步写审计日志
     - 新建 memory/service/common.go:服务层公共工具
     - 新建 memory/worker/loop.go:后台轮询循环 RunPollingLoop,定时抢占 pending 任务并推进
     - 新建 memory/utils/audit.go / settings.go:审计日志构造、用户设置过滤等纯函数
     - 更新 memory/model/item.go / job.go / settings.go / config.go / status.go:补齐 DTO 字段与状态常量
     - 更新 memory/repo/item_repo.go / job_repo.go / audit_repo.go / settings_repo.go:补齐 CRUD 与查询能力
     - 更新 memory/worker/runner.go:Runner 对接 Module 与 LLM 抽取器,任务状态机完整化
     - 更新 memory/README.md:同步模块现状说明
  4. newAgent 接入 Memory 读取注入与工具注册依赖预埋
     - 新建 service/agentsvc/agent_memory.go:定义 MemoryReader 接口 + injectMemoryContext,在 graph
  执行前统一补充记忆上下文
     - 更新 service/agentsvc/agent.go:新增 memoryReader 字段与 SetMemoryReader 方法
     - 更新 service/agentsvc/agent_newagent.go:调用 injectMemoryContext 注入 pinned block,检索失败仅降级不阻断主链路
     - 更新 newAgent/tools/registry.go:新增 DefaultRegistryDeps(含 RAGRuntime),工具注册表支持依赖注入
  5. 启动流程与事件处理器接线更新
     - 更新 cmd/start.go:初始化 RAG Runtime → Memory Module → 注册事件处理器 → 启动 Worker 后台轮询
     - 更新 service/events/memory_extract_requested.go:改用 memory.Module.WithTx(tx) 统一门面,事件处理器不再直接依赖
  repo/service 内部包
  6. 缓存插件与配置同步
     - 更新 middleware/cache_deleter.go:静默忽略 MemoryJob / MemoryItem / MemoryAuditLog / MemoryUserSetting
  等新模型,避免日志刷屏;清理冗余注释
     - 更新 config.example.yaml:补齐 rag / memory / websearch 配置段及默认值
     - 更新 go.mod / go.sum:新增 eino-ext/openai / json-patch / go-openai 依赖
  前端:无 仓库:无
This commit is contained in:
Losita
2026-04-10 23:17:38 +08:00
parent fae162162a
commit bf1f1defa5
53 changed files with 5875 additions and 231 deletions

View File

@@ -1,28 +1,76 @@
# Memory 模块Day1 骨架)
# Memory 模块现状说明
## 本轮目标
## 当前已打通的链路
1. 打通 `memory.extract.requested` 事件发布与消费
2. 消费后把任务可靠写入 `memory_jobs`(支持幂等)
3. 提供 `worker.RunOnce()`,可手工推进 `pending -> processing -> success/failed`
1. 用户消息落聊天历史时,会通过 outbox 发布 `memory.extract.requested`
2. 事件消费者只负责把请求幂等写入 `memory_jobs`,不在消费回调里做重 LLM 计算
3. 启动期会拉起 `memory worker`,后台轮询 `memory_jobs`
4. worker 抢占任务后,调用 `backend/infra/llm` 驱动的记忆抽取编排器。
5. 抽取结果会被标准化后写入 `memory_items`,同时写入 `memory_audit_logs`
6. 全部落库成功后,任务状态推进到 `success`;失败则走可重试状态机。
## 本轮边界(刻意不做)
## 当前目录职责
1. 不接真实 LLM 抽取与冲突决策
2. 不接 Milvus 向量召回
3. 不做读取注入链路Day2 再接)
- `module.go`:对外统一门面,负责组装 repo / service / worker / orchestrator
- `model/`:记忆模块 DTO、状态常量、配置对象
- `repo/``memory_jobs / memory_items / memory_audit_logs / memory_user_settings` 访问层
- `service/`:任务入队、读取重排、管理维护、配置加载。
- `orchestrator/`:记忆抽取编排。
- `write_orchestrator.go` 是纯本地 fallback。
- `llm_write_orchestrator.go` 是当前主用的 LLM 抽取器。
- `worker/`:任务执行器与后台轮询循环。
- `utils/`JSON 提取、候选事实标准化、设置过滤、审计构造等纯函数工具。
## 目录说明
## 当前已补齐的内部能力
- `model/`:记忆领域 DTO、状态机、配置对象。
- `repo/``memory_*` 表访问
- `service/`:任务入队门面与配置加载
- `orchestrator/`写入链路编排Day1 为 mock 抽取)
- `worker/`:任务执行器(支持手工触发单次运行)。
- `utils/``ExtractJSON``NormalizeFacts` 等工具函数
1. `Module`
- 负责把 repo / service / worker / orchestrator 组装成统一门面
- 外部现在优先依赖 `memory.Module`,而不是自己手搓内部组件
- 支持 `WithTx(tx)`,方便接入现有统一事务管理器
2. `EnqueueService`
- 负责把 `memory.extract.requested` 事件转成 `memory_jobs`,不做重 LLM 计算
3. `Runner + RunPollingLoop`
- 负责后台轮询任务、调用抽取器、写入 `memory_items`、补写 `memory_audit_logs`
4. `ReadService`
- 负责在 memory 内部做“按用户开关过滤 + 轻量重排 + 访问时间刷新”。
- 当前还没有接到 `newAgent` prompt 注入侧,这是刻意保留的切流点。
5. `ManageService`
- 负责记忆管理面能力:列出记忆、软删除记忆、读取/更新用户记忆开关。
- 删除动作会同步写入审计日志,保证“有变更就有审计”。
## 手工验证建议
## 当前推荐接入姿势
1. 发起一轮聊天后,检查 outbox 是否存在 `memory.extract.requested`
2. 等待消费后,检查 `memory_jobs` 是否新增 `pending` 记录。
3. 手工调用 `worker.RunOnce()`,确认任务推进到 `success/failed`
1. 启动阶段统一创建:
- `memoryModule := memory.NewModule(db, llmClient, memory.LoadConfigFromViper())`
2. 后台 worker 启动:
- `memoryModule.StartWorker(ctx)`
3. 事务内写入记忆任务:
- `memoryModule.WithTx(tx).EnqueueExtract(ctx, payload, eventID)`
4. 后续 agent 读取:
- 直接调用 `memoryModule.Retrieve(...)`
## 当前实现边界
1. 已实现异步写入链路,也已补齐 memory 内部读取与管理能力,但还没有接“读取召回 + prompt 注入”。
2. 已实现 MySQL 事实落库,但还没有接 Milvus 向量同步。
3. 已实现 LLM 抽取和基础审计日志,但还没有做 `ADD/UPDATE/DELETE/NONE` 决策型冲突消解。
4. 当前更偏“先把 memory 自己的闭环打通”,后续再继续做 agent 注入、向量检索和冲突更新。
## 当前推荐验证方式
1. 发起一条用户消息,确认 outbox 中生成 `memory.extract.requested`
2. 等待事件消费后,确认 `memory_jobs` 出现 `pending` 或被 worker 抢占为 `processing`
3. 等待后台 worker 执行后,确认:
- `memory_jobs.status = success`
- `memory_items` 出现新记忆
- `memory_audit_logs` 出现对应 `create` 记录
4. 直接调用 `ManageService`
- `ListItems` 能列出 active/archived 记忆
- `DeleteItem` 会把状态改成 `deleted`,并新增一条 `delete` 审计
- `GetUserSetting / UpsertUserSetting` 能返回并更新用户记忆开关
## 下一步建议
1.`ReadService` 接进 `newAgent`,先注入“偏好 / 约束 / 最近 todo_hint”三类高价值记忆。
2. 引入向量召回与 rerank把“当前话题相关的事实类记忆”补进候选集合。
3. 再补 `ADD/UPDATE/DELETE/NONE` 决策,解决“同义记忆去重”和“旧记忆更新”。