后端:
1. LLM 客户端从 newAgent/llm 提升为 infra/llm 基础设施层
- 删除 backend/newAgent/llm/(ark.go / ark_adapter.go / client.go / json.go)
- 等价迁移至 backend/infra/llm/,所有 newAgent node 与 service 统一改引用 infrallm
- 消除 newAgent 对模型客户端的私有依赖,为 memory / websearch 等多模块复用铺路
2. RAG 基础设施完成可运行态接入(factory / runtime / observer / service 四层成型)
- 新建 backend/infra/rag/factory.go / runtime.go / observe.go / observer.go /
service.go:工厂创建、运行时生命周期、轻量观测接口、检索服务门面
- 更新 infra/rag/config/config.go:补齐 Milvus / Embed / Reranker 全部配置项与默认值
- 更新 infra/rag/embed/eino_embedder.go:增强 Eino embedding 适配,支持 BaseURL / APIKey 环境变量 / 超时 /
维度等参数
- 更新 infra/rag/store/milvus_store.go:完整实现 Milvus 向量存储(建集合 / 建 Index / Upsert / Search /
Delete),支持 COSINE / L2 / IP 度量
- 更新 infra/rag/core/pipeline.go:适配 Runtime 接口,Pipeline 由 factory 注入而非手动拼装
- 更新 infra/rag/corpus/memory_corpus.go / vector_store.go:对接 Memory 模块数据源与 Store 接口扩展
3. Memory 模块从 Day1 骨架升级为 Day2 完整可运行态
- 新建 memory/module.go:统一门面 Module,对外封装 EnqueueExtract / ReadService / ManageService / WithTx /
StartWorker,启动层只依赖这一个入口
- 新建 memory/orchestrator/llm_write_orchestrator.go:LLM 驱动的记忆抽取编排器,替代原 mock 抽取
- 新建 memory/service/read_service.go:按用户开关过滤 + 轻量重排 + 访问时间刷新的读取链路
- 新建 memory/service/manage_service.go:记忆管理面能力(列出 / 软删除 / 开关读写),删除同步写审计日志
- 新建 memory/service/common.go:服务层公共工具
- 新建 memory/worker/loop.go:后台轮询循环 RunPollingLoop,定时抢占 pending 任务并推进
- 新建 memory/utils/audit.go / settings.go:审计日志构造、用户设置过滤等纯函数
- 更新 memory/model/item.go / job.go / settings.go / config.go / status.go:补齐 DTO 字段与状态常量
- 更新 memory/repo/item_repo.go / job_repo.go / audit_repo.go / settings_repo.go:补齐 CRUD 与查询能力
- 更新 memory/worker/runner.go:Runner 对接 Module 与 LLM 抽取器,任务状态机完整化
- 更新 memory/README.md:同步模块现状说明
4. newAgent 接入 Memory 读取注入与工具注册依赖预埋
- 新建 service/agentsvc/agent_memory.go:定义 MemoryReader 接口 + injectMemoryContext,在 graph
执行前统一补充记忆上下文
- 更新 service/agentsvc/agent.go:新增 memoryReader 字段与 SetMemoryReader 方法
- 更新 service/agentsvc/agent_newagent.go:调用 injectMemoryContext 注入 pinned block,检索失败仅降级不阻断主链路
- 更新 newAgent/tools/registry.go:新增 DefaultRegistryDeps(含 RAGRuntime),工具注册表支持依赖注入
5. 启动流程与事件处理器接线更新
- 更新 cmd/start.go:初始化 RAG Runtime → Memory Module → 注册事件处理器 → 启动 Worker 后台轮询
- 更新 service/events/memory_extract_requested.go:改用 memory.Module.WithTx(tx) 统一门面,事件处理器不再直接依赖
repo/service 内部包
6. 缓存插件与配置同步
- 更新 middleware/cache_deleter.go:静默忽略 MemoryJob / MemoryItem / MemoryAuditLog / MemoryUserSetting
等新模型,避免日志刷屏;清理冗余注释
- 更新 config.example.yaml:补齐 rag / memory / websearch 配置段及默认值
- 更新 go.mod / go.sum:新增 eino-ext/openai / json-patch / go-openai 依赖
前端:无 仓库:无
172 lines
6.4 KiB
Go
172 lines
6.4 KiB
Go
package memory
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
"log"
|
||
|
||
infrallm "github.com/LoveLosita/smartflow/backend/infra/llm"
|
||
infrarag "github.com/LoveLosita/smartflow/backend/infra/rag"
|
||
memorymodel "github.com/LoveLosita/smartflow/backend/memory/model"
|
||
memoryorchestrator "github.com/LoveLosita/smartflow/backend/memory/orchestrator"
|
||
memoryrepo "github.com/LoveLosita/smartflow/backend/memory/repo"
|
||
memoryservice "github.com/LoveLosita/smartflow/backend/memory/service"
|
||
memoryworker "github.com/LoveLosita/smartflow/backend/memory/worker"
|
||
"gorm.io/gorm"
|
||
)
|
||
|
||
// Module 是 memory 模块对外暴露的统一门面。
|
||
//
|
||
// 职责边界:
|
||
// 1. 负责把 repo、service、worker、orchestrator 组装成一个稳定入口;
|
||
// 2. 负责对外暴露“写入 / 读取 / 管理 / 启动 worker”这些高层意图;
|
||
// 3. 不负责替代应用层 DI,也不负责替代上层事务管理器,事务边界仍由调用方掌控。
|
||
type Module struct {
|
||
db *gorm.DB
|
||
cfg memorymodel.Config
|
||
llmClient *infrallm.Client
|
||
ragRuntime infrarag.Runtime
|
||
|
||
jobRepo *memoryrepo.JobRepo
|
||
itemRepo *memoryrepo.ItemRepo
|
||
auditRepo *memoryrepo.AuditRepo
|
||
settingsRepo *memoryrepo.SettingsRepo
|
||
|
||
enqueueService *memoryservice.EnqueueService
|
||
readService *memoryservice.ReadService
|
||
manageService *memoryservice.ManageService
|
||
runner *memoryworker.Runner
|
||
}
|
||
|
||
// LoadConfigFromViper 复用 memory 子包里的配置加载逻辑,对外收口一个统一入口。
|
||
func LoadConfigFromViper() memorymodel.Config {
|
||
return memoryservice.LoadConfigFromViper()
|
||
}
|
||
|
||
// NewModule 创建 memory 模块门面。
|
||
//
|
||
// 设计说明:
|
||
// 1. 这里做的是“轻组装”,不引入额外容器概念,方便先接进现有项目;
|
||
// 2. llmClient 允许为 nil,此时写入链路会自动回退到本地 fallback 抽取;
|
||
// 3. ragRuntime 允许为 nil,此时读取/向量同步自动回退旧逻辑;
|
||
// 4. 若后续接入统一 DI 容器,也应优先注册这个 Module,而不是把内部 repo/service 继续向外泄漏。
|
||
func NewModule(db *gorm.DB, llmClient *infrallm.Client, ragRuntime infrarag.Runtime, cfg memorymodel.Config) *Module {
|
||
return wireModule(db, llmClient, ragRuntime, cfg)
|
||
}
|
||
|
||
// WithTx 返回绑定到指定事务连接的同构门面。
|
||
//
|
||
// 步骤化说明:
|
||
// 1. 上层事务管理器先创建 tx;
|
||
// 2. 再通过 WithTx(tx) 把 memory 内部所有 repo/service 一次性切到同一个事务连接;
|
||
// 3. 这样外部无需重新 new 一堆 repo,也不会破坏既有跨表事务边界。
|
||
func (m *Module) WithTx(tx *gorm.DB) *Module {
|
||
if m == nil {
|
||
return nil
|
||
}
|
||
if tx == nil {
|
||
return m
|
||
}
|
||
return wireModule(tx, m.llmClient, m.ragRuntime, m.cfg)
|
||
}
|
||
|
||
// EnqueueExtract 把一次记忆抽取请求入队到 memory_jobs。
|
||
func (m *Module) EnqueueExtract(
|
||
ctx context.Context,
|
||
payload memorymodel.ExtractJobPayload,
|
||
sourceEventID string,
|
||
) error {
|
||
if m == nil || m.enqueueService == nil {
|
||
return errors.New("memory module enqueue service is nil")
|
||
}
|
||
return m.enqueueService.EnqueueExtractJob(ctx, payload, sourceEventID)
|
||
}
|
||
|
||
// Retrieve 读取后续可供 prompt 注入使用的候选记忆。
|
||
func (m *Module) Retrieve(ctx context.Context, req memorymodel.RetrieveRequest) ([]memorymodel.ItemDTO, error) {
|
||
if m == nil || m.readService == nil {
|
||
return nil, errors.New("memory module read service is nil")
|
||
}
|
||
return m.readService.Retrieve(ctx, req)
|
||
}
|
||
|
||
// ListItems 列出用户当前可管理的记忆条目。
|
||
func (m *Module) ListItems(ctx context.Context, req memorymodel.ListItemsRequest) ([]memorymodel.ItemDTO, error) {
|
||
if m == nil || m.manageService == nil {
|
||
return nil, errors.New("memory module manage service is nil")
|
||
}
|
||
return m.manageService.ListItems(ctx, req)
|
||
}
|
||
|
||
// DeleteItem 软删除一条记忆,并补写审计日志。
|
||
func (m *Module) DeleteItem(ctx context.Context, req memorymodel.DeleteItemRequest) (*memorymodel.ItemDTO, error) {
|
||
if m == nil || m.manageService == nil {
|
||
return nil, errors.New("memory module manage service is nil")
|
||
}
|
||
return m.manageService.DeleteItem(ctx, req)
|
||
}
|
||
|
||
// GetUserSetting 读取用户当前生效的记忆开关。
|
||
func (m *Module) GetUserSetting(ctx context.Context, userID int) (memorymodel.UserSettingDTO, error) {
|
||
if m == nil || m.manageService == nil {
|
||
return memorymodel.UserSettingDTO{}, errors.New("memory module manage service is nil")
|
||
}
|
||
return m.manageService.GetUserSetting(ctx, userID)
|
||
}
|
||
|
||
// UpsertUserSetting 写入用户记忆开关。
|
||
func (m *Module) UpsertUserSetting(ctx context.Context, req memorymodel.UpdateUserSettingRequest) (memorymodel.UserSettingDTO, error) {
|
||
if m == nil || m.manageService == nil {
|
||
return memorymodel.UserSettingDTO{}, errors.New("memory module manage service is nil")
|
||
}
|
||
return m.manageService.UpsertUserSetting(ctx, req)
|
||
}
|
||
|
||
// StartWorker 启动 memory 后台 worker。
|
||
//
|
||
// 说明:
|
||
// 1. 这里只负责按当前配置拉起轮询循环;
|
||
// 2. 若 memory.enabled=false,则直接记录日志并返回;
|
||
// 3. 当前不做重复启动保护,生命周期仍假设由应用启动层统一掌控。
|
||
func (m *Module) StartWorker(ctx context.Context) {
|
||
if m == nil || m.runner == nil {
|
||
log.Println("Memory worker is not initialized")
|
||
return
|
||
}
|
||
if !m.cfg.Enabled {
|
||
log.Println("Memory worker is disabled")
|
||
return
|
||
}
|
||
|
||
go memoryworker.RunPollingLoop(ctx, m.runner, m.cfg.WorkerPollEvery, m.cfg.WorkerClaimBatch)
|
||
log.Println("Memory worker started")
|
||
}
|
||
|
||
func wireModule(db *gorm.DB, llmClient *infrallm.Client, ragRuntime infrarag.Runtime, cfg memorymodel.Config) *Module {
|
||
jobRepo := memoryrepo.NewJobRepo(db)
|
||
itemRepo := memoryrepo.NewItemRepo(db)
|
||
auditRepo := memoryrepo.NewAuditRepo(db)
|
||
settingsRepo := memoryrepo.NewSettingsRepo(db)
|
||
|
||
enqueueService := memoryservice.NewEnqueueService(jobRepo)
|
||
readService := memoryservice.NewReadService(itemRepo, settingsRepo, ragRuntime, cfg)
|
||
manageService := memoryservice.NewManageService(db, itemRepo, auditRepo, settingsRepo)
|
||
extractor := memoryorchestrator.NewLLMWriteOrchestrator(llmClient, cfg)
|
||
runner := memoryworker.NewRunner(db, jobRepo, itemRepo, auditRepo, settingsRepo, extractor, ragRuntime)
|
||
|
||
return &Module{
|
||
db: db,
|
||
cfg: cfg,
|
||
llmClient: llmClient,
|
||
ragRuntime: ragRuntime,
|
||
jobRepo: jobRepo,
|
||
itemRepo: itemRepo,
|
||
auditRepo: auditRepo,
|
||
settingsRepo: settingsRepo,
|
||
enqueueService: enqueueService,
|
||
readService: readService,
|
||
manageService: manageService,
|
||
runner: runner,
|
||
}
|
||
}
|