后端:
1. LLM 客户端从 newAgent/llm 提升为 infra/llm 基础设施层
- 删除 backend/newAgent/llm/(ark.go / ark_adapter.go / client.go / json.go)
- 等价迁移至 backend/infra/llm/,所有 newAgent node 与 service 统一改引用 infrallm
- 消除 newAgent 对模型客户端的私有依赖,为 memory / websearch 等多模块复用铺路
2. RAG 基础设施完成可运行态接入(factory / runtime / observer / service 四层成型)
- 新建 backend/infra/rag/factory.go / runtime.go / observe.go / observer.go /
service.go:工厂创建、运行时生命周期、轻量观测接口、检索服务门面
- 更新 infra/rag/config/config.go:补齐 Milvus / Embed / Reranker 全部配置项与默认值
- 更新 infra/rag/embed/eino_embedder.go:增强 Eino embedding 适配,支持 BaseURL / APIKey 环境变量 / 超时 /
维度等参数
- 更新 infra/rag/store/milvus_store.go:完整实现 Milvus 向量存储(建集合 / 建 Index / Upsert / Search /
Delete),支持 COSINE / L2 / IP 度量
- 更新 infra/rag/core/pipeline.go:适配 Runtime 接口,Pipeline 由 factory 注入而非手动拼装
- 更新 infra/rag/corpus/memory_corpus.go / vector_store.go:对接 Memory 模块数据源与 Store 接口扩展
3. Memory 模块从 Day1 骨架升级为 Day2 完整可运行态
- 新建 memory/module.go:统一门面 Module,对外封装 EnqueueExtract / ReadService / ManageService / WithTx /
StartWorker,启动层只依赖这一个入口
- 新建 memory/orchestrator/llm_write_orchestrator.go:LLM 驱动的记忆抽取编排器,替代原 mock 抽取
- 新建 memory/service/read_service.go:按用户开关过滤 + 轻量重排 + 访问时间刷新的读取链路
- 新建 memory/service/manage_service.go:记忆管理面能力(列出 / 软删除 / 开关读写),删除同步写审计日志
- 新建 memory/service/common.go:服务层公共工具
- 新建 memory/worker/loop.go:后台轮询循环 RunPollingLoop,定时抢占 pending 任务并推进
- 新建 memory/utils/audit.go / settings.go:审计日志构造、用户设置过滤等纯函数
- 更新 memory/model/item.go / job.go / settings.go / config.go / status.go:补齐 DTO 字段与状态常量
- 更新 memory/repo/item_repo.go / job_repo.go / audit_repo.go / settings_repo.go:补齐 CRUD 与查询能力
- 更新 memory/worker/runner.go:Runner 对接 Module 与 LLM 抽取器,任务状态机完整化
- 更新 memory/README.md:同步模块现状说明
4. newAgent 接入 Memory 读取注入与工具注册依赖预埋
- 新建 service/agentsvc/agent_memory.go:定义 MemoryReader 接口 + injectMemoryContext,在 graph
执行前统一补充记忆上下文
- 更新 service/agentsvc/agent.go:新增 memoryReader 字段与 SetMemoryReader 方法
- 更新 service/agentsvc/agent_newagent.go:调用 injectMemoryContext 注入 pinned block,检索失败仅降级不阻断主链路
- 更新 newAgent/tools/registry.go:新增 DefaultRegistryDeps(含 RAGRuntime),工具注册表支持依赖注入
5. 启动流程与事件处理器接线更新
- 更新 cmd/start.go:初始化 RAG Runtime → Memory Module → 注册事件处理器 → 启动 Worker 后台轮询
- 更新 service/events/memory_extract_requested.go:改用 memory.Module.WithTx(tx) 统一门面,事件处理器不再直接依赖
repo/service 内部包
6. 缓存插件与配置同步
- 更新 middleware/cache_deleter.go:静默忽略 MemoryJob / MemoryItem / MemoryAuditLog / MemoryUserSetting
等新模型,避免日志刷屏;清理冗余注释
- 更新 config.example.yaml:补齐 rag / memory / websearch 配置段及默认值
- 更新 go.mod / go.sum:新增 eino-ext/openai / json-patch / go-openai 依赖
前端:无 仓库:无
223 lines
6.3 KiB
Go
223 lines
6.3 KiB
Go
package repo
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
"strings"
|
||
"time"
|
||
|
||
memorymodel "github.com/LoveLosita/smartflow/backend/memory/model"
|
||
"github.com/LoveLosita/smartflow/backend/model"
|
||
"gorm.io/gorm"
|
||
)
|
||
|
||
// ItemRepo 封装 memory_items 的数据访问。
|
||
//
|
||
// 职责边界:
|
||
// 1. 只负责表级读写,不承载注入、重排、审计决策;
|
||
// 2. 查询条件统一由 ItemQuery 表达,避免 service 层拼装 SQL;
|
||
// 3. 软删除、访问时间刷新等状态变更也收敛到这里。
|
||
type ItemRepo struct {
|
||
db *gorm.DB
|
||
}
|
||
|
||
func NewItemRepo(db *gorm.DB) *ItemRepo {
|
||
return &ItemRepo{db: db}
|
||
}
|
||
|
||
func (r *ItemRepo) WithTx(tx *gorm.DB) *ItemRepo {
|
||
return &ItemRepo{db: tx}
|
||
}
|
||
|
||
// UpsertItems 批量写入记忆条目。
|
||
func (r *ItemRepo) UpsertItems(ctx context.Context, items []model.MemoryItem) error {
|
||
if r == nil || r.db == nil {
|
||
return errors.New("memory item repo is nil")
|
||
}
|
||
if len(items) == 0 {
|
||
return nil
|
||
}
|
||
|
||
for i := range items {
|
||
if err := r.db.WithContext(ctx).Create(&items[i]).Error; err != nil {
|
||
return err
|
||
}
|
||
}
|
||
return nil
|
||
}
|
||
|
||
// FindByQuery 按统一过滤条件读取记忆条目。
|
||
//
|
||
// 步骤化说明:
|
||
// 1. 先强制 user_id 过滤,避免跨用户串记忆;
|
||
// 2. 再按会话/助手/run 维度补充过滤,IncludeGlobal=true 时允许读取对应全局条目;
|
||
// 3. 最后补状态、类型、过期时间和 limit,返回稳定排序结果。
|
||
func (r *ItemRepo) FindByQuery(ctx context.Context, query memorymodel.ItemQuery) ([]model.MemoryItem, error) {
|
||
if r == nil || r.db == nil {
|
||
return nil, errors.New("memory item repo is nil")
|
||
}
|
||
if query.UserID <= 0 {
|
||
return nil, errors.New("memory item query user_id is invalid")
|
||
}
|
||
|
||
db := r.db.WithContext(ctx).Model(&model.MemoryItem{}).Where("user_id = ?", query.UserID)
|
||
db = applyScopedEquality(db, "conversation_id", query.ConversationID, query.IncludeGlobal)
|
||
db = applyScopedEquality(db, "assistant_id", query.AssistantID, query.IncludeGlobal)
|
||
db = applyScopedEquality(db, "run_id", query.RunID, query.IncludeGlobal)
|
||
|
||
if len(query.Statuses) > 0 {
|
||
db = db.Where("status IN ?", query.Statuses)
|
||
}
|
||
if len(query.MemoryTypes) > 0 {
|
||
db = db.Where("memory_type IN ?", query.MemoryTypes)
|
||
}
|
||
if query.OnlyUnexpired {
|
||
now := query.Now
|
||
if now.IsZero() {
|
||
now = time.Now()
|
||
}
|
||
db = db.Where("(ttl_at IS NULL OR ttl_at > ?)", now)
|
||
}
|
||
if query.Limit > 0 {
|
||
db = db.Limit(query.Limit)
|
||
}
|
||
|
||
var items []model.MemoryItem
|
||
err := db.
|
||
Order("is_explicit DESC").
|
||
Order("importance DESC").
|
||
Order("updated_at DESC").
|
||
Find(&items).Error
|
||
return items, err
|
||
}
|
||
|
||
// GetByIDForUser 读取某个用户的一条记忆条目。
|
||
func (r *ItemRepo) GetByIDForUser(ctx context.Context, userID int, memoryID int64) (*model.MemoryItem, error) {
|
||
if r == nil || r.db == nil {
|
||
return nil, errors.New("memory item repo is nil")
|
||
}
|
||
if userID <= 0 || memoryID <= 0 {
|
||
return nil, errors.New("memory item query params is invalid")
|
||
}
|
||
|
||
var item model.MemoryItem
|
||
err := r.db.WithContext(ctx).
|
||
Where("id = ? AND user_id = ?", memoryID, userID).
|
||
First(&item).Error
|
||
if err != nil {
|
||
return nil, err
|
||
}
|
||
return &item, nil
|
||
}
|
||
|
||
// UpdateStatusByID 更新某条记忆的状态。
|
||
func (r *ItemRepo) UpdateStatusByID(ctx context.Context, userID int, memoryID int64, status string) error {
|
||
return r.UpdateStatusByIDAt(ctx, userID, memoryID, status, time.Now())
|
||
}
|
||
|
||
// UpdateStatusByIDAt 更新某条记忆的状态,并允许上层显式指定更新时间。
|
||
//
|
||
// 这样做的原因:
|
||
// 1. 管理侧删除时,需要让“库内更新时间”和“审计 after 快照时间”保持一致;
|
||
// 2. 读取侧若只是刷新 last_access_at,不应该误改 updated_at;
|
||
// 3. 因此把“更新时间来源”收口到 repo,避免 service 层自己拼 SQL。
|
||
func (r *ItemRepo) UpdateStatusByIDAt(
|
||
ctx context.Context,
|
||
userID int,
|
||
memoryID int64,
|
||
status string,
|
||
updatedAt time.Time,
|
||
) error {
|
||
if r == nil || r.db == nil {
|
||
return errors.New("memory item repo is nil")
|
||
}
|
||
if userID <= 0 || memoryID <= 0 {
|
||
return errors.New("memory item update params is invalid")
|
||
}
|
||
|
||
status = strings.TrimSpace(status)
|
||
if status == "" {
|
||
return errors.New("memory item status is empty")
|
||
}
|
||
if updatedAt.IsZero() {
|
||
updatedAt = time.Now()
|
||
}
|
||
|
||
return r.db.WithContext(ctx).
|
||
Model(&model.MemoryItem{}).
|
||
Where("id = ? AND user_id = ?", memoryID, userID).
|
||
Updates(map[string]any{
|
||
"status": status,
|
||
"updated_at": updatedAt,
|
||
}).Error
|
||
}
|
||
|
||
// TouchLastAccessAt 批量刷新记忆访问时间。
|
||
//
|
||
// 说明:
|
||
// 1. 这里只更新 last_access_at,不更新 updated_at;
|
||
// 2. 因为 updated_at 代表“内容被修改”的时间,不能被一次普通读取污染;
|
||
// 3. 否则后续读取重排会把“最近被读过的旧记忆”误判成“最近被更新的记忆”。
|
||
func (r *ItemRepo) TouchLastAccessAt(ctx context.Context, ids []int64, accessedAt time.Time) error {
|
||
if r == nil || r.db == nil {
|
||
return errors.New("memory item repo is nil")
|
||
}
|
||
if len(ids) == 0 {
|
||
return nil
|
||
}
|
||
if accessedAt.IsZero() {
|
||
accessedAt = time.Now()
|
||
}
|
||
|
||
return r.db.WithContext(ctx).
|
||
Model(&model.MemoryItem{}).
|
||
Where("id IN ?", ids).
|
||
Updates(map[string]any{
|
||
"last_access_at": accessedAt,
|
||
}).Error
|
||
}
|
||
|
||
// UpdateVectorStateByID 更新单条记忆的向量同步桥接状态。
|
||
//
|
||
// 说明:
|
||
// 1. 这里只更新 vector_status/vector_id,不更新 updated_at;
|
||
// 2. 因为向量同步属于索引层状态,不代表记忆内容本身被修改;
|
||
// 3. 若误改 updated_at,会污染读取侧的时间排序语义。
|
||
func (r *ItemRepo) UpdateVectorStateByID(
|
||
ctx context.Context,
|
||
memoryID int64,
|
||
vectorStatus string,
|
||
vectorID *string,
|
||
) error {
|
||
if r == nil || r.db == nil {
|
||
return errors.New("memory item repo is nil")
|
||
}
|
||
if memoryID <= 0 {
|
||
return errors.New("memory item vector update id is invalid")
|
||
}
|
||
|
||
vectorStatus = strings.TrimSpace(vectorStatus)
|
||
if vectorStatus == "" {
|
||
return errors.New("memory item vector status is empty")
|
||
}
|
||
|
||
return r.db.WithContext(ctx).
|
||
Model(&model.MemoryItem{}).
|
||
Where("id = ?", memoryID).
|
||
UpdateColumns(map[string]any{
|
||
"vector_status": vectorStatus,
|
||
"vector_id": vectorID,
|
||
}).Error
|
||
}
|
||
|
||
func applyScopedEquality(db *gorm.DB, column, value string, includeGlobal bool) *gorm.DB {
|
||
value = strings.TrimSpace(value)
|
||
if value == "" {
|
||
return db
|
||
}
|
||
if includeGlobal {
|
||
return db.Where("("+column+" = ? OR "+column+" IS NULL)", value)
|
||
}
|
||
return db.Where(column+" = ?", value)
|
||
}
|