后端: 1. Memory Day1 链路打通(chat_history -> outbox -> memory_jobs) - 更新 service/events/chat_history_persist.go:聊天消息落库同事务追加 memory.extract.requested 事件(仅 user 消息,失败回滚后由 outbox 重试) - 新建 service/events/memory_extract_requested.go:消费 memory.extract.requested 并幂等入队 memory_jobs,补齐 payload 校验、文本截断与 idempotency key - 更新 cmd/start.go:注册 RegisterMemoryExtractRequestedHandler 2. Memory 模块骨架落地(先跑通状态机,再接入真实抽取) - 新建 memory/model、repo、service、orchestrator、worker、utils 目录与 Day1 mock 抽取执行链 - 新建 model/memory.go:补齐 memory_items / memory_jobs / memory_audit_logs / memory_user_settings 与事件 payload 模型 - 更新 inits/mysql.go:接入 4 张 memory 相关表 AutoMigrate 3. RAG 复用基础设施预埋(依赖可替换) - 新建 infra/rag:core pipeline + chunk/embed/retrieve/rerank/store/corpus/config 分层实现 - 默认接入 MockEmbedder + InMemoryStore,预留 Milvus / Eino 适配实现 - 新增 infra/rag/RAG复用接口实施计划.md 4. 本地依赖与交接文档同步 - 更新 docker-compose.yml:新增 etcd / minio / milvus / attu 服务与数据卷 - 删除 newAgent/HANDOFF_工具研究与运行态重置.md、newAgent/阶段3_上下文瘦身设计.md - 新增 newAgent/HANDOFF_WebSearch两阶段实施计划.md、memory/HANDOFF-RAG复用后续实施计划.md、memory/README.md 前端:无 仓库:无
126 lines
4.4 KiB
Go
126 lines
4.4 KiB
Go
package events
|
||
|
||
import (
|
||
"context"
|
||
"encoding/json"
|
||
"errors"
|
||
|
||
"github.com/LoveLosita/smartflow/backend/dao"
|
||
kafkabus "github.com/LoveLosita/smartflow/backend/infra/kafka"
|
||
outboxinfra "github.com/LoveLosita/smartflow/backend/infra/outbox"
|
||
"github.com/LoveLosita/smartflow/backend/model"
|
||
"gorm.io/gorm"
|
||
)
|
||
|
||
const (
|
||
// EventTypeChatHistoryPersistRequested 是“聊天消息持久化请求”的业务事件类型。
|
||
//
|
||
// 命名策略:
|
||
// 1. 只描述业务语义,不包含 outbox/kafka 等实现词;
|
||
// 2. 作为新路由键长期保留,后续协议变化优先走 event_version;
|
||
// 3. 旧路由键仅作兼容,不再作为新发布默认值。
|
||
EventTypeChatHistoryPersistRequested = "chat.history.persist.requested"
|
||
)
|
||
|
||
// RegisterChatHistoryPersistHandler 注册“聊天消息持久化”消费者处理器。
|
||
//
|
||
// 职责边界:
|
||
// 1. 只负责聊天事件,不处理其他业务事件;
|
||
// 2. 只负责注册,不负责总线启停;
|
||
// 3. 通过 outbox 通用事务入口把“业务写入 + consumed 推进”合并为一个事务;
|
||
// 4. 当前版本仅注册新路由键(chat.history.persist.requested),不再注册旧兼容键。
|
||
func RegisterChatHistoryPersistHandler(
|
||
bus *outboxinfra.EventBus,
|
||
outboxRepo *outboxinfra.Repository,
|
||
repoManager *dao.RepoManager,
|
||
) error {
|
||
// 1. 依赖校验:任何一个关键依赖为空都无法安全处理消息。
|
||
if bus == nil {
|
||
return errors.New("event bus is nil")
|
||
}
|
||
if outboxRepo == nil {
|
||
return errors.New("outbox repository is nil")
|
||
}
|
||
if repoManager == nil {
|
||
return errors.New("repo manager is nil")
|
||
}
|
||
kafkaCfg := kafkabus.LoadConfig()
|
||
|
||
// 2. 定义统一处理器:
|
||
// 2.1 解析 payload;
|
||
// 2.2 调用 outbox 通用消费事务;
|
||
// 2.3 在事务回调中复用 RepoManager.WithTx 执行业务 DAO 写入。
|
||
handler := func(ctx context.Context, envelope kafkabus.Envelope) error {
|
||
var payload model.ChatHistoryPersistPayload
|
||
if unmarshalErr := json.Unmarshal(envelope.Payload, &payload); unmarshalErr != nil {
|
||
// 2.1 payload 非法属于不可恢复错误,直接标 dead,避免无意义重试。
|
||
_ = outboxRepo.MarkDead(ctx, envelope.OutboxID, "解析聊天持久化载荷失败: "+unmarshalErr.Error())
|
||
return nil
|
||
}
|
||
|
||
// 2.2 使用 outbox 通用消费事务,保证“业务写入 + consumed 状态推进”原子一致。
|
||
return outboxRepo.ConsumeAndMarkConsumed(ctx, envelope.OutboxID, func(tx *gorm.DB) error {
|
||
// 2.2.1 基于同一个 tx 构造 RepoManager,复用你现有跨包事务模型。
|
||
txM := repoManager.WithTx(tx)
|
||
// 2.2.2 在同事务内写入聊天历史与会话计数。
|
||
if err := txM.Agent.SaveChatHistoryInTx(
|
||
ctx,
|
||
payload.UserID,
|
||
payload.ConversationID,
|
||
payload.Role,
|
||
payload.Message,
|
||
payload.ReasoningContent,
|
||
payload.ReasoningDurationSeconds,
|
||
payload.RetryGroupID,
|
||
payload.RetryIndex,
|
||
payload.RetryFromUserMessageID,
|
||
payload.RetryFromAssistantMessageID,
|
||
payload.TokensConsumed,
|
||
); err != nil {
|
||
return err
|
||
}
|
||
|
||
// 2.2.3 Day1 追加“记忆抽取请求”事件入队:
|
||
// 1) 仅对 user 消息投递,避免把助手回复重复喂给抽取链路;
|
||
// 2) 与聊天落库放在同一事务,保证“消息存在 -> 事件一定可追踪”;
|
||
// 3) 若入队失败,整体回滚并触发 outbox 重试,不留半成功状态。
|
||
return EnqueueMemoryExtractRequestedInTx(
|
||
ctx,
|
||
outboxRepo.WithTx(tx),
|
||
kafkaCfg,
|
||
payload,
|
||
)
|
||
})
|
||
}
|
||
|
||
// 3. 注册新路由键(主路由)。
|
||
if err := bus.RegisterEventHandler(EventTypeChatHistoryPersistRequested, handler); err != nil {
|
||
return err
|
||
}
|
||
|
||
return nil
|
||
}
|
||
|
||
// PublishChatHistoryPersistRequested 发布“聊天消息持久化请求”事件。
|
||
//
|
||
// 设计目的:
|
||
// 1. 让业务层只传 DTO,不重复拼事件元数据;
|
||
// 2. 统一消息键策略(conversation_id 作为 MessageKey/AggregateID);
|
||
// 3. 发布失败时显式返回 error,由调用方决定是否降级到同步写库。
|
||
func PublishChatHistoryPersistRequested(
|
||
ctx context.Context,
|
||
publisher outboxinfra.EventPublisher,
|
||
payload model.ChatHistoryPersistPayload,
|
||
) error {
|
||
if publisher == nil {
|
||
return errors.New("event publisher is nil")
|
||
}
|
||
return publisher.Publish(ctx, outboxinfra.PublishRequest{
|
||
EventType: EventTypeChatHistoryPersistRequested,
|
||
EventVersion: outboxinfra.DefaultEventVersion,
|
||
MessageKey: payload.ConversationID,
|
||
AggregateID: payload.ConversationID,
|
||
Payload: payload,
|
||
})
|
||
}
|