1ed558b488
feat: 🏗️ 实现 Agent 消息可靠异步持久化（Outbox + Kafka） * 新增 Outbox 数据模型与消息载荷定义，位于 `backend/model/outbox.go` * 新增 Outbox DAO，支持创建、扫描、发布标记、失败重试与消费落库事务，位于 `backend/dao/outbox.go` * 新增 Kafka 基础封装，包含配置、生产者、消费者与消息包装，位于 `backend/kafka` 文件夹 * `config.go`：Kafka 配置文件 * `producer.go`：Kafka 生产者 * `consumer.go`：Kafka 消费者 * `envelope.go`：消息封装处理 * 新增异步管道服务，处理扫描投递与消费落库，位于 `backend/service/agent_async_pipeline.go` * 接入 Agent 聊天链路的可靠持久化，替换原有 goroutine 直接写库逻辑，位于 `backend/service/agent.go` * 启动流程接入管道初始化与启动，位于 `backend/cmd/start.go` * 增加 Kafka 配置项，更新 `backend/config.yaml` 与 `backend/config.example.yaml` * 引入 Kafka 依赖：`github.com/segmentio/kafka-go`（见 `backend/go.mod`, `backend/go.sum`） fix: 🐛 修复首启偶发 user 消息重复落库问题 * 解决因 Outbox 状态并发回写竞态，导致 `consumed` 被晚到的 `published` 覆盖的问题 * 在 `MarkPublished` 中增加条件，避免覆盖已标记为 `consumed` 或 `dead` 的消息，修复位置：`backend/dao/outbox.go` perf: ⚡ 更新 Docker Compose 配置与 Kafka 相关服务 * 更新 `docker-compose.yml` 文件，新增 Kafka 配置与服务 fix: 🧹 优化缓存删除逻辑 * 在 `cache deleter` 中忽略了 `model.AgentOutboxMessage`、`model.ChatHistory` 与 `model.AgentChat` 这三个结构体 * 防止这些结构体对应的表单删除缓存时，导致控制台消息爆炸
106 lines
3.2 KiB
Go
106 lines
3.2 KiB
Go
package cmd
|
|
|
|
import (
|
|
"context"
|
|
"fmt"
|
|
"log"
|
|
|
|
"github.com/LoveLosita/smartflow/backend/api"
|
|
"github.com/LoveLosita/smartflow/backend/dao"
|
|
"github.com/LoveLosita/smartflow/backend/inits"
|
|
kafkabus "github.com/LoveLosita/smartflow/backend/kafka"
|
|
"github.com/LoveLosita/smartflow/backend/middleware"
|
|
"github.com/LoveLosita/smartflow/backend/pkg"
|
|
"github.com/LoveLosita/smartflow/backend/routers"
|
|
"github.com/LoveLosita/smartflow/backend/service"
|
|
"github.com/spf13/viper"
|
|
)
|
|
|
|
// loadConfig 加载配置
|
|
// 从配置文件中读取配置信息
|
|
func loadConfig() error {
|
|
// 设置配置文件路径
|
|
viper.SetConfigName("config")
|
|
viper.SetConfigType("yaml")
|
|
viper.AddConfigPath(".")
|
|
// 读取配置文件
|
|
if err := viper.ReadInConfig(); err != nil {
|
|
return fmt.Errorf("failed to read config file: %w", err)
|
|
}
|
|
log.Println("Config loaded successfully")
|
|
return nil
|
|
}
|
|
|
|
// Start 启动函数
|
|
func Start() {
|
|
// 加载配置
|
|
if err := loadConfig(); err != nil {
|
|
log.Fatalf("Failed to load config: %v", err)
|
|
}
|
|
// 初始化数据库
|
|
db, err := inits.ConnectDB()
|
|
if err != nil {
|
|
log.Fatalf("Failed to connect to database: %v", err)
|
|
}
|
|
|
|
rdb := inits.InitRedis()
|
|
// 工具包
|
|
limiter := pkg.NewRateLimiter(rdb)
|
|
// 初始化 eino
|
|
aiHub, err := inits.InitEino()
|
|
if err != nil {
|
|
log.Fatalf("Failed to initialize Eino: %v", err)
|
|
}
|
|
// 中间件
|
|
// dao 层
|
|
cacheRepo := dao.NewCacheDAO(rdb)
|
|
agentCacheRepo := dao.NewAgentCache(rdb)
|
|
_ = db.Use(middleware.NewGormCachePlugin(cacheRepo)) // 注册 GORM 插件
|
|
userRepo := dao.NewUserDAO(db)
|
|
taskRepo := dao.NewTaskDAO(db)
|
|
courseRepo := dao.NewCourseDAO(db)
|
|
taskClassRepo := dao.NewTaskClassDAO(db)
|
|
scheduleRepo := dao.NewScheduleDAO(db)
|
|
manager := dao.NewManager(db)
|
|
agentRepo := dao.NewAgentDAO(db)
|
|
outboxRepo := dao.NewOutboxDAO(db)
|
|
//
|
|
kafkaCfg := kafkabus.LoadConfig()
|
|
asyncPipeline, err := service.NewAgentAsyncPipeline(outboxRepo, kafkaCfg)
|
|
if err != nil {
|
|
log.Fatalf("Failed to initialize Kafka async pipeline: %v", err)
|
|
}
|
|
if asyncPipeline != nil {
|
|
asyncPipeline.Start(context.Background())
|
|
defer asyncPipeline.Close()
|
|
log.Println("Kafka async pipeline started")
|
|
} else {
|
|
log.Println("Kafka async pipeline is disabled")
|
|
}
|
|
|
|
// service 层
|
|
userService := service.NewUserService(userRepo, cacheRepo)
|
|
taskSv := service.NewTaskService(taskRepo, cacheRepo)
|
|
courseService := service.NewCourseService(courseRepo, scheduleRepo)
|
|
taskClassService := service.NewTaskClassService(taskClassRepo, cacheRepo, scheduleRepo, manager)
|
|
scheduleService := service.NewScheduleService(scheduleRepo, userRepo, taskClassRepo, manager, cacheRepo)
|
|
agentService := service.NewAgentService(aiHub, agentRepo, agentCacheRepo, asyncPipeline)
|
|
// api 层
|
|
userApi := api.NewUserHandler(userService)
|
|
taskApi := api.NewTaskHandler(taskSv)
|
|
courseApi := api.NewCourseHandler(courseService)
|
|
taskClassApi := api.NewTaskClassHandler(taskClassService)
|
|
scheduleApi := api.NewScheduleAPI(scheduleService)
|
|
agentApi := api.NewAgentHandler(agentService)
|
|
handlers := &api.ApiHandlers{
|
|
UserHandler: userApi,
|
|
TaskHandler: taskApi,
|
|
TaskClassHandler: taskClassApi,
|
|
CourseHandler: courseApi,
|
|
ScheduleHandler: scheduleApi,
|
|
AgentHandler: agentApi,
|
|
}
|
|
r := routers.RegisterRouters(handlers, cacheRepo, limiter)
|
|
routers.StartEngine(r)
|
|
}
|