Version: 0.4.8.dev.260308
feat: 🏗️ 实现 Agent 消息可靠异步持久化(Outbox + Kafka) * 新增 Outbox 数据模型与消息载荷定义,位于 `backend/model/outbox.go` * 新增 Outbox DAO,支持创建、扫描、发布标记、失败重试与消费落库事务,位于 `backend/dao/outbox.go` * 新增 Kafka 基础封装,包含配置、生产者、消费者与消息包装,位于 `backend/kafka` 文件夹 * `config.go`:Kafka 配置文件 * `producer.go`:Kafka 生产者 * `consumer.go`:Kafka 消费者 * `envelope.go`:消息封装处理 * 新增异步管道服务,处理扫描投递与消费落库,位于 `backend/service/agent_async_pipeline.go` * 接入 Agent 聊天链路的可靠持久化,替换原有 goroutine 直接写库逻辑,位于 `backend/service/agent.go` * 启动流程接入管道初始化与启动,位于 `backend/cmd/start.go` * 增加 Kafka 配置项,更新 `backend/config.yaml` 与 `backend/config.example.yaml` * 引入 Kafka 依赖:`github.com/segmentio/kafka-go`(见 `backend/go.mod`, `backend/go.sum`) fix: 🐛 修复首启偶发 user 消息重复落库问题 * 解决因 Outbox 状态并发回写竞态,导致 `consumed` 被晚到的 `published` 覆盖的问题 * 在 `MarkPublished` 中增加条件,避免覆盖已标记为 `consumed` 或 `dead` 的消息,修复位置:`backend/dao/outbox.go` perf: ⚡ 更新 Docker Compose 配置与 Kafka 相关服务 * 更新 `docker-compose.yml` 文件,新增 Kafka 配置与服务 fix: 🧹 优化缓存删除逻辑 * 在 `cache deleter` 中忽略了 `model.AgentOutboxMessage`、`model.ChatHistory` 与 `model.AgentChat` 这三个结构体 * 防止这些结构体对应的表单删除缓存时,导致控制台消息爆炸
This commit is contained in:
@@ -1,4 +1,4 @@
|
||||
# =========================
|
||||
# =========================
|
||||
# MCP server metadata
|
||||
# =========================
|
||||
MCP_SERVER_NAME=smartflow-mcp-server
|
||||
@@ -36,7 +36,7 @@ MYSQL_PARAMS=charset=utf8mb4&parseTime=true&loc=Local
|
||||
# Example: MYSQL_ALLOWED_DATABASES=smartflow,analytics
|
||||
MYSQL_ALLOWED_DATABASES=smartflow
|
||||
# Example: MYSQL_ALLOWED_TABLES=smartflow.users,smartflow.tasks
|
||||
MYSQL_ALLOWED_TABLES=smartflow.users,smartflow.tasks
|
||||
MYSQL_ALLOWED_TABLES=
|
||||
|
||||
# =========================
|
||||
# Redis
|
||||
|
||||
@@ -54,7 +54,7 @@ cp .env.example .env
|
||||
- `MYSQL_HOST` / `MYSQL_PORT` / `MYSQL_USER` / `MYSQL_PASSWORD` / `MYSQL_DATABASE`
|
||||
- `REDIS_ADDR` / `REDIS_PASSWORD` / `REDIS_DB`
|
||||
- `MYSQL_ALLOWED_DATABASES`:逗号分隔
|
||||
- `MYSQL_ALLOWED_TABLES`:逗号分隔,支持 `db.table` 或 `table`
|
||||
- `MYSQL_ALLOWED_TABLES`:逗号分隔,支持 `db.table` 或 `table`;留空表示允许所有表
|
||||
- `MCP_ENFORCE_WHITELIST`:`true` 时无明确表引用会拒绝执行
|
||||
- `MCP_TOOL_TIMEOUT_MS`:单次工具调用超时
|
||||
- `MCP_RATE_LIMIT_RPS` + `MCP_RATE_LIMIT_BURST`:基础令牌桶限流
|
||||
@@ -165,7 +165,7 @@ cp .env.example .env
|
||||
"MYSQL_PASSWORD": "replace_me",
|
||||
"MYSQL_DATABASE": "smartflow",
|
||||
"MYSQL_ALLOWED_DATABASES": "smartflow",
|
||||
"MYSQL_ALLOWED_TABLES": "smartflow.users,smartflow.tasks",
|
||||
"MYSQL_ALLOWED_TABLES": "",
|
||||
"REDIS_ADDR": "127.0.0.1:6379",
|
||||
"REDIS_DB": "0",
|
||||
"MCP_TOOL_TIMEOUT_MS": "5000",
|
||||
|
||||
Reference in New Issue
Block a user