912a6d8cfe
refactor: ♻️ 调整 Outbox 写入时序并移除 Kafka 首包同步投递逻辑 * 将 `outbox` 表写入逻辑后置到 LLM 请求之后，减少主链路阻塞 * 删除 Codex 生成的 Kafka 首包同步投递抽象逻辑，简化消息发送流程 * 优化 SSE 首字到达时间，整体降低约 1s 延迟 * 当前在请求 LLM 之前的流程全部为 Redis 操作，显著降低 IO 开销 docs: 📊 保留 SSE 链路性能打点逻辑 * 保留原有 SSE 全链路打点计时代码，便于后续性能排查与分析 * 当前默认注释，如需使用可手动启用进行性能调试
51 lines
1.2 KiB
Go
51 lines
1.2 KiB
Go
package kafka
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
|
||
segmentkafka "github.com/segmentio/kafka-go"
|
||
)
|
||
|
||
type Consumer struct {
|
||
reader *segmentkafka.Reader
|
||
}
|
||
|
||
func NewConsumer(cfg Config) (*Consumer, error) {
|
||
if len(cfg.Brokers) == 0 {
|
||
return nil, errors.New("kafka brokers 未配置")
|
||
}
|
||
reader := segmentkafka.NewReader(segmentkafka.ReaderConfig{
|
||
Brokers: cfg.Brokers,
|
||
Topic: cfg.Topic,
|
||
GroupID: cfg.GroupID,
|
||
MinBytes: 1,
|
||
MaxBytes: 10e6,
|
||
CommitInterval: 0,
|
||
StartOffset: segmentkafka.FirstOffset,
|
||
})
|
||
return &Consumer{reader: reader}, nil
|
||
}
|
||
|
||
// Dequeue 从 Kafka 拉取一条消息（不自动提交 offset）。
|
||
func (c *Consumer) Dequeue(ctx context.Context) (segmentkafka.Message, error) {
|
||
if c == nil || c.reader == nil {
|
||
return segmentkafka.Message{}, errors.New("kafka consumer 未初始化")
|
||
}
|
||
return c.reader.FetchMessage(ctx)
|
||
}
|
||
|
||
func (c *Consumer) Commit(ctx context.Context, msg segmentkafka.Message) error {
|
||
if c == nil || c.reader == nil {
|
||
return errors.New("kafka consumer 未初始化")
|
||
}
|
||
return c.reader.CommitMessages(ctx, msg)
|
||
}
|
||
|
||
func (c *Consumer) Close() error {
|
||
if c == nil || c.reader == nil {
|
||
return nil
|
||
}
|
||
return c.reader.Close()
|
||
}
|