04b5836b39
后端： 1. 新增课表图片识别接口，支持上传截图后返回“可编辑草稿”（success / partial / reject），并补齐大图、空图、格式不支持、识别能力未配置等错误分支。 2. 课表识别服务接入多模态 Responses 链路，完善图片请求归一化与安全校验（大小、MIME、内容探测），并对识别结果做结构化清洗、强/弱约束校验、告警去重与默认文案兜底。 3. 新增 Ark Responses 统一客户端抽象，支持文本+图片输入、JSON对象输出、usage统计透传与不完整输出识别；同时补齐模型返回 finish_reason 透传，便于定位截断问题。 4. 启动阶段增加课表识图模型与参数注入（模型名、最大图片字节、最大输出token），并将配置示例收敛为“仅保留当前代码实际读取项”。 前端： 5. 课表中心新增“导入课表”完整闭环：上传图片识别、草稿编辑校对、正式导入落库；并新增对应 API 与类型定义。 6. 导入弹窗支持识别中止、全局告警与行级告警展示、低置信度提示、行内编辑、手动新增、删除、拖拽排序、本地校验与提交前二次确认。 7. 正式导入前将草稿按“课程名+地点+是否允许嵌入”聚合为导入结构，并统一携带幂等键请求头，降低重复提交风险。 8. 周课表画板修复跨节次事件遮挡导致的网格错位问题，改进“完全遮挡/部分遮挡”渲染判定与 grid 行定位。 9. 助手流式区域优化“思考中”指示逻辑与样式，避免已有正文时仍展示回答中占位；同时补充全局组件视觉统一（弹窗/按钮）样式。 仓库： 10. 新增课表图片识别前端对接说明文档，补充主动优化能力 PRD 讨论稿，并在协作规范中新增“实现 Eino 新能力前需先查官方文档”的约束。
124 lines
3.8 KiB
Go
124 lines
3.8 KiB
Go
package llm
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
"io"
|
||
|
||
"github.com/cloudwego/eino-ext/components/model/ark"
|
||
einoModel "github.com/cloudwego/eino/components/model"
|
||
"github.com/cloudwego/eino/schema"
|
||
arkModel "github.com/volcengine/volcengine-go-sdk/service/arkruntime/model"
|
||
)
|
||
|
||
// WrapArkClient 将 ark.ChatModel 适配为统一 Client。
|
||
//
|
||
// 职责边界：
|
||
// 1. generateText：调用 ark.ChatModel.Generate（非流式），供 GenerateJSON 使用；
|
||
// 2. streamText：调用 ark.ChatModel.Stream（流式），供需要流式输出的场景使用；
|
||
// 3. 两者共用同一套 options 转换。
|
||
func WrapArkClient(arkChatModel *ark.ChatModel) *Client {
|
||
if arkChatModel == nil {
|
||
return nil
|
||
}
|
||
|
||
// 非流式文本生成，供 GenerateJSON / GenerateText 调用路径使用。
|
||
generateFunc := func(ctx context.Context, messages []*schema.Message, options GenerateOptions) (*TextResult, error) {
|
||
arkOpts := buildArkStreamOptions(options)
|
||
msg, err := arkChatModel.Generate(ctx, messages, arkOpts...)
|
||
if err != nil {
|
||
return nil, err
|
||
}
|
||
if msg == nil {
|
||
return nil, errors.New("ark model returned nil message")
|
||
}
|
||
|
||
var usage *schema.TokenUsage
|
||
finishReason := ""
|
||
if msg.ResponseMeta != nil {
|
||
usage = CloneUsage(msg.ResponseMeta.Usage)
|
||
finishReason = msg.ResponseMeta.FinishReason
|
||
}
|
||
|
||
return &TextResult{
|
||
Text: msg.Content,
|
||
Usage: usage,
|
||
FinishReason: finishReason,
|
||
}, nil
|
||
}
|
||
|
||
// 流式文本生成。
|
||
streamFunc := func(ctx context.Context, messages []*schema.Message, options GenerateOptions) (StreamReader, error) {
|
||
arkOpts := buildArkStreamOptions(options)
|
||
reader, err := arkChatModel.Stream(ctx, messages, arkOpts...)
|
||
if err != nil {
|
||
return nil, err
|
||
}
|
||
return &arkStreamReaderAdapter{reader: reader}, nil
|
||
}
|
||
|
||
return NewClient(generateFunc, streamFunc)
|
||
}
|
||
|
||
// buildArkStreamOptions 将统一 GenerateOptions 转换为 ark 的流式调用选项。
|
||
func buildArkStreamOptions(options GenerateOptions) []einoModel.Option {
|
||
thinkingEnabled := options.Thinking == ThinkingModeEnabled
|
||
|
||
// Thinking
|
||
thinkingType := arkModel.ThinkingTypeDisabled
|
||
if thinkingEnabled {
|
||
thinkingType = arkModel.ThinkingTypeEnabled
|
||
}
|
||
opts := []einoModel.Option{
|
||
ark.WithThinking(&arkModel.Thinking{Type: thinkingType}),
|
||
}
|
||
|
||
// Temperature：thinking 模型强制要求 temperature=1，否则 API 静默忽略 thinking。
|
||
if thinkingEnabled {
|
||
opts = append(opts, einoModel.WithTemperature(1.0))
|
||
} else if options.Temperature > 0 {
|
||
opts = append(opts, einoModel.WithTemperature(float32(options.Temperature)))
|
||
}
|
||
|
||
// MaxTokens：thinking 模式下 thinking token 占用 max_tokens 预算，
|
||
// 调用方设定的值仅代表"期望输出长度"，实际预算需留出思考空间。
|
||
// 最低保障 16000，避免思考链被截断导致输出为空或非 JSON。
|
||
maxTokens := options.MaxTokens
|
||
if thinkingEnabled {
|
||
const minThinkingBudget = 16000
|
||
if maxTokens < minThinkingBudget {
|
||
maxTokens = minThinkingBudget
|
||
}
|
||
}
|
||
if maxTokens > 0 {
|
||
opts = append(opts, einoModel.WithMaxTokens(maxTokens))
|
||
}
|
||
|
||
return opts
|
||
}
|
||
|
||
// arkStreamReaderAdapter 适配 ark.ChatModel.Stream 返回的 reader。
|
||
// ark.Stream 返回 schema.StreamReader[*schema.Message]，其 Close() 方法无返回值
|
||
// 而我们的 StreamReader 接口要求 Close() error
|
||
type arkStreamReaderAdapter struct {
|
||
reader *schema.StreamReader[*schema.Message]
|
||
}
|
||
|
||
// Recv 转发到 ark reader 的 Recv 方法。
|
||
func (r *arkStreamReaderAdapter) Recv() (*schema.Message, error) {
|
||
if r == nil || r.reader == nil {
|
||
return nil, io.EOF
|
||
}
|
||
return r.reader.Recv()
|
||
}
|
||
|
||
// Close 转发到 ark reader 的 Close 方法。
|
||
// ark 的 Close() 无返回值，我们适配为返回 nil
|
||
func (r *arkStreamReaderAdapter) Close() error {
|
||
if r == nil || r.reader == nil {
|
||
return nil
|
||
}
|
||
r.reader.Close()
|
||
return nil
|
||
}
|