Polestar / Skill Lifecycle
项目描述
面向企业内部业务场景建设 Agent Skill 工厂,让业务人员可以通过自然语言生成 ERP / 业务 Skill,并让 Skill 从生成、评测、发布、监控到优化形成闭环。项目重点解决三个问题:Skill 生成质量不可控、Agent 可能伪造工具调用结果、上线后缺少可观测与自愈机制。
项目职责
- 参与设计 Intent、Generate、Eval-Cases、Eval-Run、Publish、Monitor、Report / Optimize 等生命周期流水线,把 Skill 从“生成脚本”升级为可治理资产。
- 设计 Stage 3 caseInputs + 真 spawn 评测机制,由系统真实执行 baicao api call,并采集 stdout、exitCode、duration,避免 Agent 只在上下文中伪造 toolCalls。
- 建设 normal、edge、error、security、off_topic、multi_turn 等评测类型,结合 Critical 必过、Pass@K、Baseline Regression 和 rubric 评分保障质量。
- 引入 LLM-as-Judge 对开放式结果进行结构化评价,同时保留确定性断言,避免全部依赖模型主观判断。
- 落地 Fix-Suggester 菜单式自愈和 Telemetry 埋点,覆盖成功率、耗时、Token、工具链、cohort 与内容指纹。