Shopify 如何用 LLM 评审团共识为 Sidekick 自动筛选训练数据，教会模型拒绝不可能请求

Shopify 为商家 AI 助手 Sidekick 的客户分群技能构建自动化数据筛选流程，用四个前沿 LLM 组成评审团，对生产语料中的查询做拒绝标注。此前训练数据全部来自数万条成功查询，模型从未学会拒绝，遇到不可能请求时会生成返回零结果的查询。评审团经 Toloka 约 600 条标准查询与 602 条拒绝标注校准，要求四个模型在结论和推理上完全一致才接受标签，优先保证精确率。