Shopify 如何用多模态 LLM 构建全球商品目录:ICLR 2025 Expo 演讲回顾
Shopify 在 ICLR 2025 Expo 上分享了其全球商品目录(Global Catalogue)的工程实践,通过微调视觉大语言模型同时执行商品分类、属性抽取、图像理解、标题标准化等多项任务,每天完成 4000 万次多模态 LLM 推理。该目录分为商品数据、商品理解、商品匹配与对账四层,每日以流式方式处理超 1000 万条商品更新,服务于搜索、推荐和对话式商务。
Shopify 在 ICLR 2025 Expo 上分享了其全球商品目录(Global Catalogue)的工程实践,通过微调视觉大语言模型同时执行商品分类、属性抽取、图像理解、标题标准化等多项任务,每天完成 4000 万次多模态 LLM 推理。该目录分为商品数据、商品理解、商品匹配与对账四层,每日以流式方式处理超 1000 万条商品更新,服务于搜索、推荐和对话式商务。
Shopify 工程团队披露其机器学习布局:用微调 Qwen 多模态模型对商品做分类与元数据增强,日均推理量达数亿次;用微调 LLaMa 模型结合 MCP 构建商家助手 Sidekick,并以微调 Nomic 嵌入向量支撑搜索与推荐。基础设施上与 GCP 合作并接入 Nebius 等 neo-cloud 获取 GPU 训练集群。
Josh Bersin 认为 AI 摧毁白领就业的说法被严重夸大,大规模岗位消失尚未发生。他指出 IT 预算上涨 62%、CEO 强制推行 AI 导致招聘冻结,但 MS Copilot、SAP Joule、ChatGPT 等现成工具尚不成熟,约 60% 企业仍处 AI 转型第一阶段。他称 Galileo 智能体已有超 4000 人使用,自动化反而催生新工作,美国失业率维持在 4.2%。
Shopify 重构了 admin.shopify.com 的底层架构,使 Admin 页面加载速度提升 30%,同时为 AI 功能打基础。该后台每天承载 6700 万次页面浏览,由 101 个团队、日均约 350 个 PR 共同开发,TypeScript 代码量自 2020 年以来翻倍。
Reejig 发布 Work Architecture Platform,可把岗位拆解为任务与子任务,例如 HR Business Partner 岗位包含 77 项任务和 225 项子任务,并估算自动化潜力、推荐 AI 工具。
Shopify 工程团队分享了 React Native 图形栈的新进展:基于 Dawn(Google 开源 WebGPU 实现)的 Skia Graphite 后端将 Android 的 OpenGL 与 iOS 的 Metal 两套实现统一,使 Three.js、React Three Fiber 和 TensorFlow.js 可在 React Native 上原生运行。
Shopify 的 Augmented Engineering DX 团队开源了工作流编排框架 Roast,用 YAML 配置和 markdown 提示词把非确定性的 AI 步骤与普通代码执行交错编排,使多步智能体流程可版本控制、可测试、可复现。
Workday 在 2025 创新峰会上宣布从产品导向转向开放、伙伴驱动的 AI 生态“Workday Economy”,押注智能体 AI、Workday Financials 与中型市场。
Josh Bersin 团队发布 AI 原生企业学习平台 Galileo Learn™,内置 Galileo Agent,可自动将 PDF、音视频、SCORM 等任意内容生成课程、测评与模拟练习,并支持 60+ 语言翻译。平台已上线 700 多门课程,对标其 96 级 HR 能力模型,企业可授权后搭建自有领导力或销售学院。
Shopify 产品理解系统现基于 Shopify Product Taxonomy 与视觉语言模型两大基础,覆盖超 26 个业务垂直领域、1 万多个产品类目和 1000 多个产品属性。其模型从 LlaVA 1.5 7B 迭代至 LLaMA 3.2 11B,现采用 Qwen2VL 7B,并借助 FP8 量化、Nvidia Dynamo 在途批处理和 KV cache 优化提升推理效率。
哈佛商学院高级研究员 Karen G. Mills 在《Fintech, Small Business & the American Dream》第二版中提出"小企业乌托邦"设想:借助 AI 与机器学习,为小企业主提供现金流预测仪表盘、预审信贷选项和能用自然语言处理日常任务的数字助手,同时让贷款方更准确判断企业信用。她认为这些进展尚未完全落地,但路径已经铺好。
Shopify 通过实时 Embedding 流式管道为 Storefront Search 提供语义搜索能力,目前每秒处理约 2,500 个 Embedding(每天约 2.16 亿个),覆盖图像与文本管道。
Shopify 为 Sidekick 开发了缓冲式 Markdown 解析器和事件发射器,将多个流与事件多路复用为单一流逐块渲染,解决了 Markdown 渲染卡顿和响应延迟两大问题。