Netflix 如何构建、对齐并监控 LLM-as-a-Judge 全生命周期

Netflix 公开其 LLM-as-a-Judge 的四阶段生命周期：人工标注基准数据、训练对齐、部署为生成系统的门控与评审、以及 HITL 对齐与漂移监控。该方案用于推荐解释生成，每周产出数十万条解释，由第二个 LLM 打分并给出通过/拦截理由，低质解释被拦截。若漂移超过阈值即触发重训与基准数据扩充，每次变更上线前均需人工批准。