最优桶 询单转化率
21.82%
▼ 2.23pp vs 基础版 24.05%
显著性 (双侧 z 检验)
z=2.09
p≈0.037 · 边界显著
最优桶 转人工率
47.49%
▼ 2.32pp(更少转人工)
样本量(询单UV/桶·3天)
~3000
付款UV 700+ · 合格
实验自 07-29 起已全量放量,无"测试日稀释"问题。分析窗口取 07-31~08-02 三天,最优桶询单 3218 UV、基础版 2986 UV,付款 UV 均 700+,处于"合格样本"档,可做常规显著性评估。窗口仅 3 天偏短,负向趋势成立但建议扩到 7–14 天复核强度。
| 分桶 | 询单 UV | 付款 UV | 询单转化率 CVR | vs 基础版 |
| 基础版 | 2,986 | 718 | 24.05% | 基准 |
| 最优桶(高阶版) | 3,218 | 702 | 21.82% | ▼ 2.23pp |
| 直连人工组(小样本参考) | 142 | 34 | 23.94% | — |
值得注意:直连人工组(纯人工兜底)CVR 23.94%,与基础版接近,而最优桶反而是三桶最低——说明"多让机器人接管"这个动作本身没有换来转化收益。
高阶版转人工率比基础版低 2.32pp(47.49% vs 49.81%),纯机器人与智能辅助两种模式的接待量都更高,但两种模式的转化率反而双双下降,且降幅最大的是承接量增加的"智能辅助"模式(-2.51pp)。多接住的会话没能促成成交,是负向的直接来源。
| 服务模式 | 基础版 CVR | 最优桶 CVR | Δ | 接待量变化 |
| 纯机器人 | 26.53% | 24.78% | -1.75pp | 1651 → 1715(+64) |
| 智能辅助 | 21.16% | 18.65% | -2.51pp | 1323 → 1485(+162) |
| 纯人工 | 占比 <1%,该店近乎全自动化,不构成对比 |
该店是高度自动化店铺(纯人工接待 <1%)。因此机器人促单能力≈整店转化能力,版本策略对 CVR 极其敏感。
几乎每个意图都小幅下滑(约 -0.3 ~ -1.7pp),没有单点崩塌。越靠近"个性化推荐 / 主观决策"的意图掉得越多(商品推荐 -1.67pp、活动咨询 -1.31pp、购买操作 -3.08pp);而绝对量拖累最大的是商品咨询——量最大(~1450 UV)× -0.81pp。
| 意图 | UV(基/最) | 基础版 CVR | 最优桶 CVR | Δ |
| 商品咨询(量最大) | 1421 / 1470 | 36.59% | 35.78% | -0.81pp |
| 商品推荐 | 327 / 379 | 40.98% | 39.31% | -1.67pp |
| 活动咨询 | 401 / 446 | 44.14% | 42.83% | -1.31pp |
| 售后问题 | 789 / 868 | 21.80% | 20.74% | -1.06pp |
| 购买操作(小样本) | 52 / 65 | 53.85% | 50.77% | -3.08pp |
| 发货物流 | 470 / 560 | 21.70% | 21.43% | -0.27pp |
负向贯穿全部对话深度,两端最重:浅层(≤2 轮)-4.03pp——开场没抓住"问一句就走"的快决策买家;深层(>10 轮)-3.61pp——多轮决策拉锯到最后没能收口。而且最优桶各深度层 UV 都更多,进一步印证"接得多、每层转化都更低"。
| 对话深度 | 基础版 CVR | 最优桶 CVR | Δ | 最优桶 UV |
| L1 · ≤2 轮(浅) | 13.23% | 9.20% | -4.03pp | 435(>393) |
| L2 · 3–5 轮 | 21.84% | 19.63% | -2.21pp | 1182 |
| L3 · 6–10 轮 | 26.29% | 23.99% | -2.30pp | 1038(>909) |
| L4 · >10 轮(深) | 35.76% | 32.15% | -3.61pp | 563(>425) |
从最优桶无转化对话中抽样,负向可归为 5 类可复现的失败模式,全部落在宠粮"选品决策"环节。(对话已脱敏,工号/商品链接以占位替代)
① 换粮 / 断货迁移未闭环
买家:他之前一直吃粉色那款,现在没货了 …… 和粉色那款什么区别?
机器人:粉色款是营养森林系列,现在旗舰店没有那个系列了 → 这款舒然鱼油主打80%高纯度鱼油…(重复功能罗列)
→ 邀评,未成交
核心顾虑是"换粮会不会不适应/成分差多少",bot 只重复卖点,未给出迁移建议与断货替代承诺 → 决策悬空。
② 推荐不收敛(给"这几款"而非 1 款)
买家:哪款猫粮适合德文?
机器人:德文猫代谢快…这几款麦富迪猫粮您可以看看~
买家:推荐一款啊 …… 人工
→ 转人工
用户要"一个明确答案+链接",bot 给发散选项不收敛,催逼转人工;另一例人工一次性甩出 5 个链接,同样让用户无从决策。
③ 反问后断链(多轮追问未闭环)
买家:4个月英短,吃哪款?
机器人:推荐舒然2.0升级款…您家英短目前体重多少呀?帮您看看规格~
→ 用户未回复,对话中断
bot 用"反问体重/月龄/品种"来收敛,但用户不答就断链,没有"默认规格 + 兜底推荐"的补救话术。
④ 断货商品无有效替代承接
买家:这款钙片店里咋找不到了?下架什么原因?有质量问题吗?
机器人:售罄下架了,不是质量问题 → 需要补钙我帮您看看其他款?
→ 用户未回,邀评
断货是复购流失高危点,bot 未主动推出对位替代款并给出理由,机会白白流走。
⑤ 优惠信息单薄 → 催转人工
买家:有啥优惠?
机器人:支持淘金币抵扣1.99元哦~
买家:有没有优惠券 …… 人工 → 人工发券
→ 由人工兜底
bot 优惠/券信息不完整,本可直接发券促单的会话被推给人工,既增负荷又拖慢临门一脚。
P0 · 收敛推荐 + 断货替代承接
决策类意图(商品推荐/换粮/断货)强制"1 款主推 + 唯一理由 + 直连链接",断货商品自动挂对位替代款并说明差异。直击 -1.67pp 的推荐掉转化与深层 -3.6pp 收口失败。
P0 · 反问兜底话术
bot 反问体重/月龄/品种后,若用户 N 秒未回,自动给"默认规格 + 保守推荐 + 七天无理由"兜底,避免多轮追问断链。
P1 · 强项意图设阈值转人工
活动咨询 / 优惠券 / 复杂选品在 bot 促单信息不足时,主动、快速转人工,而不是把会话"接住"却促不动——纠正转人工率过度下降带来的转化损失。
P1 · 优惠/券能力补齐
bot 端补全可发券、活动力度问答,减少因"优惠说不清"触发的转人工。
P2 · 扩样本复核 + 浅层开场优化
窗口扩到 7–14 天复核 -2.23pp 强度;针对浅层 ≤2 轮 -4pp,优化开场首答的"快决策买家"促单钩子。