麦富迪旗舰店 · 最优桶(高阶版)询单转化率负向归因

AB 实验对照 | 分析窗口 2026-07-31 ~ 08-03(四天全量)| 最优桶(高阶版) vs 基础版 vs 直连人工组
一句话结论:高阶版把更多会话截留在机器人侧(转人工率 -2.74pp),但机器人在几个关键场景促单/交付能力不足——整体询单转化率 -2.06pp(z=2.24,显著)。三个可定位的失分点:① 活动咨询——券召回得到、却不发可点领券卡;② 商品属性/多款对比——机器人自身 close 率回退;③ 选粮(适用范围)人工收口的差异经证伪为样本噪声,不予归因
最优桶 询单转化率(四天)
21.57%
▼ 2.06pp vs 基础版 23.63%
显著性(双侧 z 检验)
z=2.24
p≈0.025 · 显著
最优桶 转人工率
47.18%
▼ 2.74pp(更少转人工)
样本量(询单UV/桶·四天)
~4,100
付款UV 900+ · 合格
0

窗口 & 样本量:结论可信

实验自 07-29 起全量放量,无测试日稀释。四天(07-31~08-03)最优桶询单 4251 UV、基础版 3990 UV,付款 UV 均 900+,为合格样本。单看 08-03 一天 Δ 仅 -1.60pp 且不显著(z≈0.9),但并入四天后 -2.06pp 达显著(z=2.24),负向稳定成立。
分桶询单 UV付款 UV询单转化率vs 基础版
基础版3,99094323.63%基准
最优桶(高阶版)4,25191721.57%▼ 2.06pp
直连人工组(小样本参考)1794223.46%
直连人工组(纯人工兜底)23.46% 与基础版接近,而最优桶最低——"多让机器人接管"这个动作本身没换来转化收益。
1

机制:机器人"多接了,没接住"

高阶版转人工率比基础版低 2.74pp(47.18% vs 49.92%),纯机器人与智能辅助两种模式接待量都更高,但两种模式转化率双双下降。多接住的会话没能促成成交,是负向的直接来源。
服务模式基础版 CVR最优桶 CVRΔ
纯机器人26.08%24.09%-1.99pp
智能辅助20.70%18.86%-1.84pp
纯人工占比 <1%,该店近乎全自动化,不构成对比
该店是高度自动化店铺(纯人工接待 <1%),机器人促单能力≈整店转化能力,版本策略对 CVR 极其敏感。
2

分意图:普跌,活动/推荐类掉得更多

四天里几乎每个意图都下滑,越靠"活动促销/个性化推荐"掉得越多。商品咨询量最大(~1900 UV),即便 -1.00pp,绝对拖累仍显著;活动咨询四天 -3.99pp,且 08-03 单日一度骤降至 -12pp(见下节)。
意图UV(基/最)基础版 CVR最优桶 CVRΔ
活动咨询539 / 59244.53%40.54%-3.99pp
商品推荐437 / 51940.50%37.96%-2.55pp
售后问题1051 / 113321.98%20.56%-1.41pp
发货物流617 / 72223.66%22.44%-1.23pp
商品咨询(量最大)1884 / 196936.15%35.14%-1.00pp
购买操作 / 售前物流(小样本)~54% / ~44%~51% / ~43%-3.0 / -1.1pp
3

深挖①:活动咨询——是"未发券卡",不是"召回源"

对最优桶"买家明确问券/活动"的无转化会话逐条判定召回→发卡链路(95 个会话):机器人几乎都能召回到具体优惠,问题出在不发可点击的领券卡,让买家在"等活动、比价观望"时自己找券、临门流失。这是 08-03 活动咨询骤降的主因。
bot 对券/活动的应答会话占比
A. 发了可点击领券卡片2223%
B. 召回命中·只文字报券未发卡4446%
C. 答"无活动/无优惠"(召回未命中)00%
D. bot 未应答33%
E. 答非所问/漂移到商品介绍2627%
判定:召回源没问题(C=0)。能明确报出具体优惠(满X减Y/券后价)的占 A+B=69%,但其中 44/66≈67% 只用文字说券、没推领券卡。文字报券要买家自己找券、比价,在观望场景下摩擦最大。
未发券卡 · 典型
买家:有满减红包吗
机器人:这款有商品券满199减10,会员再减10,到手257元…您可以看看有没有其他优惠叠加~ 需要我帮您查下当前具体优惠吗?
→ 未发领券卡、以反问代替动作,买家未下单
券信息已召回,却停在"文字描述+反问",没有一键领券卡片把买家推向下单。
再把活动咨询拆到 L2 子场景 + "版本×转人工/纯bot"四象限,会发现一个关键假象:券场景(活动优惠)总 Δ 只有 -0.73pp,其实是"bot 大幅掉、人工兜回来"两股力量抵消的结果——不看四象限就会漏掉 bot 券能力的真实缺口。
L2 子场景总Δ基础版 纯bot / 转人工最优桶 纯bot / 转人工纯bot Δ转人工组 Δ
赠品(送试吃/买赠·量最大)-3.16bot 46.4% / rg 48.0%bot 41.9% / rg 47.8%-4.52-0.17
活动优惠(券/满减)-0.73bot 46.4% / rg 22.0%bot 38.9% / rg 46.7%-7.47+24.72
商品议价(讲价)-5.12bot 51.6% / rg 38.1%bot 47.7% / rg 35.9%-3.94-2.20
"券"是被人工兜住的隐藏大坑:活动优惠场景,最优桶 纯 bot 组暴跌 -7.47pp(46.4%→38.9%)——正是"召回到券却不发领券卡"的直接后果;但最优桶把更多券会话转给人工(占比 24% vs 20%),转人工组反而 +24.72pp(人工能直接发券收口),两者抵消才让总 Δ 看着只有 -0.73pp。这反证了"让 bot 自己发券卡"的价值:一旦 bot 能发卡,既能救回 bot 组 -7.47pp,也能省下被迫多转人工的成本。
其余两个子场景与商品咨询同源:赠品负向落在纯 bot 组(-4.52pp,答完赠品说明没促成,转人工组持平);商品议价 bot 授权不了降价,最优桶被迫更多转人工(占比 31% vs 18%),但议价转人工组 CVR 低于 bot 组,多转反而稀释,叠加共成 -5.12pp。方法论提醒:活动咨询存在"bot 弱→逼转人工→人工兜"的交织,必须看四象限,不能只看意图总 Δ。
4

深挖②:商品咨询——属性/对比是 bot 自身 close 率回退

商品咨询拆到 L2 子场景 + "版本×转人工/纯bot"四象限后,负向定位很清楚:商品属性、多款对比的负向落在纯 bot 组(机器人自身促单能力回退),转人工组无差异;量最大的商品属性是绝对拖累第一。商品咨询内最优桶转人工率也更低(20.01% vs 21.87%,-1.86pp),同样是"多接没接住"。
L2 子场景基础版 纯bot / 转人工最优桶 纯bot / 转人工纯bot Δ负向落点
商品属性(量最大~1250)bot 36.9% / rg 34.8%bot 34.0% / rg 34.6%-2.93pp纯 bot 组
商品区别(多款对比)bot 46.7% / rg 47.8%bot 43.1% / rg 45.3%-3.53pp纯 bot 组
适用范围(选粮)bot 36.9% / rg 49.3%bot 37.9% / rg 37.9%+0.93pp转人工组(见下·噪声)
尺寸咨询(小样本)bot 47.1%bot 39.6%-7.44pp纯 bot(样本小)
bot close 弱 · 三种形态
① 答完秒促单邀评(临门一脚缺失):属性问题 bot 答得又准又全(食量/规格/喂法),随即"喜欢就赶紧下单吧"+邀评,无紧迫感/规格收敛/低风险承诺,买家拿信息去比价。

② 多款对比摇摆不收敛:买家问鱼油"这都有啥区别",随买家追加症状(掉毛→抓挠→免疫低),bot 在凤尾鱼油↔磷虾油间反复改口,始终没给唯一结论。

③ 机械重复 + 偶发答错:买家回"👌",bot 把同一句话原样重复两遍→买家打"人工";且把 3 月龄推荐规格答成 M 号,人工纠正应为 L 号。
这些都是"机器人自身 close 能力"问题,与人机分流无关,人工介入与否救不了。
已排除的噪声:"选粮(适用范围)转人工组 -11.4pp"经两轮证伪——① 转人工前 bot 轮次/时长:最优桶时长中位反而更短(64s vs 105s),"拖久成残局"不成立;② 转人工前买家选购意向占比(最优桶 15.3% ≥ 基础版 12.9%)与转人工后人工重问品种/年龄比例(32.5% vs 32.4%,几乎相同)均无版本差异,"交接残局/上下文丢失"不成立。叠加其本就边界显著(z≈2.0),判为小样本噪声,不予归因、不进入治理
5

深度分层:浅层开场、深层收口两头最弱

负向贯穿全部对话深度口径:07-31~08-02,两端最重:浅层(≤2 轮)-4.03pp——开场没抓住快决策买家;深层(>10 轮)-3.61pp——多轮决策拉锯到最后没收口。最优桶各层 UV 都更多,印证"接得多、每层转化都更低"。
6

改进方向(按优先级)

P0 · 活动咨询:补"发券卡"动作

召回命中的券/活动(占 69%)中约 2/3 只文字报券不发卡。让 bot 命中优惠时直接推一键领券卡片 + 券后价 + 下单链接,替代"文字描述+反问"。直击活动咨询 -3.99pp(08-03 一度 -12pp)。

P0 · 商品属性/对比:修 bot close 能力

属性问答后补临门促单闭环(紧迫感+规格收敛+七天无理由);多款对比强制1 款主推 + 唯一理由 + 直连链接;治理规格/月龄等属性准确性,避免答错损伤信任。直击纯 bot 组 -2.9~-3.5pp。

P1 · 反问兜底 + 推荐收敛

bot 反问体重/月龄/品种后用户不答时,自动给"默认规格+保守推荐+低风险承诺"兜底,避免多轮追问断链;商品推荐同样强制收敛到 1-2 款。

P1 · 强项意图设阈值转人工

活动/优惠券/复杂选品在 bot 促单信息不足时快速转人工,而不是"接住却促不动"。

P2 · 扩样本复核 + 浅层开场

窗口扩到 7–14 天复核 -2.06pp 强度;针对浅层 ≤2 轮 -4pp,优化开场首答的快决策买家促单钩子。
口径说明(脱敏版)
· 询单转化率 = 付款 UV / 询单 UV(按 买家×日 去重)。服务模式四态按机器人自动问答/智能辅助次数划分,已做 买家×日 去重(互斥校验通过)。
· 转人工率 = 会话级触发转人工(直接/按钮)会话数 / 总会话数,按版本口径统计。显著性用两比例双侧 z 检验。
· 分意图/子场景为机器人意图标注;买家可命中多意图,各意图 UV 之和 > 总 UV 属正常。
· 活动咨询"召回 vs 发卡"为对话流等价判定(券卡/文字报券/答无活动的消息信号),已排除全店会员横幅与"以页面为准"对冲话术噪声;trace 级发卡节点证据受工具可用性限制未纳入。
· 深度分层为 07-31~08-02 口径,其余为 07-31~08-03 四天口径。
· 本报告已隐藏内部表名/字段名/实验 ID/工号,指标以业务语言表述。