搜索榜单分析：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /f58e233d95b7.html
📄
搜索榜单分析：访客被分配到不同版本时怎样识别样本污染
识别样本污染的关键不是看总量涨跌，而是先确认分流是否随机、各版本样本是否来自同一批入口，再用分层对比和回退实验把被污染的那部分流量剥离出来。如果分流本身不独立，任何版本间的差异都不能直接归因于榜单或页面改动。
先确认分流机制是否独立，再看数据
假设一个场景：某内容站把搜索榜单页的旧版与新版同时上线，按访客ID尾号做50/50分流，一周后新版停留时长高出约20%。这个数字看起来是版本胜利，但需要先问三个问题：分流是按什么维度做的、两个版本是否共享同一批入口、统计口径是否一致。
如果分流是按访客ID，而访客ID在登录前后会变化，同一个真实用户可能先看到旧版、登录后又落入新版。此时两组样本不再互斥，停留时长的差异可能来自登录用户本身行为更长，而不是版本更好。判定动作是拉出分流日志，检查同一设备或账号是否在两个版本都出现过。若重复率明显高于随机预期，就应暂停版本对比，先修复分流标识。
用入口来源分层，定位污染集中在哪一层
样本污染往往不是全局均匀的，而是集中在某个入口。把访客按来源分成站内推荐、搜索落地、直接访问三组，分别看两版本的指标，能暴露污染位置。
- 若只有搜索落地组两版本差异大，而推荐组几乎无差异，污染可能来自落地页参数在分流前被改写。
- 若三组都同向偏移，更可能是统计口径或时间窗口问题，而非分流污染。
- 若某组样本量骤降到接近零，说明该入口的访客被系统性分到同一版本，对比失效。
这一步的实际动作是给每个来源单独建对照，而不是合并成一个总指标。合并会掩盖分层内的真实差异，也会让污染层的权重被稀释。
区分“污染”与“口径不同”的证据链
第三方估算流量、搜索引擎报告与站内统计口径不同，三者对同一页面的访问计数本来就可能不一致。看到站内新版访问量比旧版高，不能直接判定污染，要先排除口径因素。
可核查的证据链是：同一时间窗内，站内日志的会话数、去重设备数、页面浏览数三项指标是否同步偏移。如果只有会话数偏移而去重设备数不变，更可能是会话切分规则变了；如果三项同向且幅度接近，才更支持分流污染。任何一种单一指标归零或翻倍，都不足以单独证明处理正确，需要交叉验证。
回退实验：把可疑流量切回单版本
当分层对比仍无法定位时，做一次小范围回退：把某个入口的访客临时全部导向同一版本，观察该入口指标是否回到基线。
假设把搜索落地入口全部切到旧版后，该入口的停留时长回落到与旧版历史区间接近的水平，而其他入口两版本差异不变，那么污染大概率集中在搜索落地入口的分流环节。下一步应检查该入口的跳转参数、重定向链路和缓存策略，而不是继续扩大版本对比。反过来，如果回退后差异依旧存在，说明污染不在分流层，需要转向统计埋点或时间窗口对齐。
决定是否继续对比的判断条件
满足以下条件时，版本对比结果才可用于决策：分流标识稳定且两版本互斥；各入口样本量均足以支撑分层；三项核心指标同向且无单点异常；回退实验能复现污染位置。
只要其中一项不成立，就应先修复分流或统一口径，再重新积累样本。把污染样本直接用于榜单改版决策，会把分流缺陷误读成产品结论，后续优化方向也会随之偏离。
