结论可以写,但必须写成有条件的结论:说明它由哪些样本、哪个时间窗、哪种口径得出,并明确在这一范围内成立、超出范围需要重新验证。统计缺口补不齐时,最危险的做法不是承认不确定,而是把局部观察包装成普遍规律。下面按“先给有条件结论、再指出反例、最后定下一步动作”的顺序展开。
缺口存在时,仍要给出可用的判断,只是把判断的适用范围写进句子里。常用的条件有三类:样本条件、口径条件、时间条件。
一个可操作的写法是“在X范围内、按Y口径、观察Z时间窗,出现A现象,因此对这段范围建议做B”。这样即使缺口没补上,读者也能判断该不该照搬。
统计缺口不是同一种东西,处理方式差别很大。可以先做一次归因检查:
判断依据要可核查:埋点定义文档、字段缺失比例、两套口径的判定规则差异。不要仅凭“请求量下降”就断定采集出了问题——缓存、抓取频率变化、机器人过滤调整都可能造成同样的现象,需要交叉比对才能区分。
假设某内容团队在三个深度评测页上观察到:带参数对比表的页面,访客滚动更深、回访更多。他们据此得出“受众偏好结构化对比”,并准备把这一形式推广到全部页面。这是一个注明假设的例子,不是真实项目结论。
反例可能出现在这里:这三个页面本身已经吸引了带明确比较意图的访客,结构化对比只是顺应了这批人,而不是创造了这批人。一旦推广到资讯类、品牌认知类页面,访客意图不同,同样的对比表可能被快速跳过。此时原结论并未被推翻,它只是不适用于新范围。
这个反例说明:局部成立的结论,失效往往不是因为数据错了,而是因为适用对象变了。写适用范围时,要把“这批访客是谁”写进去,而不只是写“这类页面有效”。
缺口补不齐时,与其等数据完整,不如设计一个能证伪的动作。具体可以这样做:
这个动作的结果会直接影响下一步:如果只有接近样本的页面复现了现象,结论就维持在原有范围,推广暂停;如果两类页面都复现,可以谨慎扩大范围并补充新的边界条件;如果都不复现,说明原结论可能受时间窗或活动影响,需要回到口径层面重新检查。无论哪种结果,都要把“这次验证覆盖了什么、没覆盖什么”写进结论旁边,避免下一次有人把它当成普遍规律使用。
适用范围写得越具体,结论就越不容易被误用;而误用的代价,通常比承认不确定更高。