先查分母,不要先改结论。分组后结论与总体相反,最常见的原因是各组的分母口径不同,或各组在总体中的权重与你的直觉不一致。正确动作是:把每个分组的分子与分母分别列出,再按总体口径重新合并,看矛盾是否消失。如果合并后矛盾仍在,才需要怀疑数据质量或真实的结构性变化。
营销案例分析里出现“每组都变差、总体却变好”,通常有两种解释。
这两种解释对应完全不同的下一步。前者要调整渠道结构,后者只需统一口径后重算。
能区分它们的证据不是某一项指标,而是三样东西能否对齐:分子来源、分母来源、分组权重。
如果分组权重之和与总体对不上,问题就在分母。如果权重能对上,但把分组分子分母直接相加仍得不到总体值,说明存在未归类的流量或重复计数。
假设某次改版后,移动端转化率从 4% 降到 3%,桌面端从 6% 降到 5%,但总体转化率从 4.5% 升到 4.8%。这看起来矛盾。
查分母发现:改版前移动端会话占 30%,改版后占 70%。按改版后的权重重新合并:0.7 × 3% + 0.3 × 5% = 3.6%,仍低于改版前按旧权重的 4.5%。矛盾没有消失,说明总体上升另有来源,可能是未归类的直接访问被计入了总体分子,却没有进入任何分组。
这个例子的数字只用于说明比较方法,不代表任何真实项目结果。关键动作是:把权重代回去算一遍。如果重算后矛盾消失,结论应以重算值为准;如果矛盾仍在,下一步应去查未归类流量,而不是急着否定分组结论。
分母口径统一后,如果反转仍然成立,说明它可能是真实的结构变化。此时要看的不是“哪个结论对”,而是“哪个结论对应哪个决策”。
第三方估算流量、搜索引擎报告与站内统计的口径本来就不同,三者之间的差异不能单独用来推断算法变化。同样,某个指标归零也不能单独证明处理正确,它可能是埋点失效、过滤规则变更或流量来源迁移。
每次遇到分组与总体相反,按固定顺序走一遍:先写总体公式,再列分组分子分母,再算权重,再重算合并值。这个顺序能避免先入为主地相信某一层结论。重算结果直接决定下一步:矛盾消失就更新报告口径,矛盾仍在就查未归类流量或样本量。只有走完这一步,营销案例分析给出的结论才站得住。