先把“页数”和“对象数”当成两个不同量来对待:报告里的每一行往往是一次匹配记录,而你要处理的关键词、页面或合作对象才是实体。去重的第一步不是删行,而是给每个实体建立唯一标识,再决定同一实体的多条记录是合并、保留一条还是全部退出。下面按你手里一份旧报告逐步处理。
同样是“报告 800 行、实际 500 个对象”,原因可能完全不同。先做一次抽样核对,再决定处理方式。
可区分的证据是:随机抽 20 行,看有多少行指向同一个实体,以及这些行的数值是否一致。若同一实体的多行数值相同,偏向口径重复;若数值不同,偏向多匹配,需要先定合并规则。
去重是否可靠,取决于唯一键选得对不对。常见做法是先规范化,再取键。
类型+规范化值,同一键只允许一条主记录。动作与结果:完成规范化后重新统计行数。如果行数明显下降且抽样核对无对象丢失,说明此前主要是写法不一致;如果行数几乎不变,说明重复来自多匹配或口径,需要进入下一步而不是继续清洗。
旧内容、旧系统或旧合作关系退出时,去重不只是删记录,还要判断哪一条值得留。可以用三个问题筛选:
假设一份旧报告里有 3 行都指向同一个落地页:一行来自早期分组,一行来自后来的复查,一行只有标题没有数据。假设三行数值一致,那么保留信息最完整的一行即可,另外两行标记为重复来源;假设数值不一致,就不要直接合并,而应保留两条并注明各自口径,因为合并会掩盖差异。这个例子只为说明判断顺序,不构成对任何工具输出的结论。
对确实要退出的对象,建议先移入待退出清单而不是直接删除,并记录退出理由和核对时间。这样下一步无论是清理系统还是通知相关方,都有依据可查。
去重完成后,输出应包含三部分:唯一对象清单、被合并记录及其来源、待退出对象清单。每部分都要能回答“为什么这样处理”。
如果报告页数仍大于对象数,且你已确认唯一键正确,那么差额通常来自一对多关系,属于正常现象,不必强行压到相等。反过来,如果对象数大于报告页数,先检查是否漏统计了变体或未纳入查询的对象,再决定是否补查。
最后核对一次:随机抽 10 个唯一对象,确认每个都能在原始报告里找到至少一条来源记录。若找不到,说明规范化过程中误合并了不同对象,应回退该步重做,而不是继续往下清理。