当页面数量从几十增长到几百、几千,最先出问题的不是内容质量,而是那些靠人工逐页核对、逐条记录的工作。它们在小规模时几乎不消耗判断力,规模一上来就变成瓶颈:容易漏、容易过期、难以复查。判断标准可以压缩成一句话——如果一项工作每次都要打开单个页面、手动抄写结果、再靠记忆对比,它就不适合继续手工做。下面用一个假设情境说明取舍过程。
假设一个站点从 80 个页面扩展到 1200 个页面,团队没有完整的日志权限,也没有现成的爬虫工具,只能看到站点自身可访问的页面。此时仍然可以手工做的事,和必须换成批处理或规则化处理的事,会明显分开。
最先失效的通常是三类动作。第一类是逐个页面检查标题、描述、规范标签是否重复或缺失。第二类是逐条记录内链指向,判断哪些页面只被少数页面引用。第三类是逐页观察页面是否能正常返回、是否被错误地设为不可索引。这三类工作的共同点不是“复杂”,而是“重复且需要横向对比”。手工做 80 个页面时,人脑还能记住大致分布;到 1200 个页面时,记忆不再可靠,手工记录本身就会制造错误。
相反,有些工作仍然适合手工做,例如判断某个栏目是否值得保留、某段内容是否真正回答了用户问题、某个页面是否应该合并。这些工作依赖语义判断,批处理只能提供信号,不能替你做决定。
缺少完整数据和权限时,不必等工具齐全才开始。一个可执行的最小动作是:从站点地图、栏目列表或后台页面列表中,按固定间隔抽取 30 到 50 个页面,手工记录三件事——页面是否可访问、标题是否唯一、是否有至少一个来自其他页面的链接指向它。
这个动作的结果会影响下一步。如果抽样中重复标题或孤立页面的比例很低,说明当前问题可能集中在少数栏目,可以继续手工处理这些局部;如果抽样中重复或孤立现象反复出现,就说明问题不是个别页面,而是缺少统一规则,此时继续逐页手工修只会不断产生新遗漏。下一步应该转向可重复执行的检查方式,例如用站点自身的搜索或列表功能批量导出页面标题,再按栏目分组比对,而不是继续一页一页看。
需要说明的是,抽样中某项现象为零,不能单独证明全站没有问题。它还可能意味着抽样没有覆盖到问题集中的栏目,或者页面列表本身不完整。这个结论只能用于判断“是否值得扩大检查范围”,不能用于宣布处理完成。
规模扩大后,适合转为规则化处理的工作有一个共同特征:判断标准可以用“是/否”或“重复/唯一”表达,并且需要覆盖全部页面。例如:
这些工作不必一开始就追求完整工具链。可以先用导出列表加排序的方式,把全部页面标题放在一起看重复项;可以先用站点自身的链接关系,找出没有被任何页面引用的地址。关键不是工具多先进,而是把“逐页判断”变成“先看整体分布,再回到具体页面”。
仍然适合手工做的,是那些需要理解上下文的工作:某个页面是否应该保留、某段内容是否与用户意图匹配、某个栏目是否值得继续投入。把这些工作也强行批处理,反而会丢失判断质量。
规模扩大后,手工习惯还会带来另一个问题:人倾向于先修那些打开就能改的页面,而不是先处理影响面更大的结构问题。假设抽样发现,某栏目有 20 个页面标题重复,同时另一个栏目有 3 个重要页面没有任何内链指向。前者改起来快,后者改起来需要先确认链接来源。但如果那 3 个页面是用户获取内容的主要入口,优先修它们对整体可理解性的帮助更大。
判断顺序可以看两点:这个问题是否影响一批页面的可发现性,以及它是否会在新增页面时继续复制。如果会继续复制,先处理规则;如果只影响个别页面,可以留在后面手工处理。这个顺序不需要完整数据也能执行,只需要在抽样结果上标注“影响一个页面”还是“影响一类页面”。
手工工作之所以难以停止,是因为没有明确的完成条件。规模扩大后,可以为每类工作设一个复查条件:例如,抽样中不再出现同一栏目内标题重复,且新增页面在发布时能自动进入同一检查范围。达到这个条件后,原来的逐页手工核对就可以停止,转为按固定周期抽样复查。
如果缺少权限,无法自动获取新增页面列表,那么最小替代动作是:每次批量新增内容后,从新增列表中抽取固定数量页面做一次核对,并记录本次抽样是否出现重复或孤立。这样做的结果不是证明全站干净,而是判断当前规则是否还在生效。一旦抽样再次出现同类问题,就说明规则需要调整,而不是回到逐页手工修的老路。
把手工工作保留在语义判断上,把重复核对交给可重复执行的规则,规模扩大才不会让雅虎排名相关的日常维护变成不断救火。