采集规则编写全攻略：元素定位方法与常见避坑要点

📍 WDQWDWQD987AAAAA:216.73.216.73
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /e9679c40964a.html
📄

能否稳定高效地抓取数据，很大程度上取决于采集规则写得好不好。一份可靠的规则，既要精准提取目标字段，也要兼顾抓取速度和账号安全。以下从规则结构、定位器选择到翻页处理，梳理一套完整思路，助你避开常见陷阱。

1. 套规则的基本组成

无论你使用现成爬虫软件还是自行编码，一套完整的采集规则都包含三个相互衔接的环节：取数入口、字段定位与结果规范。入口环节决定从哪里启动请求；定位环节负责在返回的HTML或数据源中锁定目标；结果规范则保证输出数据的格式与质量。

动手之前，先确认对象是列表页还是明细页。列表页只需提取每条记录的超链接并处理分页，而明细页则可能遇到价格、库存、参数等字段缺失或格式不一的问题，规则复杂度明显提升，必须预留容错机制。

对于零基础的新手，可以先通过可视化采集工具制作一条简单任务，观察工具自动生成的定位表达式，以此理解XPath或正则的作用方式。

2. 四种定位方法的优劣对比

选择哪种定位方式，是规则编写中最需要权衡的部分。四种主流方案各有适用场景，不能一概而论。

2.1 XPath：适合复杂层级

当页面结构嵌套较深时，XPath表现最好。例如抓取正文所有段落，一句//div[@class='content']//p便可一次命中。代价是表达式冗长且强依赖结构，目标站点一旦调整层级，规则即失效。

2.2 CSS选择器：简洁且快速

CSS选择器语法简洁，例如直接写.price即可按类名提取。执行速度快，适合结构扁平的页面。但当页面中存在大量重复类名时，需要借助父级限定，如.list li来缩小范围。

2.3 正则表达式：处理文本模式

正则擅长从纯文本中抽出特定模式，比如电话号码或订单号。它的缺点是难读且调试成本高，建议只在CSS与XPath均无法解决时启用，例如解析接口返回的JSONP数据。

2.4 JSONPath：对接API接口

目前绝大多数站点采用Ajax异步加载，直接在浏览器开发者工具中的Network面板找到XHR请求，对返回的JSON数据使用JSONPath提取，往往比处理HTML更稳定且不容易被反爬策略干扰。

注意：无论选用哪种方式，都应以相对路径优先，例如//div[@class='item']。尽量不要把从根节点开始的全路径写法写死，因为页面每多嵌套一层，全路径就很容易作废。

3. 翻页结构与动态加载的处理方法

翻页是采集任务中最容易出问题的环节之一。常见的分页形式可分为URL参数变化、点击加载、无限滚动三类。

  1. URL参数型：直接在地址中携带页码，例如?page=2，可循环构造URL或从页面提取下一页链接。
  2. 点击加载型：需要模拟点击触发请求，应先抓包分析点击后发出的接口，若返回结构稳定则直接请求该接口。
  3. 无限滚动型：通常由滚动事件触发Ajax，推荐直接监听网络请求获取分页参数，而不是依赖模拟滚动。

避坑要点：每次翻页期间应保持一定间隔并对页面的校验码或时间戳做动态匹配，不要沿用固定参数。此外，务必在规则中加入终止条件，比如检测到“没有更多数据”的提示文本，否则可能出现死循环。

4. 数据清洗与容错机制

原始抓取结果往往包含多余标签、换行或字符串前后空白，清洗步骤必不可少。常见做法包括去除首尾空白、剔除HTML标签、统一货币与时间格式。对于关键字段（如价格），建议设置一个合理性判断条件，当数值异常时记录日志并跳过该条目，而不是终止整个任务。

另一个容易被忽视的问题是重复数据的产生。尤其在页面局部刷新或重试机制下，已入库的记录可能在列表中被重复抓取。可在规则末尾按主键字段执行内存去重，或比较当前URL与已处理集合，从源头避免重复请求。

易错点提示：不要依赖页面上的文本作为判断依据，比如“正在加载”这类文案可能出现在静态代码中；应以实际元素是否出现或接口是否返回为准。

5. 常见问题

5.1 已写好的规则为什么隔一段时间就失效？

多数是因为站点改版导致类名、标签层级或接口地址发生变化。建议在规则中加入版本号或定期自动检测目标页面关键节点，一旦发现不匹配即触发通知，便于及时维护。

5.2 页面内容通过JavaScript渲染，直接用请求获取不到数据怎么办？

优先排查XHR请求，直接调用返回JSON的接口通常更高效。若接口数据加密或需要复杂签名，可退而使用浏览器渲染方式获取完整HTML，但此时抓取速度和账号风险都会上升，需合理规划频率。

5.3 如何判断某条规则运行是否正常？

可监控三组指标：请求成功率、字段提取成功率和数据体积异常率。当单次任务提取成功数低于历史均值九成，或连续多次返回空字段时，应停止任务并检查规则日志。

6. 结语

编写一份稳定采集规则的核心是选择合适的定位器，并对变化的页面保持动态适配。建议每完成一条规则就做一次全流程测试，记录不同页面的边界情况并保留日志。日后面对站点更新，针对性地修正XPath或替换接口地址，就能以最小的改动力维持任务正常运转。

图1 图2
nginx