火车头采集规则：开始前需要哪些网站资料
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /904f36fff470.html
📄
火车头采集规则：开始前需要哪些网站资料
配置火车头采集规则前，需要先准备目标网站的可访问页面地址、页面结构信息、内容范围清单、编码与请求特征，以及登录或验证条件。这些资料决定了规则能否稳定抓取，而不是先写规则再反复试错。
第一项：目标页面地址与栏目范围
要查什么：列出准备采集的栏目页、列表页和内容页地址，并确认它们之间的跳转关系。
怎么查：在浏览器中逐级打开目标站点，记录列表页的分页规律，例如页码出现在路径还是查询参数中；再随机点开三条内容页，确认地址格式是否一致。
结果说明什么：如果地址规律统一，采集规则可以用一个网址模板覆盖整批页面；如果地址格式混杂，就需要为不同结构分别建规则，否则会漏采或重复采集。
第二项：页面结构资料
要查什么：列表页中标题、链接、时间等字段所在的 HTML 结构，以及内容页中正文、标题、来源、发布时间的结构。
怎么查：用浏览器开发者工具查看元素，记录可复用的选择依据，例如 <h2> 标签、类名或稳定的父级容器。重点确认这些依据在多个页面上是否一致。
结果说明什么：结构在多个页面重复出现，说明可以作为采集规则的定位依据；如果类名随机变化或正文由脚本动态生成，则需要改用其他定位方式，或确认采集工具能否处理动态内容。
第三项：内容范围与过滤条件
要查什么：哪些内容需要采集，哪些需要排除，例如广告区块、推荐阅读、分页正文、图片或附件。
怎么查：打开若干内容页，标记正文的起止位置，检查是否存在多页正文、懒加载图片或需要单独下载的资源。
结果说明什么：过滤条件明确后，规则里才能设置对应的排除项和补全项；如果正文分页，需要额外准备分页地址规律，否则只能采到第一页。
第四项：请求特征与编码信息
要查什么：页面使用的字符编码、请求方式，以及是否存在访问频率限制或需要特定请求头。
怎么查：查看页面源码中的编码声明，观察直接访问与带参数访问返回的内容是否一致；用小批量测试观察是否出现验证或拒绝响应。
结果说明什么：编码不一致会导致中文乱码，请求特征不符会导致返回空内容或错误页。先确认这些条件，能减少规则调通后的返工。
第五项：登录、验证与采集边界
要查什么：目标内容是否需要登录才能访问，是否存在验证码、访问频率限制，以及站点对采集行为的约束。
怎么查：在未登录状态下访问目标页面，确认内容是否完整；阅读站点的使用条款和 robots 相关说明。
结果说明什么：需要登录或验证的内容，要准备对应的凭证或调整采集范围；条款不允许采集的部分应排除在任务之外。这一步决定的是能不能采，而不只是怎么采。
可执行检查清单
- 整理栏目页、列表页、内容页地址，确认分页规律。
- 用开发者工具记录标题、链接、正文的稳定结构依据。
- 标记正文起止位置，列出需要排除的广告和推荐区块。
- 确认编码、请求方式和访问频率限制。
- 确认登录、验证码和站点条款对采集范围的约束。
完成以上资料整理后，再进入火车头采集规则的具体配置，可以先在一个栏目上做小批量测试，核对标题、正文和链接是否与页面一致，确认无误后再扩大范围。
