机器人检测的工作原理
网站、CDN 或 Web 应用防火墙会评估每个请求或会话。系统可能根据固定规则、信誉数据或统计模型给出风险评分。评分时，系统可能综合分析同一 IP、Cookie、账号和浏览器的活动，而不是只判断单个请求。
机器人检测并不一定意味着阻止自动化访问。网站可能放行已知的搜索引擎采集工具和无障碍辅助工具，同时限制网页采集工具、垃圾信息机器人或自动登录尝试。
网站会检查哪些信号
- **网络身份：**IP 信誉、ASN、地理位置、请求量和流量突增。
- 客户端一致性：
User-Agent、操作系统和 HTTP 标头描述的客户端是否合理。 - 协议指纹：TLS 指纹识别结果是否与标头中标示的浏览器一致。
- **浏览器状态：**JavaScript 结果、Cookie、存储数据、自动化标记，以及浏览器指纹识别使用的属性。
- **行为：**请求时间间隔、导航顺序、重复操作，以及超出正常使用模式的活动。
任何单一信号都无法证明访客是机器人。检测系统通常会综合多种信号，也可能出现误判。
流量被标记后会发生什么
网站或其安全防护层可能放行请求但继续监控，也可能显示验证码、实施限速或拒绝访问。遭到限速的客户端通常会收到 HTTP 429 响应，遭到封禁的客户端则可能收到 HTTP 403 响应。部分系统不会返回错误代码，而是返回状态码为 200 的 JavaScript 验证页面。
为什么代理不能解决所有检测信号
代理会更改网站看到的 IP 地址，但无法单独修正不一致的标头、TLS 指纹、Cookie 或请求行为。
在登录流程或多步骤操作中，频繁轮换 IP 也可能显得异常。如果同一个 Cookie 或账号在几分钟内从多个地区出现，风险可能会上升。相关请求通常更适合使用稳定会话，独立页面则适合轮换 IP。
负责任地应对 机器人检测
- 查看网站条款和
robots.txt，并按要求使用官方 API。 - 将请求速率控制在网站公布的限制内，并控制并发。
- 收到 429 响应后遵循
Retry-After，不要立即重试。 - 同一工作流中的各个步骤应复用同一组 Cookie 和同一个会话。
- 如果网站反复要求验证或拒绝访问，应暂停操作并检查流程。
常见问题
代理能绕过 机器人检测吗？
不能。代理会更改网站看到的 IP，但 机器人检测仍可评估浏览器、标头、Cookie、请求速率和行为。
如何判断网站是否检测到我的自动化程序？
常见迹象包括验证码页面、HTTP 403 或 429 响应、JavaScript 验证页面，以及与正常使用浏览器时看到的内容不同的响应。不要直接认定是代理失效，应先检查状态码、标头和响应正文。
机器人检测和验证码是一回事吗？
不是。机器人检测会根据多种信号对流量分类。网站认为请求可疑后，验证码只是可能采用的一种验证方式。