数字的统计方式

什么算作成功

Crawlbase 为每次请求记录一行。当 Crawlbase 以 cb_status 200、207、227 或 228 响应，且站点本身以 200、201、204、重定向（301、302、303、307 或 308）、404 或 410 响应时，该请求算作成功。其余一切都算失败。

因此，站点已下架商品的 404 算作成功：请求到达了站点，站点也做出了响应。拦截页面、无法通过的验证、超时或内部错误算作失败。成功率等于成功数除以成功数与失败数之和。

统计哪些请求

全部。一个自然月内每个账户的每一次请求，涵盖 Crawling API、Crawler 和 Smart AI Proxy。不抽样，不排除任何账户或重试。月份印在每个页面上；下一个月结束时刷新数字。

站点按不含后缀的可注册名称归类，与计数器的存储方式一致，因此 idealo.de、idealo.es 和 idealo.co.uk 是同一个站点。页面上显示的域名是账户抓取最多的那个。

浏览器占比的含义

每次请求使用普通令牌或 JavaScript 令牌。浏览器占比是使用 JavaScript 令牌发出的成功请求所占的比例。它说明的是各账户选择如何抓取该站点，而不是站点严格需要什么；后者由配方说明。“否”指低于 5%，“是”指高于 95%，介于两者之间的显示为占比。

等级与积分

每个站点都属于一个价格等级。标准页面消耗一个积分；其他等级在此基础上乘以倍率：中等 1.5，复杂 2，复杂 I 3，复杂 II 4.5，极端 9，极端 I 13.5，极端 II 20。显示的等级是页面生成当天生效的等级。JavaScript 请求的成本是等级价格加上定价页面所述的浏览器附加费。

配方如何写成

配方来自抓取该站点的账户实际发送和收到的内容：URL 模式、成功的国家和令牌、站点返回的状态码、延迟。另有四个配方由人工编写。页面上没有猜测；每句话都给出背后的数字。任何客户都不会被点名或被识别。

更新

月份结束后，数字会基于完整的日历月重新计算，每个页面都标明所显示的月份。低于门槛的站点会失去页面，直到重新达标。

哪些站点会有页面

当月有三个或更多账户抓取某站点且至少有一千次成功时，该站点就会出现在 Cookbook 中。托管和 CDN 基础设施、银行和支付品牌、学校，以及人员搜索和背景调查服务，无论数字如何都不会有页面。