# 推送数据至 Crawler

在开始将 URL 推送到 Crawler,您首先需要 新 Crawler 一个在这里(打开新闻) (打开新窗口).

URL 主题以注意力吸引 Crawler,投资使用 Crawling API 附加参数:

In 回复你的爬虫虫,将返回一个唯一的请求 API 请求 RID 的 JSON。此 RID 是唯一的,将帮助您表示在任何时候识别。

响应响应示例:

{ "rid": "1e92e8bff32c31c2728714d4" }

默认情况下,您每秒最多可以向 Crawler.

# Crawler 等待队列

总计 Crawler 等待队列的最大页数为1M。如果任何队列或所有队列的总页数超过1M,您的 Crawler 暂时将暂停,我们将通过电子邮件通知您。 Crawler 一旦等待队列中的页面数量低于1M页,自动将自动恢复。

# 发送附加数据

或者,如果您使用 callback_headers 这非常适合在您随身携带额外的数据以进行识别。

格式如下: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc. 并且必须正确编辑代码。

标题和价值的示例 MY-ID 1234, some-other 4321

&callback_headers=MY-ID%3A1234%7Csome-other%3A4321

这些标头将在 webhook 发布请求中返回。