# 发送数据到 Crawler
URL 与 le 的先锋启动者 Crawler,您已发表 创建一个新的 Crawler un ici (ouvre une nouvelle fenêtre) (打开新窗口).
将 URL 放入其中进行探索 Crawler您必须使用 Crawling API 添加两个参数补充:
- 您想添加
&callback=true
- 您想添加
&crawler=YourCrawlerName
使用你的机器人名字 ici(ouvre une nouvelle fenêtre) (打开新窗口).
In 回复投票者推送爬虫, API 可以使用 JSON 表示来请求唯一的 RID 标识符。 Ce RID 是独一无二的,是您在未来的时刻所需要的标识符。
响应推送示例:
{ "rid": "1e92e8bff32c31c2728714d4" }
Par défaut, vous pouvez envoyer jusqu'à 30 URL par secondarye au Crawler.
# Crawler 注意文件限制
总共组合 Crawler 文件大小不得超过 1 万页。如果您的文件已超过 1 万页,或者所有文件已合并,请投票 Crawler 暂时暂停您的服务并通过电子邮件通知您。 Crawler 将自动生成 1 M 页的页面或未处理的文件。
# 补充通知
您可以选择在使用时接收个人资料 callback_headers
参数。这是最理想的方式来传输您的补充信息和识别信息。
格式如下: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc.
等更正代码。
对话和价值示例 MY-ID 1234, some-other 4321
&callback_headers=MY-ID%3A1234%7Csome-other%3A4321
请按照 webhook 发布要求进行查看。
← Crawler 介绍 Webhook 接口 →