# Webhook 接口
当您收到来自您的探索机器人的特使时,您将在您的服务器上创建一个终端 webhook 点。
可爱的卡通兔子矢量素材下载 非凡图库...
- Crawlbase 服务器的可访问公共内容
- 收到货后
POST
在 200 毫秒内提出上诉并作出回应 - 在 200 毫秒内回复国家法典
200
,201
or204
无内容
La manière dont les données sont structurées du format que vous avez spécifié lors de l'envoi de l'URL avec le paramètre format, &format=html
(qui est la valeur par défaut) ou &format=json
.
引擎 Crawler renverra les données votre point de terminaison de rappel via POST
方法 gzip
压缩。
注意: 确保您立即绳索下降。查克你的书本是我的绳索和服务,我的读者对我的回答很感兴趣,我的探索者的文章,我的书,我的书。我们暂时考虑了俄罗斯的要求,但不考虑实际情况。
注意: 如果您使用 Zapier 的 webhooks, Crawler 请不要压缩。 Zapier 的钩子与 Gzip 压缩功能无关。
# 需求示例
您可以参加 Crawlbase 接收的示例 Crawler 通过您的服务器 webhook。
# 格式化 HTML
将您的产品放入 API 中 &format=html
.
Headers:
"Content-Type" => "text/plain"
"Content-Encoding" => "gzip"
"Original-Status" => 200
"PC-Status" => 200
"rid" => "The RID you received in the push call"
"url" => "The URL which was crawled"
Body:
The HTML of the page
# 格式化 JSON
将您的产品放入 API 中 &format=json
.
Headers:
"Content-Type" => "gzip/json"
"Content-Encoding" => "gzip"
Body:
{
pc_status: 200,
original_status: 200,
rid: "The RID you received in the push call",
url: "The URL which was crawled",
body: "The HTML of the page"
}
去寻找精神 pc_status
et original_status
doivent être verifiés。您有能力并有能力 [ici]/fr/crawling-api/response/#pc-status) et ici 分别。
# 集成测试
创建 votre webhook 时,可以使用特定 URL 的精确响应。
为了方便测试,您可以配置 Crawlbase Storage 和机器人探索以及测试结束。你的力量 voir ici (ouvre une nouvelle fenêtre) (打开新窗口).
# 监视机器人
Le Crawler 监视 votre webhook 的 URL 以了解其状态。如果 webhook 是在 panne 中,那么 Crawler 为新操作提供 webhook 的自动化配置。
监视机器人将继续向网络钩子终端点请求。确保您忽略了您所提出的要求 200
国家法典。
- 监视要求以请求形式呈现,并以 POST 方式发送至部队 json,以接收无监视情况下的请求。
- 代理使用者的监视要求
Crawlbase Monitoring Bot 1.0
Afin que vous puissiez faciliment lesigner avec le statut200
.
# 保护您的 webhook
如果您使用通讯终端点 yourdomain.com/2340JOiow43djoqe21rjosi
il est peu probable qu'il soit découvert, mais dans tous les cas, vous pouvez protéger le point de terminaison du webhook avec les méthodes suivantes (ou plusieurs d'entre elles Combinées) :
- Envoyer nous [en-tête personnalisé selon votredemande]/fr/crawler/pushing/#sending-additional-data) avec un jeton dont vérifiez l'existence dans votre webhook.
- 在投票 URL 中使用 URL 参数并验证 webhook 的需求是否存在,comme :
yourdomain.com/2340JOiow43djoqe21rjosi?token=1234
- 接受者唯一性
POST
要求。 - Vérifiez certains des en-têtes attendus(例如
Pc-Status
,Original-Status
,rid
ETC)。
我们不建议您使用 IP 地址列表,汽车机器人可以对不同的 IP 地址进行操作,并在没有预先通知的情况下更改 IP 地址。