文档爬取库

# 回答

如果您需要爬行基地，您将获得响应。

请使用 JSON 对象或页面中的 html 代码来响应您选择的选项，并使用 [格式]/fr/crawling-api/parameters/#format) 参数（默认为 html 的值）。

# HTML 回复

如果您选择 HTML 响应格式（默认值），则您可以选择页面响应的 HTML 格式。

您 响应参数 sera ajouté aux en-têtes de réponse.

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=html'
Response:
  Headers:
    url: https://github.com/crawlbase?tab=repositories
    original_status: 200
    pc_status: 200

  Body:
    <!doctype html><html class="a-no-js" data-19ax5a9jf="dingo"><!-- sp:feature:head-start -->
    <head><script>var aPageStart = (new Date()).getTime();</script><meta charset="utf-8">
    ... (all the html of the page)

# JSON 回复

如果您选择 JSON 响应格式，则可以使用分析器接收 JSON 对象。

Cet 对象内容没有您所需要的信息。里拉 响应参数 倾吐吹捧的信息。

GET 'https://api.crawlbase.com/?token=_USER_TOKEN_&url=https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories&format=json'
Response:
{
  "original_status": "200",
  "pc_status": 200,
  "url": "https%3A%2F%2Fgithub.com%2Fcrawlbase%3Ftab%3Drepositories",
  "body": "\u003C!doctype html\u003E\u003Chtml class=\"a-no-js\" data-19ax5a9jf\n... (all the html of the page)"
}

# 标题

请参阅 ci-dessus、la réponse、json 或 html renverra 的示例 json 参数或 进入 html，这就是你所需要的一切。

# 网址

原始 URL 是 Crawlbase 中的请求或重定向的 URL。

# 法规原文

La réponse d'état que nous (Crawlbase) 接收来自需求的 URL 特使的探索。

导入 http 有效代码。

请注意 Crawlbase 的制作和需求 original_status 成功 (200, 201, 204)、永久重定向 (301)、临时重定向 (302) 以及后续重定向、非 trouvé (410、404)。等等 pc_status 共 200 个。其他 original_status 这些代码是不存在的。

# 电脑状态

Crawlbase 代码 (pc) 可以导入该代码，这样代码就可以生效了。
例如，联合国网站 Web peut renvoyer original_status 200 avec un captcha, dans ce cas, pc_status 光环 503 岁

所有代码均不是标准的 COMME 601、999 等。可使用内部设备和暴露的独特性来帮助解决您的联系问题。

请注意， Crawlbase 中关于以下内容的要求 pc_status 代码（donc différent de 200）不能作为事实。

# 兵团

Ce paramètre n'est disponible qu'en json [le format]/fr/crawling-api/parameters/#format), en html format sera le corps de la réponse elle-même。

该页面的内容是 Crawlbase 的一个 trouvé 套件，它是对 URL 代理和请求的代理的探索。

← 要求 POST →

©2024 爬网