#

/bulk Der Endpunkt ermöglicht es Clients, Daten in großen Mengen mithilfe einer Liste von Anforderungs-IDs (RIDs) abzurufen. Dieser Vorgang 会在大数据和小数据中有效地显示数据,并自动选择 Abruf 中的数据元素。

# 产品型号

Senden Sie ein JSON-Objekt mit den folgenden Eigenschaften:

  • rids (erforderlich):Ein Array von RIDs für die Daten, die Sie abrufen möchten。

  • auto_delete (可选):Ein boolescher 参数,der,wenn er auf true,如果自动执行元件,则自动执行该操作。标准论 false, dh, Elemente werden nicht gelöscht, sofern dies nicht ausdrücklich angefordert wrd。

# PREISANFRAGE(请求)

所以 rufen Sie Daten für drei RIDs ab und löschen sie automatisch:

curl -X POST 'https://api.crawlbase.com/storage/bulk?token=_USER_TOKEN_' \
-H 'Content-Type: application/json' \
-d '{ "rids": ["RID1","RID2","RID3"], "auto_delete": true }'

# 回答

Antwort 是对象中的 JSON 数组,是 RID 数据的数据。 Beachten Sie,该死的 body Das Feld 是 base64-codiert 和 gzip-komprimiert。 Sie müssen es base64-decodieren 和 dann gzip-dekomprimieren, um den Originalinhalt abzurufen。

[
  {
    "stored_at": "2021-03-01T14:22:58+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID1",
    "url": "URL1",
    "body": "BODY1"
  },
  {
    "stored_at": "2021-03-01T14:30:51+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID2",
    "url": "URL2",
    "body": "BODY2"
  }
]

# 笔记

为了有效地解决问题 /bulk API,海滩滕 Sie bitte Folgendes:

  • Die maximale Anzahl an RIDs, die pro Anfrage verarbeitet werden können, beträgt 100. Wenn mehr als 100 RIDs gesendet werden, werden nur die ersten 100 verarbeitet.

  • auto_delete 它是 Nützlich、um die Speichereffizienz aufrechtzuerhalten 和 den Datenlebenszyklus zu verwalten、ohne dass 单独的 Löschanforderungen erforderlich sind。请注意,该功能可能会导致您无法执行数据操作。