# 体积

/bulk Конечная точка позволяет клиентам извлекать данные оптом, используя список идентификаторов запросов (RID)。 Эта операция поддерживает эффективное извлечение данных для больших наборов данных 和 предоставляет возможность автоматически удалять извлеченные элементы из хранилища после извлечения。

# 参数

JSON 格式的应用程序:

  • rids (обязательно): Массив RID для данных, которые вы хотите получить.

  • auto_delete (необязательно): Логический параметр, который, если установлен, true, автоматически удалит извлеченные элементы из хранилища после их извлечения。 Значение по умолчанию: false, то есть элементы не будут удалены, если на то не было прямого запроса.

# 请求

Чтобы извлечь и автоматически удалить данные для трех RID:

curl -X POST 'https://api.crawlbase.com/storage/bulk?token=_USER_TOKEN_' \
-H 'Content-Type: application/json' \
-d '{ "rids": ["RID1","RID2","RID3"], "auto_delete": true }'

# Режимы секции мощности

Ответ представляет собой массив объектов JSON,каждый из которых представляет данные для одного RID。 Обратите внимание, что body 使用 Base64 和 gzip。我们使用 Base64 进行编码,并使用 gzip 进行编码,并使用它们。

[
  {
    "stored_at": "2021-03-01T14:22:58+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID1",
    "url": "URL1",
    "body": "BODY1"
  },
  {
    "stored_at": "2021-03-01T14:30:51+02:00",
    "original_status": 200,
    "pc_status": 200,
    "rid": "RID2",
    "url": "URL2",
    "body": "BODY2"
  }
]

# 备注

Для эффективного использования /bulk API, обратите внимание на следующее:

  • Максимальное количество RID, которые могут быть обработаны за один запрос, составляет 100. Если отправлено более 100 RID, будут обработаны только первые 100。

  • auto_delete Эта функция особенно полезна для поддержания эффективности хранения и управления жизненным циклом данных без необходимости отдельных запросов на удаление。 Используйте эту функцию разумно, чтобы избежать непреднамеренной потери данных。