# 体积
/bulk Конечная точка позволяет клиентам извлекать данные оптом, используя список идентификаторов запросов (RID)。 Эта операция поддерживает эффективное извлечение данных для больших наборов данных 和 предоставляет возможность автоматически удалять извлеченные элементы из хранилища после извлечения。
# 参数
JSON 格式的应用程序:
rids(обязательно): Массив RID для данных, которые вы хотите получить.auto_delete(необязательно): Логический параметр, который, если установлен,true, автоматически удалит извлеченные элементы из хранилища после их извлечения。 Значение по умолчанию:false, то есть элементы не будут удалены, если на то не было прямого запроса.
# 请求
Чтобы извлечь и автоматически удалить данные для трех RID:
curl -X POST 'https://api.crawlbase.com/storage/bulk?token=_USER_TOKEN_' \
-H 'Content-Type: application/json' \
-d '{ "rids": ["RID1","RID2","RID3"], "auto_delete": true }'
# Режимы секции мощности
Ответ представляет собой массив объектов JSON,каждый из которых представляет данные для одного RID。 Обратите внимание, что body 使用 Base64 和 gzip。我们使用 Base64 进行编码,并使用 gzip 进行编码,并使用它们。
[
{
"stored_at": "2021-03-01T14:22:58+02:00",
"original_status": 200,
"pc_status": 200,
"rid": "RID1",
"url": "URL1",
"body": "BODY1"
},
{
"stored_at": "2021-03-01T14:30:51+02:00",
"original_status": 200,
"pc_status": 200,
"rid": "RID2",
"url": "URL2",
"body": "BODY2"
}
]
# 备注
Для эффективного использования /bulk API, обратите внимание на следующее:
Максимальное количество RID, которые могут быть обработаны за один запрос, составляет 100. Если отправлено более 100 RID, будут обработаны только первые 100。
auto_deleteЭта функция особенно полезна для поддержания эффективности хранения и управления жизненным циклом данных без необходимости отдельных запросов на удаление。 Используйте эту функцию разумно, чтобы избежать непреднамеренной потери данных。