# 整体情况
购物车 /bulk
端点允许客户端使用请求 ID (RID) 列表批量检索数据。此操作支持对大型数据集进行高效的数据检索,并提供在检索后自动从存储中删除所获取的项目的选项。
# 参数
发送具有以下属性的 JSON 对象:
rids
(简单):您要搜索 RID 存储的数据。auto_delete
(任选):一个布尔参数,当设置为true
,搜索到的项目在搜索后会自动从存储中删除。默认值为false
,这意味着除非明确要求,否则项目不会被删除。
# 请求
要搜索并自动删除三个 RID 的数据:
curl -X POST 'https://api.crawlbase.com/storage/bulk?token=_USER_TOKEN_' \
-H 'Content-Type: application/json' \
-d '{ "rids": ["RID1","RID2","RID3"], "auto_delete": true }'
# 回应
响应是一个 JSON 对象数组,每个对象代表一个 RID 的数据。请注意, body
字段是base64编码和gzip压缩的。您需要对其进行Base64解码,然后进行gzip解压缩以检索原始内容。
[
{
"stored_at": "2021-03-01T14:22:58+02:00",
"original_status": 200,
"pc_status": 200,
"rid": "RID1",
"url": "URL1",
"body": "BODY1"
},
{
"stored_at": "2021-03-01T14:30:51+02:00",
"original_status": 200,
"pc_status": 200,
"rid": "RID2",
"url": "URL2",
"body": "BODY2"
}
]
#
为了有效利用 /bulk
API请注意以下事项:
每个请求可处理的最大 RID 数量为 100。如果发送的 RID 超过 100 个,则仅处理前 100 个。
购物车
auto_delete
该功能对于存储维护效率和管理数据生命周期特别有用,而单独的删除请求。明智地使用此功能造成意外的数据丢失。