# RID

/rids 高效端点旨在为客户端提供存储区域中的大量RID(请求ID)列表。该API支持通过滚动机制进行分页,从而实现大型数据集的数据检索。

# 参数

唯一需要的参数是 token。请参阅下面用于高效 RID 拉取的附加参数:

  • limit (任选):指定要返回的 RID 的最大数量。默认为 1k,最大允许值为 10k。使用此参数来控制返回数据的大小。

  • scroll_id (任选):来自先前请求响应的标识符,用于获取下一组RID。该参数用于分页。

  • scroll_order (可选):确定返回 RID 的顺序。默认的值 asc (升序)或 desc (降序)默认顺序是 desc.

# 请求

要搜索最新100个RID:

curl 'https://api.crawlbase.com/storage/rids?token=_USER_TOKEN_&limit=100'

# 回应

成功的响应将返回一组RID,以及 scroll_id 对于分页:

{
  "rids": ["RID1", "RID2", ...],
  "scroll_id": "dXVlcnlUaGVuRmV0Y2g7NTs1NDpDV..."
}
  • rids:包含所请求的RID的备份。
  • scroll_id:用于搜索下一组结果的令牌。该值对于分页至关重要,当更多数据超出当前请求的限制时提供。

#

为了有效利用 /rids API请注意以下事项:

  • limit 参数上限为最佳10k,可保证服务器性能和资源管理。分页通过 scroll_id 建议用于访问大型数据集。

  • 滚动会话在不活动一分钟后继续。要继续搜索数据或更改搜索顺序,请发起新的请求,而不需要 scroll_id.