# Enterprise Crawler API

Для мониторинга Enterprise Crawler Для просмотра статистики, управления заданиями, очистки данных от веб-краулера через API, приостановки/возобновления相关信息:

注: Для сканеров JS замените токен TCP на токен JS во всех вызовах API。

# API 结构

Получите сводку по вашим сканерам, включая параллелизм, статус очереди и историю сканировани (разбивка успешных) и неудачных операций):

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats'

Фильтровать историю по диапазону дат:

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/stats?history_from=yyyy-mm-dd&history_to=yyyy-mm-dd'

# API 服务

Чтобы удалить определенный поисковый робот, выполните следующий запрос POST с именем поискового робота и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/purge'

注: Это немедленно удалит 第十章 с гусеничного трактора。

# API удаления задания

Чтобы удалить задание из сканера, отправьте этот POST-запрос с RID запроса, именем сканера и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/delete_job?rid=RID'

# API 制剂

Чтобы найти запрос по RID в очереди вашего сканера, используйте следующий GET-запрос (JS/TCP):

curl 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/find_by_rid/RID'

答案:

  • 奥谢尔德的姓名:
{
  "status": "QUEUED",
  "request_info": {
    "rid": "YOUR_RID",
    "url": "YOUR_URL",
    "retry": 3,
    "created_at": 1600494969.189415
  }
}
  • Если НЕ В ОЧЕРЕДИ: Если запрос уже просканирован или не находится в очереди.
{
  "status": "NOT_QUEUED",
  "request_info": {
    "rid": "YOUR_RID"
  }
}

# 调用 API

Чтобы приостановить работу сканера, используйте этот POST-запрос с именем сканера и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/pause'

# API 选项

Чтобы возобновить работу сканера, отправьте следующий запрос POST с именем сканера и токеном (JS/TCP):

curl -X POST 'https://api.crawlbase.com/crawler/_USER_TOKEN_/YourCrawlerName/unpause'