# Передача данных в Enterprise Crawler
Прежде чем начать отправлять URL-адреса на Crawler, вам сначала нужно 创建新的 Crawler один здесь (открывается новое окно) (打开新窗口).
Чтобы передать URL-адреса для сканирования Crawler,你应该使用 Crawling API с двумя дополнительными параметрами:
- Вы должны добавить
&callback=true - Вы должны добавить
&crawler=YourCrawlerNameиспользуя имя созданного вами поискового робота здесь (открывается новое окно) (打开新窗口).
In ответ на ваш Push-уведомление от поискового робота, API отправит обратно JSON-представление с уникальным идентификатором запроса RID。 RID уникален 和 поможет вам идентифицировать запрос в любой момент в будущем。
Push-уведомление 的示例:
{ "rid": "1e92e8bff32c31c2728714d4" }
По умолчанию вы можете отправлять до 30 URL-адресов каждую секунду на Crawler.
# Enterprise Crawler лимит ожидания в очереди
Общая сума для всех Crawler ожидание очередей ограничено 1 分钟。 Если любая из очередей или все очереди вместе превышают 1 млн страниц, ваш Crawler Push-уведомления будут временно приостановлены, и мы уведомим вас по электронной почте. Crawler Push-загрузка автоматически возобновится, как только количество страниц в очереди ожидания станет меньше 1 млн.
# Отправка дополнительных данных
При желании вы можете получать пользовательские заголовки для обратного вызова, если используете callback_headers 帕拉梅特。 Это отлично подходит для передачи дополнительных данных в целях идентификации на вашей стороне.
Формат следующий: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc. И он должен быть правильно закодирован。
例子 заголовков 和 значений MY-ID 1234, some-other 4321
&callback_headers=MY-ID%3A1234%7Csome-other%3A4321
Эти заголовки будут возвращены в запросе публикации веб-хука。