# Передача данных в Enterprise Crawler

Прежде чем начать отправлять URL-адреса на Crawler, вам сначала нужно 创建新的 Crawler один здесь (открывается новое окно) (打开新窗口).

Чтобы передать URL-адреса для сканирования Crawler,你应该使用 Crawling API с двумя дополнительными параметрами:

In ответ на ваш Push-уведомление от поискового робота, API отправит обратно JSON-представление с уникальным идентификатором запроса RID。 RID уникален 和 поможет вам идентифициров​​ать запрос в любой момент в будущем。

Push-уведомление 的示例:

{ "rid": "1e92e8bff32c31c2728714d4" }

По умолчанию вы можете отправлять до 30 URL-адресов каждую секунду на Crawler.

# Enterprise Crawler лимит ожидания в очереди

Общая сума для всех Crawler ожидание очередей ограничено 1 分钟。 Если любая из очередей или все очереди вместе превышают 1 млн страниц, ваш Crawler Push-уведомления будут временно приостановлены, и мы уведомим вас по электронной почте. Crawler Push-загрузка автоматически возобновится, как только количество страниц в очереди ожидания станет меньше 1 млн.

# Отправка дополнительных данных

При желании вы можете получать пользовательские заголовки для обратного вызова, если используете callback_headers 帕拉梅特。 Это отлично подходит для передачи дополнительных данных в целях идентификации на вашей стороне.

Формат следующий: HEADER-NAME:VALUE|HEADER-NAME2:VALUE2|etc. И он должен быть правильно закодирован。

例子 заголовков 和 значений MY-ID 1234, some-other 4321

&callback_headers=MY-ID%3A1234%7Csome-other%3A4321

Эти заголовки будут возвращены в запросе публикации веб-хука。