# 它是如何工作的呢?

Если вы хотите использовать API сканирования через прокси-сервер, обратитесь к документации Smart AI Proxy (открывается новое окно) (打开新窗口) продукт。 Если вы не хотите покупать Smart AI Proxy подписка или вы хотите использовать все возможности Crawling API без ограничений 和 более высокого лимита ставки, то, пожалуйста, продолжайте читать следующий абзац.

所有 Crawling API в режиме прокси-сервера звонки должны идти на smartproxy.crawlbase.com 我们将在 2020 年 12 月 12 日举行的 2019 年 2 月 12 日会议上宣布这一决定。我们使用 HTTPS (порт 8001, рекомендуется) 和 HTTP (порт 8000) 以及 зависимости от ваших потребностей。 Обратите внимание, что эти порты отличаются от портов, используемых в Smart AI Proxy, поэтому убедитесь, что используете правильные порты。 Все остальное, что упоминается в Smart AI Proxy документация остается прежней。

Поэтому сделать свой первый звонок так же просто, как запустить одну из следующих строк в терминале.恭喜!

Использование HTTPS (рекомендуется):

curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"

Использование альтернативного HTTP:

curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"

Чтобы выполнять запросы JavaScript (headless-браузер) вместо обычных запросов, попробуйте выполнить выполнить в терминале следующее:

Использование HTTPS (рекомендуется):

curl -x "https://[email protected]:8001" -k "https://httpbin.org/ip"

Использование альтернативного HTTP:

curl -x "http://[email protected]:8000" -k "https://httpbin.org/ip"

# 限速

默认情况下, Crawling API 20 запросами в секунду (1.728 млн запросов в день)。 Если ваше решение по управлению прокси работает с параллельными запросами/потоками вместо запросов в секунду, важно отметить, что 20 запросов в секунду преобразуются в гораздо большее количество параллельных запросов в целом。 Например, если вы сканируете Amazon с помощью scrapbase, средний запрос занимает около 4 секунд, поэтому 20 запросов в секунду преобразуются в 80 параллельных потоков。 Если сканируемый вами веб-сайт отвечает быстро, то вам нужно меньше параллельных запросов. Если вы достигли предела параллельных запросов, пожалуйста, обратитесь в службу поддержки, (открывается новое окно) (打开新窗口) с вашим вариантом использования для увеличения параллелизма.