Развёртывание пауков
В этом разделе приведены различные варианты развёртывания пауков Scrapy для их регулярного запуска. Запуск пауков Scrapy на вашем локальном компьютере очень удобен для (ранней) стадии разработки, но не настолько, когда вам нужно запускать долго работающие пауки или перемещать пауков для непрерывной работы в производственной среде. Здесь и появляются решения для развёртывания пауков Scrapy.
Популярными вариантами развертывания пауков Scrapy являются:
Scrapyd (с открытым исходным кодом)
Zyte Scrapy Cloud (облачный)
Развёртывание на сервере Scrapyd
Scrapyd — это приложение с открытым исходным кодом для запуска пауков Scrapy. Он предоставляет сервер с HTTP API, способный запускать и контролировать пауков Scrapy.
Чтобы развернуть пауков в Scrapyd, вы можете использовать инструмент scrapyd-deploy, предоставляемый пакетом scrapyd-client. Пожалуйста, обратитесь к scrapyd-deploy документации для получения дополнительной информации.
Scrapyd поддерживается некоторыми разработчиками Scrapy.
Развертывание в Zyte Scrapy Cloud
Zyte Scrapy Cloud — это размещенный облачный сервис Zyte, компании, стоящей за Scrapy.
Zyte Scrapy Cloud устраняет необходимость в настройке и мониторинге серверов и предоставляет удобный интерфейс для управления пауками и просмотра извлеченных элементов, журналов и статистики.
Для развертывания пауков в облаке Zyte Scrapy вы можете использовать инструмент командной строки shub. Пожалуйста, обратитесь к Zyte Scrapy Cloud документации для получения дополнительной информации.
Zyte Scrapy Cloud совместимо со Scrapyd, и между ними можно переключаться по мере необходимости — конфигурация считывается из файла scrapy.cfg, как и scrapyd-deploy.