Программа помогает парсить официальную документацию с официального сайта Python, позволяя оставаться в курсе последних новостей и изменений о языке программирования. Парсинг производится асинхронным путем при помощи фреймворка Scrapy, что позволяет значительно уменьшить время получения информации с сайта.
###Автор - Кирилл Резник
- Python
v3.7 - фреймворк Scrapy
Парсер документации Python предоставляет пользователю возможность получать информацию o данном языке программирования, выводя ее в 2 csv-файла. В первом файле хранится весь список стандартов PEP, во втором собрана информация о том, сколько стандартов PEP в каком статусе находятся, а также их общее количество.
- Клонируйте проект на свой компьютер и перейдите в его корневую папку:
https://github.com/Invictus-7/parser_async
- Создайте и активируйте виртуальное окружение:
python -m venv venv
активация - /venv/scripts/activate
- Обновите pip и установите зависимости в виртуальное окружение:
python -m pip install --upgrade pip
pip install -r requirements.txt
- Запустите паука 'pep'
scrapy crawl pep
Вышеописанный файлы .csv будут сохранены в папку results, которая будет автоматически создана в папке scrapy_parser_pep (на одном уровне с папкой pep_parse)