🔤 English | 🀄 简体中文
查看内容
-
💠 Scrapyd 集群管理
- 💯 支持所有 Scrapyd JSON API
- ☑️ 支持通过分组和过滤来选择若干个节点
- 🖱️ 一次操作, 批量执行
-
🔍 Scrapy 日志分析
- 🔢 数据统计
- 📈 进度可视化
- 📑 日志分类
-
🔋 增强功能
- 📦 自动打包项目
- 🕵️♂️ 集成 🔗 LogParser
- ⏰ 定时器任务
- 📧 监控和警报
- 📱 移动端 UI
- 🔐 web UI 支持基本身份认证
查看内容
❗ 请先确保所有主机都已经安装和启动 🔗 Scrapyd 。
- 通过 pip:
pip install scrapydweb
❗ 如果 pip 安装结果不是最新版本的 scrapydweb,请先执行python -m pip install --upgrade pip
,或者前往 https://pypi.org/project/scrapydweb/#files 下载 tar.gz 文件并执行安装命令 pip install scrapydweb-x.x.x.tar.gz
- 通过 git:
pip install --upgrade git+https://github.com/my8100/scrapydweb.git
或:
git clone https://github.com/my8100/scrapydweb.git
cd scrapydweb
python setup.py install
- 通过运行命令
scrapydweb
启动 ScrapydWeb(首次启动将自动生成配置文件)。 - 访问 http://127.0.0.1:5000 (建议使用 Google Chrome 以获取更好体验)。
最新版本的 Google Chrome,Firefox 和 Safari。
查看内容
$ git clone https://github.com/my8100/scrapydweb.git
$ cd scrapydweb
# 创建虚拟环境
$ pip install virtualenv
$ virtualenv venv/scrapydweb
# 亦可指定 Python 解释器:$ virtualenv -p /usr/local/bin/python3.7 venv/scrapydweb
$ source venv/scrapydweb/bin/activate
# 安装依赖库
(scrapydweb) $ python setup.py install
(scrapydweb) $ pip install pytest
(scrapydweb) $ pip install coverage
# 请先确保已经安装和启动 Scrapyd,然后检查和更新 tests/conftest.py 文件中的 custom_settings
(scrapydweb) $ vi tests/conftest.py
(scrapydweb) $ curl http://127.0.0.1:6800
# '-x': 在第一次出现失败时停止测试
(scrapydweb) $ coverage run --source=scrapydweb -m pytest tests/test_a_factory.py -s -vv -x
(scrapydweb) $ coverage run --source=scrapydweb -m pytest tests -s -vv --disable-warnings
(scrapydweb) $ coverage report
# 生成 HTML 报告, 文件位于 htmlcov/index.html
(scrapydweb) $ coverage html
详见 🔗 HISTORY.md。
![]() my8100 |
---|
![]() Kaisla |
---|
本项目采用 GNU General Public License v3.0 许可协议,详见 🔗 LICENSE。