ScrapydWeb(爬虫管理平台) 官方版v1.4.0

ScrapydWeb是一个用于Scrapyd集群管理的Web应用程序，可以有效地管理分布式Web抓取项目。在将SCRAPY_PROJECTS_DIR选项设置为包含Scrapy项目的路径之后，ScrapydWeb将列出该目录中的所有项目，并选择最新修改的项目。只需选择一个项目并按按钮即可提交，然后在后台自动打包。

软件特色

💠 Scrapyd集群管理

💯 支持所有Scrapyd JSON API

☑️ 分组，过滤和选择任意数量的节点

🖱️ 只需单击几下即可在多节点上执行命令

🔍 Scrapy日志分析

📊 统计资料收集

📈 进度可视化

📑 日志分类

🔋 增强功能

📦 汽车包装

🕵️‍♂️ 与整合 🔗 LogParser

⏰ 计时器任务

📧 监控和警报

📱 行动使用者介面

🔐 Web UI的基本身份验证

浏览器支持

最新版本的Google Chrome，Firefox和Safari。

使用说明

访问https://127.0.0.1:5000，然后使用上面的USERNAME / PASSWORD登录。

服务器页面将自动显示所有Scrapyd服务器的工作状态。您可以通过分组和过滤来选择任意数量的Scrapyd服务器，然后只需单击几下即可在群集上调用Scrapyd的HTTP JSON API。

与LogParser集成后，“作业”页面可以自动显示您的抓取作业的页面和项目信息。默认情况下，ScrapydWeb会定期创建您的抓取作业的快照并将其保存在数据库中，以避免在重新启动Scrapyd服务器时丢失作业信息。

更新内容

新的功能

添加用于通过Slack，Email发送文本或警报的API

改进之处

侧边栏和多节点按钮上的UI改进

其他

将配置文件更新为scrapydweb_settings_v10.py