scrapyd的Windows管理客户端

当前位置:

首页 > temp > 简明python教程 >

scrapyd的Windows管理客户端

ScrapydManage

GitHub地址：https://github.com/kanadeblisst/ScrapydManage
码云：https://gitee.com/kanadeblisst/ScrapydManage

scrapyd的Windows管理客户端，软件只是将scrapyd的api集成到exe文件中，软件是由aardio写的，GitHub有源码，可以自行编译，也可以下载GitHub中release已编译的exe文件。
在这里插入图片描述

主机管理界面

右键菜单：
在这里插入图片描述

添加主机

添加主机顾名思义就是添加scrapyd的api地址，例如127.0.0.1:6800。不理解scrapyd怎么使用的可以参考官方文档：https://scrapyd.readthedocs.io/en/stable/index.html。其实很简单，pip install scrapyd，然后命令行输入scrapyd，或者先在当前目录创建scrapyd.conf，修改一些配置参数然后在输入scrapyd运行。
【参考配置】：

[scrapyd]
eggs_dir    = D:/scrapyd/eggs
logs_dir    = D:/scrapyd/logs
items_dir   = D:/scrapyd/items
jobs_to_keep = 5
dbs_dir     = D:/scrapyd/dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root
node_name = localhost
[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus

其中注意修改三个目录eggs_dir 、logs_dir 、dbs_dir，其他的看情况自己修改。