WordPress自动采集插件Crawling附带教程

[复制链接]
admin 发表于 2022-1-8 10:20:45 | 显示全部楼层 |阅读模式 打印 上一主题 下一主题
Crawling插件说明

Crawling是一款WordPress下的自动采集爬虫插件,能够自动采集爬取目标网站内容并自动发布。插件开源免费。爬虫漫步版权所有。

简单设置,轻松几步设置即可全站采集,定时更新。分类、标签自动匹配,内容批量替换。

高速采集,可设置抓取线程数和抓取延时,最大限度控制抓取速度。防止主机商限制,防止反爬虫。

内容过滤,支持翻页、内容过滤、广告过滤。灵活控制抓取内容,发布文章干净简洁。

智能发布,支持文章图片自动保存替换,添加到媒体库同时链接到文章。支持上传至七牛云。

Crawling插件使用教程

首先,下载最新版,得到crawling_v*.tar.gz。然后,解压压缩包,上传到wordpress插件目录。激活插件。

首先我们需要新建一个任务,一个任务可以理解为一个爬虫,在这里你可以配置多个任务,每个任务可以单独设置参数。

以采集精准像素网站为例,这里只需要右键查看网页源代码,即可知道相应的链接 Xpath 规则是如何的,在我们目标网站中,文章的链接在网站 h2 标签下的 a 标签,所以规则就写//h2/a,即可。如下图所示。

WordPress采集,Crawling插件截图

同理,文章标题匹配方式为文章页源代码中<div class=”post-main clearfix”>标签下的 h1 标签,那么我们匹配的时候按照 Xpath 规则,写为//div[@class=”post-main clearfix”]/h1 即可,@的作用是选中 class=”post-main clearfix”的 div 标签,按照这样的规则,再将文章内容匹配的标签规则写上,即可开始采集。

WordPress采集,Crawling插件截图

还有更多高级功能,如翻页,内容过滤等,完全可以实现自定义采集目标网站内的任意内容。

不足之处,在实际运行这个插件中,发现,如果目标网站的文章链接为相对链接,则无法采集成功(此处也可能是小编对 Xpath 的规则掌握尚浅),所以选定目标网站时候,需要先查看一下,确认该网站的文章链接为绝对链接才行。

请点击此处下载

请先注册会员后再进行下载

已注册会员,请先登录后下载

网盘密码:im5c 
下载次数:0  文件大小:网盘资源  售价:30 下载币
下载权限: 不限 



回复

使用道具 举报

*滑块验证:
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

专注源码资源免费分享
只要有下载币全站均可下

私人收藏网站非买卖网站

周一至周日9:00-23:00

反馈建议

282865654@qq.com 在线QQ咨询

赞助我们享尊贵分享

Powered by X3.3© 2019-2029 3se.cc Inc.( 京ICP备14050279号-2