尊天网页采集器是一款免费的绿色网页信息采集工具,用户无需付费即可使用。它不仅能抓取普通静态页面内容,还可以处理JavaScript执行之后才显示出来的动态信息,并允许用户自定义正则表达式来精确提取数据。软件内置了多种采集方案,分别对应静态网页和动态网页两种场景,操作上通过工具栏的几个按钮就能完成从浏览、选方案到启动采集的整个流程。

1、 输入网址并正常浏览网页,到达采集目标后点击工具栏上的“查看js后源码”图标,界面会显示JavaScript执行后的网页内容。若暂时没有看到相关内容,可以稍等片刻再点一次,确保脚本执行完毕。通过查看完整源码来判断该用方案1还是方案2:如果改动网址中的页码就能翻到下一页,选方案1;如果页面内容是由脚本动态更新的,选方案2
2、 点击工具栏上的“运行采集方案”图标,按上一步的判断选择方案1或方案2。若本地已经有方案1和方案2生成的downloadtotal.txt文件,也可以改选方案3。填好必要的信息或表达式后,点击“开始采集”按钮,系统会自动执行采集;点对话框里的“取消”按钮则直接关闭对话框,不启动采集任务
3、 点击工具栏上的“停止采集方案”图标,可以终止正在进行的采集任务
网站防止被采集的第一种方法,是在文章开头和结尾加上随机且不固定的内容。采集者通常指定一个开始位置和一个结束位置,再截取中间的内容,只要在正文前后插入随机内容,截取结果就会被打乱。比如文章内容是“有讯软件信息网”,可以按“随机内容1+有讯软件信息网+随机内容2”的方式加入。注意随机内容1和随机内容2每篇文章只要随机显示一个就可以了
1、能够采集JavaScript执行完成之后的动态网页信息,不只是抓取原始HTML
2、支持用户自行设定正则表达式,按需提取目标内容
软件自带多种采集方案,分别对应静态网页和动态网页两类情况,用户可以根据页面特点直接选用
(您的评论需要经过审核才能显示)
0条评论