Screaming Frog SEO Spider 是一款专门用来爬行网站链接、排查站内问题的工具,出自英国网络公司 Screaming Frog。它在 Moz 2014 年行业报告的 Top 10 SEO 工具排名中位列第五,常被拿来和早期的 Xenu 做对比,功能上比 Xenu 丰富不少。软件可以代理抓取页面、生成 sitemap、导出 URL,还支持按规则筛选抓取范围,适合做站内链接检查和 SEO 诊断。软件分试用版和收费版,试用版最多爬取 500 个 URL,收费版为 99 英镑/年。

一个网站的内链是否规范,直接影响 SEO 效果。业内有“小站靠外链,大站靠内链”的说法,只有内链理顺了,规模较大的站点才能更省力地把排名做上去。提到链接爬行工具,很多人先想到 Xenu——它属于比较早期的一批 SEO 工具,功能相对普通。Screaming Frog SEO Spider 与 Xenu 定位相似,但可调项更多。Screaming Frog 是英国的一家网络公司,SEO Spider 是该公司旗下的产品,在 Moz 发布的 2014 行业报告 Top 10 SEO 工具中排到第 5 位
Spider 分试用版与收费版:试用版权限有限,只能爬取 500 个 URL;收费版为 99 英镑/年。可以先用试用版体验,觉得合适再考虑购买正版
Spider 的抓取入口分为 Spider 和 URL 两种:前者填入一个页面或域名即可开始抓取,后者则导入一个 URL 文件批量抓取。填好 URL 或选好文件后,软件便会开始抓取
抓取过程中可以获取以下内容:
1、 页面链接
2、 文件类型与编码
3、 HTTP 状态码和状态
4、 Title 与长度
5、 Description 与长度
6、 Keywords 与长度
7、 H1 标签文本与长度
8、 H2 标签文本与长度
9、 Canonical URL
10、 其他信息(文件大小、字数、层数、内链数量、站外链接数量等)
在链接抓取的限制上,Spider 提供了多项开关:
1、 检查图片
2、 检查 css 文件
3、 检查 js 文件
4、 检查 swf 文件(Flash 之类)
5、 检查外部链接
6、 检查目录以外的链接
7、 跟踪标记为 Nofollow 的站内链接
8、 跟踪标记为 Nofollow 的外部链接
9、 忽略 robots.txt
10、 总抓取数量
11、 总抓取层数
案例一:只想抓取 UC 的所有页面,不需要 CSS、JS、SWF(这些会浪费时间和资源),把对应四个选项取消勾选即可
案例二:想按蜘蛛的方式爬取 UC 页面,只勾选 Ignore robots.txt 这一项即可
案例三:只想抓取 dx 首页上的所有链接,除 Ignore 与 Limit search total 之外全部勾选,同时勾上 Limit Search Depth 并把层级设为 1
1、 正则爬行页面。在 configuration 的 include 和 exclude 里都可以写正则,用来限定只抓取特定链接
2、 速度限制。在 configuration 的 Speed 中可以设置速度,限制的不只是线程数,还能控制每秒抓取的 URL 数量,例如 1 URL/S 或 2 URL/S,有助于避开部分站点的防重复爬行限制
3、 User Agent 设置。在 configuration 的 User Agent 中可把身份设为某搜索引擎蜘蛛或普通浏览器
4、 自定义字段检查。在 configuration 的 custom 中设置自定义字段,Spider 在爬行的同时会按该字段筛选页面,例如设置包含 DVD 这个字眼,所有出现 DVD 的页面都会被单独筛出来
(您的评论需要经过审核才能显示)
0条评论