WordPress网站定制开发专家
WordPress企业主题特惠

赞一个 0

首先,WPDOU介绍一下robots文件是什么?

robots的作用是通过它来告诉搜索引擎的机器人(Spider)那些目录可以爬,哪些不可以爬。在WordPress中阻止Spider爬行一些目录和文件,不但可以有效的节省搜索引擎对服务器带宽的占用,还可以提高网站在搜索引擎中的排名。知道了什么是robots.txt,那么就要知道wordpress中robots.txt怎么写的?这可很重要哦,你也从百度百科里知道了,robots.txt是搜索引擎中访问网站的时候要查看的第一个文件,robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。robots.txt编写对网站内容收录很重要的。

对于 WordPress 来说,我们研究下专门针对 WordPress 的写法,通过 robots.txt 声明来保护你的诸如插件、管理目录等隐私。

最简单的开放写法:

User-agent: *
Disallow:

使用说明:允许所有蜘蛛访问,允许访问所有内容。Wordpress只要模板中链接设计合理,没有需要限制的特殊内容,推荐使用这种写法。

最严格的写法:

User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

这种写法允许所有蜘蛛访问,但会限制以“wp-”开头的目录及文件,并限制抓取.php文件、.inc文件、.js文件和.css文件,同时会限制抓取搜索结果。其中 Disallow: /wp-* 会连同附件目录(即你上传的图片、软件等)一起限制抓取,如果想让搜索引擎抓取附件中的内容,只需要将第三行的 # 号注释去掉即可。

最合理的写法:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.domain.com/sitemap.xml

采用这种写法允许所有搜索引擎抓取,并逐一列举需要限制的目录,同时限制抓取网站的搜索结果,

允许所有搜索引擎抓取,逐一列举需要限制的目录,限制抓取搜索结果。包含sitemap.xml地址(这一项wiki中有专门的说明,但Google管理员工具会提示‘检测到无效的 Sitemap 引用’,有效性尚有争议)。

WPDOU推荐的 robots.txt 写法:

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /adlogger
Disallow: /?s=
Disallow: /page/
Disallow: /*/page/
Disallow: /category/*/page/
Disallow: /tag/*/page/
Sitemap:http://www.wpdou.com/sitemap.xml

说明如下:

  • Disallow: /page/ 限制抓取 WordPress 的分页,也就是形如:http://www.wpdou.com/page/2 之类的链接。
  • Disallow: /category/*/page/为限制抓取分类目录中的分页,如:http://www.wpdou.com/category/wordpress-moban/page/2 之类的链接。
  • Disallow: /tag/*/page/ 为限制抓取标签页面中的分页,即形如:http://www.wpdou.com/tag/moban/page/2 之类的链接。

当然,也有采用如下写法的:

Disallow: */trackback/
Disallow: /category/*

第1行是限制抓取所有的 Trackback 内容,第2行是限制抓取所有分类列表,你可以根据需要进行适当的修改。

你还可以使用 Google管理员工具中的“工具 -> 测试 robots.txt”来对你的robots更改进行测试,这样可以确保你的操作正确性。

上一篇:

下一篇:

在线评论

在线客服
在线客服关闭
WPYOU官方微信

扫码关注官方微信