WordPress网站定制开发专家
WordPress企业主题特惠

赞一个 0

WordPress robots.txt 文件对于网站在搜索引擎中的展示有着至关重要的作用,robots.txt 是一个纯文本文件,通过在这个文件可以告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,从而优化网站的收录结果和权重。可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。

robots.txt 文件是存放在网站根目录下的,如果你的网站根目录下还没有 robots.txt 文件,你可以手工创建一个,具体的写法请参考 百度百科。下面是一个常规的通用 WordPress  robots 协议:

User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /?attachment_id=

Sitemap: http://www.yourdomain.com/sitemap.xml

上面的代码意思,例如:Disallow: /wp-admin/ 这行定义的是禁止搜索引擎抓取 /wp-admin/ 目录下面的目录。

如果你对于你的robots.txt的写法不放心的话,建议你使用 Google管理员工具中的“ 工具  -> 测试 robots.txt ” 来对你的更改进行测试,这样可以确保你的操作正确性。

其实,如果你的网站根目录不存在真实的 robots.txt, WordPress 会自动创建虚拟 robots.txt 功能(该文件不会真实存在,但是访问 http://yoursite.com/robots.txt 时可以正常显示)。

上一篇:

下一篇:

在线客服
在线客服关闭
WPYOU官方微信

扫码关注官方微信