WordPress如何写好robots.txt

dahuie · 发表于 2009-10-15 08:24:57

现在很多人使用的Blog程序都是WordPress，那么在做WordPress优化时，有一项比较重要的是robots.txt文件，那么该如何写WordPressBlog的robots.txt文件呢？请继续往下看：

一、最严格的写法，我们采取以下方法：
User-agent: *
Disallow: /wp-*
#Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=
允许所有蜘蛛访问，限制访问以“wp-”开头的目录及文件，限制抓取.php文、.inc、.js、.css文件，限制抓取搜索结果。这是许多朋友公认的写法，下面介绍一下一个另类的写法：

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: http://www.xxx.com/sitemap.xml，这只是个例子，这里的地址要换成你的sitemap.xml地址,大家看得出这两种写法有什么不同之处吗？

附sitemap.xml:
<?xml version="1.0" encoding="UTF-8" ?>
- <sitemapindex xmlns="http://www.google.com/schemas/sitemap/0.84">
- <sitemap>
  <loc>http://www.xxx.com/lanmu.xml</loc>
  <lastmod>2009-09-15</lastmod>
  </sitemap>
- <sitemap>
  <loc>http://www.xxx.com/wenzhang.xml</loc>
  <lastmod>2009-09-10</lastmod>
  </sitemap>
  </sitemapindex>

搞搞阵 · 发表于 2009-10-15 22:23:53

还不懂，跟你学习一下

嗯嗯 · 发表于 2009-10-15 22:24:54

不错～～感谢分享了～～

gxil · 发表于 2010-4-26 20:17:22

收藏下，对于site map 还不是很懂的

duguwangzi · 发表于 2010-4-26 20:26:00

不错～～感谢分享了～～

zwzj21 · 发表于 2010-4-28 15:32:02

没看懂~。飘过!~!

serivcesmsc · 发表于 2010-5-5 22:33:33

这个是做什么用的？

conylee · 发表于 2010-6-17 22:49:24

不错哦，非常感谢

WordPress如何写好robots.txt

评分