dahuie 发表于 2009-10-15 08:24:57

WordPress如何写好robots.txt

现在很多人使用的Blog程序都是WordPress，那么在做WordPress优化时，有一项比较重要的是robots.txt文件，那么该如何写WordPressBlog的robots.txt文件呢？请继续往下看：

    一、最严格的写法，我们采取以下方法：
    User-agent: *
    Disallow: /wp-*
    #Allow: /wp-content/uploads/
    Disallow: /*.php$
    Disallow: /*.inc$
    Disallow: /*.js$
    Disallow: /*.css$
    Disallow: /?s=
    允许所有蜘蛛访问，限制访问以“wp-”开头的目录及文件，限制抓取.php文、.inc、.js、.css文件，限制抓取搜索结果。这是许多朋友公认的写法，下面介绍一下一个另类的写法：

    User-agent: *
    Disallow: /wp-admin
    Disallow: /wp-content/plugins
    Disallow: /wp-content/themes
    Disallow: /wp-includes
    Disallow: /?s=
    Sitemap: http://www.xxx.com/sitemap.xml，这只是个例子，这里的地址要换成你的sitemap.xml地址,大家看得出这两种写法有什么不同之处吗？

   
附sitemap.xml:
<?xml version="1.0" encoding="UTF-8" ?>
- <sitemapindex xmlns="http://www.google.com/schemas/sitemap/0.84">
- <sitemap>
<loc>http://www.xxx.com/lanmu.xml</loc>
<lastmod>2009-09-15</lastmod>
</sitemap>
- <sitemap>
<loc>http://www.xxx.com/wenzhang.xml</loc>
<lastmod>2009-09-10</lastmod>
</sitemap>
</sitemapindex>

搞搞阵 发表于 2009-10-15 22:23:53

还不懂，跟你学习一下

嗯嗯 发表于 2009-10-15 22:24:54

不错～～感谢分享了～～

gxil 发表于 2010-4-26 20:17:22

收藏下，对于site map 还不是很懂的

duguwangzi 发表于 2010-4-26 20:26:00

不错～～感谢分享了～～

zwzj21 发表于 2010-4-28 15:32:02

没看懂~。飘过!~!

serivcesmsc 发表于 2010-5-5 22:33:33

这个是做什么用的？

conylee 发表于 2010-6-17 22:49:24

不错哦，非常感谢
页: [1]
查看完整版本: WordPress如何写好robots.txt