求助贴 我这样写robots.txt 对吗？(wordpress)
我用的是wordpress 我把wordpress目录放在了跟目录下 我样像写对吗？我的主页被google收录了，怎么连我做的那个破flash 都收录了，但其他文章页面一个也没收录，是不是跟我写的robots.txt这个文件有问题
谢谢，
User-agent: *
Disallow: /cgi-bin
Disallow: /wordpress/wp-
Disallow: /wordpress/feed/
Disallow: /wordpress/comments/feed
Disallow: /wordpress/trackback
Disallow: /wordpress/comments
Sitemap: http://sfood.net/wordpress/sitemap.xml
Sitemap: http://sfood.net/wordpress/sitemap.xml.gz 本帖最后由 sockpuppet 于 2010-2-2 10:39 编辑
我喜欢加个wild char
像这样
Disallow: /wordpress/wp-*
Disallow: /wordpress/feed/*
看样子你还得加个
/images/*
* google可以辨别出来，其他的我就不知道了
一点补充：
我个人的
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /wp-content/*
Disallow: /wp-admin/*
Disallow: /wp-includes/*
Disallow: /trackback/*
Disallow: /feed/*
Disallow: /comments/*
Disallow: /page/*
Disallow: /date/*
Disallow: /archive/*
Disallow: /rss/*
这对于duplicate content有作用。
还有,即使你用robots禁止spider,还是会索引的，但只有链接（一部分或根本没有）会出现在serp上.
对了我有个food的autoblog.但没你 首页 那么漂亮。
会美工真好 我那会什么美工啊，那是我鼓捣了一周才鼓捣出来的，我新手，这是我第一个站， 你可以给这个wp地址添加一些站内外的链接 用几个最常见的情况，直接举例说明：
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /
5. 加入sitemap.xml路径,例如：
Sitemap: http://www.cnwebmasters.com/sitemap.xml 本帖最后由 sockpuppet 于 2010-2-2 20:22 编辑
只有seo-greenhat答到点上.
不好意思，我在二楼没回答到点上，而且误导了ls的。
lz想问他的网页收录如此之少，是不是因为robots.txt写错了。很明显没错。
还有，你干麻用冲浪站阿
http://www.autosurfpro.com/cgi-bin/top.cgi
忌讳忌讳。
多弄几个外链到
http://sfood.net/wordpress/category/slimming-and-beaut
http://sfood.net/wordpress/category/healthy-cookbook
http://sfood.net/wordpress/category/tranditional-chinese-medicine-regimen
http://sfood.net/wordpress/category/food-common-sense
就okay了，noindex,follow 不行用插件帮忙解决:( 学习了，感觉用好了robots，会非常有效 楼主的经验很不错。
页:
[1]