baiduSpider常见问题解答

clearsea

1. 什么是baiduspider？
baiduspider是Baidu搜索引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在Baidu搜索引擎中搜索到贵网站的网页。　

2. baiduspider为什么大量访问我的网页？
baiduspider访问您的网页后，会自动分析每个网页上的文字内容并记忆网页网址，然后其它网友才能通过百度搜索引擎找到您的网页。如果baiduspider不访问您的网页，那么所有通过baiduspider提供网页信息的搜索引擎都找不到您的网页，也就是说，其它网友在百度搜狐新浪雅虎Tom等几十个搜索网站都会找不到您的网页。　
您可以到这里进一步了解搜索引擎

3. baiduspider对一个网站服务器造成的访问压力如何？

对于一个网站，baiduspider每访问一个网页会间隔30秒，不会造成过大压力。

4. 我不想我的网站被baiduspider访问，我该怎么做？

baiduspider象其它spider一样遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站，或者禁止baiduspider访问您网站上的部分文件。

注意：禁止baiduspider访问您的网站，将使您的网站上的所有网页，在Baidu搜索引擎以及所有Baidu提供搜索引擎服务的搜索引擎中无法被搜索到，包括搜狐、新浪、雅虎、Tom、Lycos等几十个搜索引擎。

关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法

5. 为什么我的网站已经加了robots.txt，还能在百度搜索出来？

因为搜索引擎索引数据库的更新需要时间。虽然baiduspider已经停止访问您网站上的网页，但Baidu搜索引擎数据库中已经建立的网页索引信息，可能需要2到4周才会清除。

6. baiduspider多长时间之后会重新抓取我的网页？

Baidu搜索引擎平均两周更新一次，网页视重要性有不同的更新率，少则几天，多则1月，baiduspider会重新访问和更新一个网页。

7. baidu蜘蛛在robots.txt中的名字是什么？

baiduspider，全部为小写字母。完全禁止baiduspider访问的robots文件内容为：


User-agent: baiduspider
Disallow: /