常见搜索引擎蜘蛛种类，网站按需求来做写robots.txt文件，如果对rbots,txt文件规则不是很熟悉，可以使用下列网站工具的，可自定义，按要求生成robots文件规则就好
后成好了之后，记得要下载文件之后，命名为robots.txt上传到网站根目录即可
国内搜索引擎
- 百度
- SOSO
- 搜狗
- 有道
国外搜索引擎
- 谷歌
- Bing
- 雅虎
- Ask/Teoma
- Alexa/Wayback
- Cuil
- MSN Search
- Scrub The Web
- DMOZ
- GigaBlast
特殊搜索引擎(机器人)
- Google Image
- Google Mobile
- Yahoo MM
- Yahoo Blogs
- MSN PicSearch
- 登陆后可见使用链接地址：
