盗亦有道：OutfoxBot原来是有道蜘蛛

📌 TLDR

有道（yodao.com）发布后，用"crawledby 方法"（页面里输出 UA + IP，再用 site: 反查）查出它的蜘蛛就是此前被当成"匿名盗抓"的 OutfoxBot，UA 里还留着 outfoxbot@gmail.com。作者顺势提了两条建议：补一份蜘蛛抓取说明（有联系方式），并回复一下此前写信来反馈的用户；文末附有道搜索结果里的证据。

一个新的独立的搜索引擎：有道 yodao.com发布了，有道搜索引擎用的什么机器人呢？用crawledby方法查了一下：很眼熟的名字，原来有道蜘蛛就是以前被认为是匿名盗抓的OutfoxBot啊……

新搜索引擎发布，还是要祝贺一下。这里还给有道蜘蛛的一些建议： 1 ~~做个机器人抓取说明页吧（最好有联系方式），并加入到蜘蛛UA中~~有道蜘蛛的帮助：写的很详细了 http://www.yodao.com/help/webmaster/spider/就是还没有被其他引擎收录； 2 查查以前UA中留的gmail邮箱：给向你们提意见的用户一个回复；

在有道的搜索结果附后：

查询为： site:chedong.com crawledby

ipfw - phpMan
Dong On Apache/1.3.37 (Unix) mod_perl/1.29 mod_gzip/1.3.26.1a PHP/4.4.4 Under GNU General Public License 2006-12-04 07:37 @60.191.80.35 CrawledBy OutfoxBot/0.5 (for internet experiments; http://; outfoxbot@gmail.com)
www.chedong.com/phpMan.php/man/ipfw - 1006 - 2006-12-04 - 快照
java - phpMan
Dong On Apache/1.3.37 (Unix) mod_perl/1.29 mod_gzip/1.3.26.1a PHP/4.4.4 Under GNU General Public License 2006-12-06 07:15 @60.191.80.46 CrawledBy OutfoxBot/0.5 (for internet experiments; http://; outfoxbot@gmail.com)
www.chedong.com/phpMan.php?mode=perl ... - 1K - 2006-12-06 - 快照
stunnel4 - phpMan
Dong On Apache/1.3.37 (Unix) mod_perl/1.29 mod_gzip/1.3.26.1a PHP/4.4.4 Under GNU General Public License 2006-11-17 05:42 @60.191.80.29 CrawledBy OutfoxBot/0.5 (for internet experiments; http://; outfoxbot@gmail.com)
www.chedong.com/phpMan.php/man/stunnel4 - 1014 - 2006-11-17 - 快照
intro(2) - phpMan
Dong On Apache/1.3.37 (Unix) mod_perl/1.29 mod_gzip/1.3.26.1a PHP/4.4.4 Under GNU General Public License 2006-12-06 23:26 @60.191.80.27 CrawledBy OutfoxBot/0.5 (for internet experiments; http://; outfoxbot@gmail.com)
www.chedong.com/phpMan.php/man/intro/2 - 4K - 2006-12-06 - 快照

后记： 1 目前还不能透露太多Outfox所在公司的背景，沟通还是很积极的，感谢；也看到日志中的yodaobot的访问了： chedong_access_log.20061214:60.191.80.43 - - [14/Dec/2006:21:31:43 +0800] “GET /digest/20060825.html HTTP/1.1” 304 - “-” “YodaoBot/1.0 (http://www.yodao.com/help/webmaster/spider/; )” 60.191.80.43.319491166103103746

这里还有一份有道蜘蛛的12月对本站的抓取统计，最后更新时间为本月13/14日，上周五刚改的？

OutfoxBot crawls - Top 50 网页数文件数字节最近参观日期 /robots.txt 166 166 37.45 K字节 2006年十二月 14日 19:39 /blog/ 37 37 1.52 M字节 2006年十二月 14日 09:45 /phpMan.php 33 33 89.45 K字节 2006年十二月 14日 04:53 / 27 27 1.25 M字节 2006年十二月 14日 09:45 /phpMan.php/man/intro/3 16 16 58.97 K字节 2006年十二月 14日 19:39 /phpMan.php/phpinfo 13 13 394.83 K字节 2006年十二月 13日 11:57 /blog/archives/001195.html 13 13 245.30 K字节 2006年十二月 14日 10:26 /blog/archives/001240.html 12 12 132.39 K字节 2006年十二月 14日 04:55 /blog/archives/001117.html 10 10 459.88 K字节 2006年十二月 13日 23:30 /blog/archives/001047.html 9 9 100.69 K字节 2006年十二月 13日 11:56 /blog/archives/001216.html 9 9 122.66 K字节 2006年十二月 14日 19:46 /blog/archives/000772.html 9 9 264.73 K字节 2006年十二月 12日 08:45 /blog/archives/001230.html 9 9 115.75 K字节 2006年十二月 14日 09:46 /blog/archives/001249.html 9 9 146.90 K字节 2006年十二月 14日 05:56

Yodaobot就是一个比较搜索引擎反映速度和索引策略的一个关键词： Google: 26 条 Baidu: 3条 Yahoo： 25条 Yodao: 0条？ Sogou: 77条 MSN 235条：这里有个有趣的页面，msnbot刚好抓到了由YodaoBot生成的缓存页面： # 北京酒店-北京香格里拉饭店, 中国 You are using: YodaoBot/1.0 (http://www.yodao.com/help/webmaster/spider/; ) * www.shangri-la.com/beijing/shangri-la/sc * · 2006-12-16 * · 缓存页面现在点击过去：也是同样的UA信息。

💬 历史评论

以下 6 条评论从旧版 Movable Type 博客迁移而来。原始评论时间：2002–2016 年。

mistaet · 2006-12-17 10:18

这个OutfoxBot好像后来表现一直还可以。中间有段时间有点bt，可能是程序有bug，不过改了就好。这两天新过来的爬虫好像叫yodaobot了，你注意到没？

Feir · 2006-12-17 12:04

我也注意到有道的爬虫，信息是这样的：“YodaoBot/1.0 (http://www.yodao.com/help/webmaster/spider/; )”

sherry · 2006-12-17 15:53

注意到了，不过好像被收录得不多

etng · 2006-12-18 09:42

site:etng.net 出来的不止是我的网站上的东西，是不是他美这个功能呢？

igoldc · 2006-12-19 10:36

还没用过这个搜索引擎

leshou · 2007-02-12 11:26

outfoxbot@gmail.com这个么？有道是不是网易的产品？