用Lynx过滤出搜索结果链接
利用lynx -dump的和grep awk组合,导出搜索结果链接列表: lynx -dump 将结果页面和链接分别导出 grep KEYWORD 过滤出包含KEYWORDS的行 grep -v KEYWORD 过滤出不包含KEYWORDS的行 awk ‘{print $2}’ 打印出第2列
lynx -dump “http://www.google.com/search?q=baidu" | grep http | grep -v google | grep -v cache|awk ‘{print $2}’ http://www.baidu.com/ http://www.baidu.com/search/jiqiao.html http://mp3.baidu.com/ http://site.baidu.com/ http://bar.baidu.com/robots/ http://bar.baidu.com/mp3/ http://www.21cnbj.com/industrynews/se_doc/baidu.htm http://union.baidu.com/ http://kaihui0.tripod.com/
lynx -dump “http://www.baidu.com/baidu?word=google"| grep http|grep -v baidu|awk ‘{print $2}’ http://www.google.com/ http://www.google.de/ http://groups.google.com/ http://images.google.com/ http://www.google.com.sg/ http://ww.google.com/ http://www.google-watch.org/ http://www.googlecn.cn/ http://www.googlebeijing.com/
💬 历史评论
以下 1 条评论从旧版 Movable Type 博客迁移而来。 原始评论时间:2002–2016 年。
BunnyQ · 2006-07-07 16:42
第一次用lynx 发现比links看网页方便多了.. 这个lynx -dump可以直接取出所有链接地址 只用一行就搞定了 很方便, 不过不好根据链接标签之间的内容来做进一步的判断 有些遗憾.