基于WebCollector的java爬虫(二)配合shell+cutycapt抓取糗事百科页面生成图片

代码： https://code.csdn.net/u012995856/javacrawler/tree/master

效果：

1.使用WebCollector抓取糗百的url QiuShiBaiKe.java

package com.huijiasoft.pangPython.crawler; import java.util.ArrayList; import java.util.List; import com.huijiasoft.pangPython.utils.AppendToTXT; import cn.edu.hfut.dmic.webcollector.model.CrawlDatums; import cn.edu.hfut.dmic.webcollector.model.Page; import cn.edu.hfut.dmic.webcollector.plugin.berkeley.BreadthCrawler; /** * @author pangPython * @function 抓取糗事百科网页URL */ public class QiuShiBaiKe extends BreadthCrawler{ static List<String> list = new ArrayList<String>(); public QiuShiBaiKe(String crawlPath, boolean autoParse) { super(crawlPath, autoParse); addSeed("http://www.qiushibaike.com"); addRegex("http://www.qiushibaike.com/\\w*/"); addRegex("http://www.qiushibaike.com/\\w+/\\d+/"); addRegex("http://www.qiushibaike.com/\\w+/\\w+/\\w+/\\w+/"); addRegex("http://www.qiushibaike.com/\\w+/\\w+/\\d*/?\\w*"); } @Override public void visit(Page page, CrawlDatums arg1) { String url = page.getUrl(); System.out.println(url); list.add(url); } public static void main(String[] args) throws Exception { QiuShiBaiKe qsbk = new QiuShiBaiKe("qsbk", true); qsbk.setThreads(50); qsbk.setTopN(5000); qsbk.start(6); AppendToTXT.ToTXT("qsbk.txt", list); } }

2.使用shell脚本 思路：按行读取抓取的txt文本，拼接成命令行字符串，使用eval执行字符串命令

这里使用一个工具cutycapt 使用

cutycapt -url=https://www.baidu.com -out=1.png

需要替换的就是url，然后图片名称用随机数来生成文件名.

getqsbk.sh

#!/bin/bash g1="cutycapt --url=" g2=" --out=" g3=".png" cat qsbk.txt | while read line do g=${g1}$line${g2}$RANDOM${g3} eval $g done

这段shell脚本需要在有GUI界面的linux系统中运行. 赋予可执行权限

chmod +x getqsbk.sh

执行

./getqsbk.sh