【垂直搜索引擎搭建07】heritrix工具化

    xiaoxiao2025-04-25  17

    一、免登陆 在每一次登陆heritrix都需要进行输入用户名和密码,而在使用过程中,为了方便,可以设置为免登陆状态。

    在webapps文件夹下,找到admin.war文件

    解压admin.war文件,并打开文件夹WEB-INF

    打开web.xml文件,修改.jsp为.do,这样就不能阻止jsp文件的访问了,就不会调用login.jsp,也就不需要进行用户名密码了

    重新将文件夹打包成war文件 cmd进入到admin文件夹中,使用命令来进行打包成war文件,jar -cvf admin.war *

    将admin.war重新替换到文件中,就不需要登录了

    二、默认order.xml order.xml的作用就是保存heritrix的配置文件,所以在对于order.xml的使用中,主要是对于配置好的heritrix来说,可以通过替换默认的order.xml来方便以后的使用。

    首先配置好爬取设置,爬去之后,打开jobs文件夹,找到已经爬去的文件夹,里面会有一个order.xml文件,将这个文件复制替换到源文件中,之后再运行程序时,就不需要配置了,就可以直接进行爬去了。

    三、jobs.dir 统一输出路径

    源文件中,每次爬去,都会新建一个名字,所以会产生不同的路径 所以将文件名进行修改,所有文件都保存到Output文件夹下,这样就统一路径了

    四、用bat启动,并加载自己的myheritrix.jar

    File->Export->myheritrix

    转载请注明原文地址: https://ju.6miu.com/read-1298424.html
    最新回复(0)