NutchHtmlunitPlugin设置教程配置攻略，效率提升！

Ur47000 • 2024年5月29日上午9:00 • SEO资讯

NutchHtmlunitPlugin设置教程

一、NutchHtmlunitPlugin概述

NutchHtmlunitPlugin是一个基于ApacheNutch1.8和Htmlunit组件的扩展实现，用于实现对于AJAX加载类型页面的完整页面内容抓取解析。

二、NutchHtmlunitPlugin配置步骤

下载NutchHtmlunitPlugin
下载NutchHtmlunitPlugin的安装包，解压后进入runtime/local/bin目录，运行crawlurlscrawlfalse1//urls命令，其中参数说明如下：
- crawl:爬虫输出目录，设置为false表示不进行索引处理；
- 1:爬虫执行回数。
配置Nutch-default.xml
在conf/目录下找到nutch-default.xml 文件，打开该文件，在元素中添加以下属性：
- `
  
  http.agent.name
  NutchHtmlunitPlugin
  `
- fetcher.fetch.depth 2lue>
- fetcher.fetch.delay 500
- fetcher.http.socket.timeout 60000
- fetcher.max.connections.per.host 10
- fetcher.max.total.connections 100 property>
- fetcher.min.free.sockets 5 operty>
- fetcher.retry.interval 60000 property>
- fetcher.server.delay 3000 operty>
- fetcher.socket.connection_timeout 60000
- fetcher.threads 10 y>
- fetcher.use 代理服务器name> false
- fetcher.userAgent.prefixname> NutchHtmlunitPlugin-
- indexer.charset.name UTF-8 property>
- indexer.language.code en operty>
- indexer.max.chars.per.token 2048 property>
- indexer.max.field.length 262144
- indexer.max.meta.size 131072
- indexer.max.tokens.per.document 10000
- indexwriter.merge.factor 100lue>
- indexwriter.max_buffered_docs 1000
- indexwriter.max_field_length_in_bytes_per_segment 262144 erty>
- indexwriter.merge.scheduler.class org.apache.lucene.index.MergeScheduler$LogByteSizeMergePolicy
- linkchecker.check.interval.seconds lue>86400
- linkchecker.enable.interval.secondsme> 86400
- nutch.hosts.file.pathme> /etc/hosts
- `
  nutch.proxy.host.nameme>
`
- `erty>
  nutch.proxy.port.number
`
- ty> nutch.runtime.home lue>${basedir}/apache-nutch-1.8/runtime/local/lue>
- `
  
  nutch.site.regex.file.path
  /etc/sites.d/nutch-site.regex.conf
  ty>`。
重启Nutch
重启Nutch服务，确保配置生效。