最受欢迎的网页数据采集软件
火车采集器V9
产品白皮书
合肥乐维信息技术有限公司2015年9月
最受欢迎的网页数据采集软件
目录
一、引言......................................................................................................................31.1文档主题..........................................................................................................
31.2适用范围..........................................................................................................
31.3相关术语..........................................................................................................
3
二、火车采集器的研发背景......................................................................................42.1从搜索引擎到网页数据采集..........................................................................42.2从手动采集到软件采集..................................................................................
4
三、火车采集器综述..................................................................................................43.1火车采集器简述..............................................................................................
43.2功能详述..........................................................................................................
43.2.1网址采集...............................................................................................
53.2.2内容采集...............................................................................................
53.2.3数据处理...............................................................................................
53.2.4数据发布...............................................................................................
53.2.5多任务多线程运行...............................................................................63.2.6HTTP二级代理服务器.........................................................................63.2.7计划任务管理器...................................................................................63.2.8任务运行日志管理...............................................................................63.2.9插件扩展...............................................................................................
63.3版本介绍..........................................................................................................
6
四、火车采集器的特性..............................................................................................74.1全网通用..........................................................................................................
74.1.1基于web结构的采集...........................................................................74.1.2扩展性强...............................................................................................
74.2功能全面..........................................................................................................
74.2.1集采集发布于一体...............................................................................74.2.2多元化的功能配置...............................................................................74.3高效稳定..........................................................................................................
84.3.1分布式高速采集系统...........................................................................84.3.2占用资源少...........................................................................................
84.4数据精准..........................................................................................................
84.4.1采集监控系统.......................................................................................
84.4.2数据处理准确.......................................................................................
8
五、火车采集器的典型应用......................................................................................8
1
最受欢迎的网页数据采集软件
5.1使用群体及运用..............................................................................................
8
5.1.1企业人员...............................................................................................
8
5.1.2电商运营...............................................................................................
8
5.1.3政府机关...............................................................................................
8
5.1.4网站站长...............................................................................................
9
5.1.5个人需求者...........................................................................................
9
5.2应用案例..........................................................................................................
9
六、运行环境................................................................................................................
9
6.1系统环境..........................................................................................................
9
6.2框架支持..........................................................................................................