火车采集器(LocoySpider)是一款专业的网络数据采集/信息挖掘处理软件。火车采集器(LocoySpider)通过灵活的配置,可以很轻松迅速地从网页上抓取结构化的文本、图片、文件等资源信息,可编辑筛选处理后选择发布到网站后台,各类文件或其他数据库系统中,被广泛应用于数据采集挖掘、垂直搜索、 信息汇聚和门户、企业网信息汇聚、商业情报、论坛或博客迁移、智能信息代理、个人信息检索等领域,适用于各类对数据有采集挖掘需求的群体。
1、全自动
无人值守工作,配置好程序后,程序将依据您的设置自动运行,完全无需人工干预。
2、本地编辑
本地可视化编辑已采集的数据。
3、采集测试
这是其它任何同类采集软件所不能比的,程序支持直接查看采集结果并测试发布。
4、管理方便
使用站点+任务方式管理采集节点,任务支持批量操作,再多的数据管理也很轻松。
5、支持所有网站编码
完美支持采集所有编码格式的网页,程序还可以自动识别网页编码。
6、多种发布方式
支持目前所有主流和非主流的CMS,BBS等网站程序,通过系统的发布模块能实现采集器和网站程序间的完美结合。
1、规则自定义:通过采集规则的定义,可以搜索所有网站采集几乎任何类型的信息。
2、多任务,多线程:可以同时进行多个信息采集任务,每个任务可以使用多个线程。
3、所见即所得:任务采集过程所见即所得,过程中遍历的链接信息、采集信息、错误信息等都会及时的反映在软件界面中。
4、数据保存:数据边采集边自动保存到关系数据库中,并且数据结构能够自动适应,软件可以根据采集规则自动创建数据库,以及其中的表和字段,也可以通过导库方式灵活的将数据保存到客户已有的数据库结构中。
5、断点续采:信息采集任务可以在停止后从断点开始继续采集,从此你用不再担心你的采集任务意外中断了。
6、网站登录:支持网站Cookie,支持网站可视化登录,即使登录时需要验证码的网站也能采集。
7、计划任务:通过这个功能可以让你的采集任务定时、定量或者一直循环执行。
8、采集范围限制:可以根据采集的深度和网址的标识来限制采集的范围。
9、文件下载:可以将采集到的二进制文件(诸如:图片、音乐、软件、文档等等)下载到本地磁盘或者采集结果数据库中。
10、结果替换:可以将采集的结果根据规则替换成你定义的内容。
11、条件保存:可以根据某个条件来决定那些信息保存,那些信息过滤。
12、过滤重复内容:软件可根据用户设置和实际情况对重复内容和重复网址自动删除重复内容。
13、特殊链接识别:运用此功能可以将用JavaScript动态生成的链接或其他更古怪的连接识别出来。
14、数据发布:可以通过自定义接口,将已采集的结果数据发布到任意的内容管理系统和指定数据库中。现在已支持的目标发布媒体包括:数据库(access, sql server,my sql,oracle) ,静态htm文件。
15、预留编程接口:定义多个编程接口,用户可以在事件中利用PHP,C#语言进行编程,扩充采集功能。
火车头采集器是一个供各大主流文章系统,论坛系统等使用的多线程内容采集发布程序,软件包中包含有详尽的“火车采集器白皮书”以及使用教程,为了方便介绍,小编这里以采集文章标题为例说明其基本用法:
1、采集网址规则,点击添加
2、选择【批量/多页】,添加有规则的网址,输入首项和页数。点击【添加】完成
3、采集内容规则
双击【标题】,弹出标题编辑框
4、提取方式一般为【前后截取】,通过观察源代码,填写开始字符串和结束字符串
5、添加【html标签排除】【内容添加前后缀】,点击确定就可。
6、发布内容设置。启用方式二来保存采集结果。
文件名格式可以根据自己喜好,任意选择。
文件模板选择,火车头给出的几个默认模板。一般默认为txt,csv,html,excel格式。可以根据自己的喜好来选择模板。
7、设定好之后,保存即可。这时,采集规则已经设定完毕。执行即可得所需要的结果。
安装步骤
一、在本站下载火车采集器最新版,双击运行。
二、如下图,可以点击【浏览】设置软件的安装位置。
三、设置完毕点击【安装】,耐心等待即可。
1.优化标签数据处理中字符替换。
2.对文件探测无效导致文件下载失败问题优化。
3.处理用户名包含特殊符号不能登录问题。
4.修复数据管理批量操作数据有异常弹窗提示。
5.修复二级代理卡死问题。
6.完善自动获取cookie失败问题。
7.发布到word,自动转义"<"、">"为"<"、">"。
8.修复:勾选发布选项,采集最大数无效。
9.修复oracle链接问题。
10.支持oss存储。
11.修复:下载地址后面有斜杠,下载文件时无后缀名。
同类推荐
2022-06-13
立即下载2022-06-21
立即下载2022-06-28
立即下载2022-07-16
立即下载2022-08-09
立即下载2022-08-16
立即下载相关文章
如何解决夜神模拟器安装失败?
2022-12-25Visual Studio 2005创建GUID图文教程
2022-12-25ArcGIS地图插入经纬网的技巧
2022-12-18MindMaster如何改变框框颜色?
2022-12-04office365激活密钥_office365永久激活工具
2022-12-04PotPlayer播放器视频截图的方法
2022-11-26墨刀怎么导出原型?墨刀导出原型的方法
2022-11-26向日葵远程控制软件开启黑名单ip的技巧
2022-11-12FastStone Capture如何设置快捷键?
2022-11-12psd文件怎么打开?美图看看打开psd文件的方法
2022-11-12