火車(chē)采集器(LocoySpider)是一款專業(yè)的功能強(qiáng)大的網(wǎng)絡(luò)數(shù)據(jù)/信息挖掘軟件,通過(guò)靈活的配置,您可以很輕松的從網(wǎng)頁(yè)上抓取文字、圖片、文件等任何資源。
程序支持遠(yuǎn)程下載圖片文件,支持網(wǎng)站登陸后的信息采集,支持探測(cè)文件真實(shí)地址,支持代理,支持防盜鏈的采集,支持采集數(shù)據(jù)直接入庫(kù)和模仿人手工發(fā)布等許多功能特點(diǎn)。
火車(chē)采集器支持從任何類型的網(wǎng)站采集獲取您所需要的信息,如各種新聞?lì)惥W(wǎng)站、論壇、電子商務(wù)網(wǎng)站、求職招聘網(wǎng)站等。
同時(shí)具有強(qiáng)大的網(wǎng)站登錄采集、多頁(yè)和分頁(yè)的采集、網(wǎng)站跨層采集、POST采集、腳本頁(yè)面采集、動(dòng)態(tài)頁(yè)面采集等高級(jí)采集功能。
強(qiáng)大的php和c#插件支持,讓您可以通過(guò)二次開(kāi)發(fā)實(shí)現(xiàn)您所想要的任何更強(qiáng)大的功能。
軟件特色
1、通用性強(qiáng)
無(wú)論新聞、論壇、視頻、黃頁(yè)、圖片、下載類網(wǎng)站,只要通過(guò)瀏覽器能看到的結(jié)構(gòu)化的內(nèi)容,通過(guò)指定匹配規(guī)則,都能采集到您所需要的內(nèi)容。
2、穩(wěn)定、高效
五年磨一劍,軟件不斷更新進(jìn)步,采集速度快,性能穩(wěn)定,占用資源少。
3、擴(kuò)展性強(qiáng)、適用范圍廣
自定義web發(fā)布,自定義主流的數(shù)據(jù)庫(kù)的保存和發(fā)布,自定義本地php及.net外部編程接口處理數(shù)據(jù),讓數(shù)據(jù)都能為你所用。
基本功能
1、規(guī)則自定義-通過(guò)采集規(guī)則的定義,可以搜索所有網(wǎng)站采集幾乎任何類型的信息。
2、多任務(wù),多線程-可以同時(shí)進(jìn)行多個(gè)信息采集任務(wù),每個(gè)任務(wù)可以使用多個(gè)線程。
3、所見(jiàn)即所得-任務(wù)采集過(guò)程所見(jiàn)即所得,過(guò)程中遍歷的鏈接信息、采集信息、錯(cuò)誤信息等都會(huì)及時(shí)的反映在軟件界面中。
4、數(shù)據(jù)保存-數(shù)據(jù)邊采集邊自動(dòng)保存到關(guān)系數(shù)據(jù)庫(kù)中,并且數(shù)據(jù)結(jié)構(gòu)能夠自動(dòng)適應(yīng),軟件可以根據(jù)采集規(guī)則自動(dòng)創(chuàng)建數(shù)據(jù)庫(kù),以及其中的表和字段,也可以通過(guò)導(dǎo)庫(kù)方式靈活的將數(shù)據(jù)保存到客戶已有的數(shù)據(jù)庫(kù)結(jié)構(gòu)中。
5、斷點(diǎn)續(xù)采-信息采集任務(wù)可以在停止后從斷點(diǎn)開(kāi)始繼續(xù)采集,從此你用不再擔(dān)心你的采集任務(wù)意外中斷了。
6、網(wǎng)站登錄-支持網(wǎng)站Cookie,支持網(wǎng)站可視化登錄,即使登錄時(shí)需要驗(yàn)證碼的網(wǎng)站也能采集。
7、計(jì)劃任務(wù)-通過(guò)這個(gè)功能可以讓你的采集任務(wù)定時(shí)、定量或者一直循環(huán)執(zhí)行。
8、采集范圍限制-可以根據(jù)采集的深度和網(wǎng)址的標(biāo)識(shí)來(lái)限制采集的范圍。
9、文件下載-可以將采集到的二進(jìn)制文件(諸如:圖片、音樂(lè)、軟件、文檔等等)下載到本地磁盤(pán)或者采集結(jié)果數(shù)據(jù)庫(kù)中。
10、結(jié)果替換-可以將采集的結(jié)果根據(jù)規(guī)則替換成你定義的內(nèi)容。
11、條件保存-可以根據(jù)某個(gè)條件來(lái)決定那些信息保存,那些信息過(guò)濾。
12、過(guò)濾重復(fù)內(nèi)容-軟件可根據(jù)用戶設(shè)置和實(shí)際情況對(duì)重復(fù)內(nèi)容和重復(fù)網(wǎng)址自動(dòng)刪除重復(fù)內(nèi)容。
13、特殊鏈接識(shí)別-運(yùn)用此功能可以將用JavaScript動(dòng)態(tài)生成的鏈接或其他更古怪的連接識(shí)別出來(lái)。
14、數(shù)據(jù)發(fā)布-可以通過(guò)自定義接口,將已采集的結(jié)果數(shù)據(jù)發(fā)布到任意的內(nèi)容管理系統(tǒng)和指定數(shù)據(jù)庫(kù)中。現(xiàn)在已支持的目標(biāo)發(fā)布媒體包括:數(shù)據(jù)庫(kù)(access,sqlserver,mysql,oracle),靜態(tài)htm文件。
15、預(yù)留編程接口-定義多個(gè)編程接口,用戶可以在事件中利用PHP,C#語(yǔ)言進(jìn)行編程,擴(kuò)充采集功能。
特色功能
1、支持所有網(wǎng)站編碼:完美支持采集所有編碼格式的網(wǎng)頁(yè),程序還可以自動(dòng)識(shí)別網(wǎng)頁(yè)編碼。
2、多種發(fā)布方式:支持目前所有主流和非主流的CMS,BBS等網(wǎng)站程序,通過(guò)系統(tǒng)的發(fā)布模塊能實(shí)現(xiàn)采集器和網(wǎng)站程序間的完美結(jié)合。
3、全自動(dòng):無(wú)人值守工作,配置好程序后,程序?qū)⒁罁?jù)您的設(shè)置自動(dòng)運(yùn)行,完全無(wú)需人工干預(yù)。
4、本地編輯:本地可視化編輯已采集的數(shù)據(jù)。
5、采集測(cè)試:這是其它任何同類采集軟件所不能比的,程序支持直接查看采集結(jié)果并測(cè)試發(fā)布。
6、管理方便:使用站點(diǎn)+任務(wù)方式管理采集節(jié)點(diǎn),任務(wù)支持批量操作,再多的數(shù)據(jù)管理也很輕松。
更新日志
1:添加“重新采集上次請(qǐng)求失敗的列表頁(yè)”功能。
2:優(yōu)化任務(wù)發(fā)布方式,站群式發(fā)布添加支持順序、倒序發(fā)布。
3:列表頁(yè)獨(dú)立標(biāo)簽,增加“從網(wǎng)址中獲取”的選型。
4:優(yōu)化圖片地址匹配方式,一些原來(lái)無(wú)法匹配的圖片可以正確匹配了。
5:同義詞替換,增加對(duì)于html標(biāo)簽替換的支持。
6:循環(huán)采集模式,增加循環(huán)次數(shù)限制。
7:數(shù)據(jù)發(fā)布,增加自定義數(shù)據(jù)發(fā)布模式。
8:修復(fù)刪除列表頁(yè)時(shí),未能刪除對(duì)應(yīng)列表頁(yè)標(biāo)簽的問(wèn)題。
9:修復(fù)使用圖片水印時(shí),未選擇保存格式導(dǎo)致的水印錯(cuò)誤的bug。
10:Json工具,修復(fù)長(zhǎng)Json處理時(shí)的卡頓問(wèn)題。
11:修復(fù)采集標(biāo)簽過(guò)多導(dǎo)致的任務(wù)無(wú)法運(yùn)行的錯(cuò)誤。
12:修復(fù)自定義插件編譯錯(cuò)誤的問(wèn)題。
13:修復(fù)PHP插件對(duì)于循環(huán)采集標(biāo)簽處理時(shí)的錯(cuò)誤問(wèn)題。
1贛教云教學(xué)通2.0-贛教云教學(xué)通2.0下載 v5......
2【羅剛君E靈特別版下載】羅剛君E靈 v11.4 ......
3step7 microwin-西門(mén)子PLC S7......
4易迅電子病歷管理軟件-易迅電子病歷管理軟件下載 ......
5【騰訊手游模擬器綠色版下載】騰訊手游模擬器綠色精......
6悟空數(shù)學(xué)電腦端官方正版2024最新版綠色免費(fèi)下載......
7Archbee軟件提供下載-Archbee客戶端......
8百度網(wǎng)盤(pán)清爽精簡(jiǎn)純凈版-網(wǎng)盤(pán)工具-百度網(wǎng)盤(pán)清爽精......