火車采集器(LocoySpider)綠色安裝版是一款功優秀的數據采集器,火車采集器完美支持采集所有編碼格式的網頁,火車采集器還能將采集的數據直接封裝入庫,并且火車采集器使用過程中非常的穩定。
軟件特色
1、通用性強。
無論新聞、論壇、視頻、黃頁、圖片、下載類網站,只要通過瀏覽器能看到的結構化的內容,通過指定匹配規則,都能采集到您所需要的內容。
2、穩定、高效。
五年磨一劍,軟件不斷更新進步,采集速度快,性能穩定,占用資源少。
3、擴展性強、適用范圍廣。
自定義web發布,自定義主流的數據庫的保存和發布,自定義本地php及.net外部編程接口處理數據,讓數據都能為你所用。
基本功能
1、規則自定義 - 通過采集規則的定義,可以搜索所有網站采集幾乎任何類型的信息。
2、多任務,多線程 - 可以同時進行多個信息獲取任務,每個任務可以使用多個線程。
3、所見即所得 - 任務采集過程所見即所得,過程中遍歷的鏈接信息、采集信息、錯誤信息等都會及時的反映在軟件界面中。
4、數據保存 - 數據邊采集邊自動保存到關系數據庫中,并且數據結構能夠自動適應,軟件可以根據采集規則自動創建數據庫,以及其中的表和字段,也可以通過導庫方式靈活的將數據保存到客戶已有的數據庫結構中。
5、斷點續采 - 信息收集任務可以在停止后從斷點開始繼續采集,從此你用不再擔心你的采集任務意外中斷了。
6、網站登錄 - 支持網站Cookie,支持網站可視化登錄,即使登錄時需要驗證碼的網站也能采集。
7、計劃任務 - 通過這個功能可以讓你的采集任務定時、定量或者一直循環執行。
8、采集范圍限制 - 可以根據采集的深度和網址的標識來限制采集的范圍。
9、文件下載 - 可以將采集到的二進制文件(諸如:圖片、音樂、軟件、文檔等等)下載到本地磁盤或者采集結果數據庫中。
10、結果替換 - 可以將采集的結果根據規則替換成你定義的內容。
11、條件保存 - 可以根據某個條件來決定那些信息保存,那些信息過濾。
12、過濾重復內容 - 軟件可根據用戶設置和實際情況對重復內容和重復網址自動刪除重復內容。
13、特殊鏈接識別 - 運用此功能可以將用Javascript動態生成的鏈接或其他更古怪的連接識別出來。
14、數據發布 - 可以通過自定義接口,將已采集的結果數據發布到任意的內容管理系統和指定數據庫中?,F在已支持的目標發布媒體包括:數據庫(access, sql server,my sql,oracle) ,靜態htm文件。
15、預留編程接口 - 定義多個編程接口,用戶可以在事件中利用PHP,C#語言進行編程,擴充采集功能。
特色功能
1、支持所有網站編碼:完美支持采集所有編碼格式的網頁,程序還可以自動識別網頁編碼。
2、多種發布方式:支持目前所有主流和非主流的CMS,BBS等網站程序,通過系統的發布模塊能實現采集器和網站程序間的完美結合。
3、全自動:無人值守工作,配置好程序后,程序將依據您的設置自動運行,完全無需人工干預。
4、本地編輯:本地可視化編輯已采集的數據。
5、采集測試:這是其它任何同類采集軟件所不能比的,程序支持直接查看采集結果并測試發布。
6、管理方便:使用站點+任務方式管理采集節點,任務支持批量操作,再多的數據管理也很輕松。
更新日志
1、數據獲取中支持調用其他標簽的值作為截取條件。
2、數據獲取支持CSS selector,很多網頁的css 的屬性唯一,此功能更利于批量從網頁中提取數據。
3、增加關聯區域功能,可以截取網頁中指定區域內容進行采集處理。
4、批量網址增加區間變化的網址增加方式,適應更多的網頁地址變化方式。
5、批量設置增加新增加功能的批量設置。
6、運行統計日志設置添加默認關閉功能,可在設置中選擇開啟或關閉。
7、oss相關問題修復。
8、網址空格問題導致列表頁標簽錯誤問題修復。
9、下載相關問題修復。
10、修復“任務數據批量處理”中刪除為空記錄無效的問題。
11、文件下載插件增加文件下載后處理接口。