數據抽取工具有哪些

『壹』 常用的大數據工具有哪些

未至科技魔方是一款大數據模型平台，是一款基於服務匯流排與分布式雲計算兩大技術架構的一款數據分析、挖掘的工具平台，其採用分布式文件系統對數據進行存儲，支持海量數據的處理。採用多種的數據採集技術，支持結構化數據及非結構化數據的採集。通過圖形化的模型搭建工具，支持流程化的模型配置。通過第三方插件技術，很容易將其他工具及服務集成到平台中去。數據分析研判平台就是海量信息的採集，數據模型的搭建，數據的挖掘、分析最後形成知識服務於實戰、服務於決策的過程，平台主要包括數據採集部分，模型配置部分，模型執行部分及成果展示部分等。

未至科技小蜜蜂網路信息雷達是一款網路信息定向採集產品，它能夠對用戶設置的網站進行數據採集和更新，實現靈活的網路數據採集目標，為互聯網數據分析提供基礎。
未至科技泵站是一款大數據平台數據抽取工具，實現db到hdfs數據導入功能，藉助Hadoop提供高效的集群分布式並行處理能力，可以採用資料庫分區、按欄位分區、分頁方式並行批處理抽取db數據到hdfs文件系統中，能有效解決大數據傳統抽取導致的作業負載過大抽取時間過長的問題，為大數據倉庫提供傳輸管道。
未至科技雲計算數據中心以先進的中文數據處理和海量數據支撐為技術基礎，並在各個環節輔以人工服務，使得數據中心能夠安全、高效運行。根據雲計算數據中心的不同環節，我們專門配備了系統管理和維護人員、數據加工和編撰人員、數據採集維護人員、平台系統管理員、機構管理員、輿情監測和分析人員等，滿足各個環節的需要。面向用戶我們提供面向政府和面向企業的解決方案。
未至科技顯微鏡是一款大數據文本挖掘工具，是指從文本數據中抽取有價值的信息和知識的計算機處理技術,
包括文本分類、文本聚類、信息抽取、實體識別、關鍵詞標引、摘要等。基於Hadoop
MapRece的文本挖掘軟體能夠實現海量文本的挖掘分析。CKM的一個重要應用領域為智能比對,
在專利新穎性評價、科技查新、文檔查重、版權保護、稿件溯源等領域都有著廣泛的應用。
未至科技數據立方是一款大數據可視化關系挖掘工具，展現方式包括關系圖、時間軸、分析圖表、列表等多種表達方式，為使用者提供全方位的信息展現方式。

『貳』 做大數據分析一般用什麼工具呢

java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
記住學到這里可以作為你學大數據的一個節點。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

『叄』 數據的抽取工具有哪些

你就是把數據從你打開的窗口提取出來么？我用的博為小幫軟體機器人，能做到把數據從網頁或者系統軟體中自動抓取、採集，再導出，感覺比較好用。

『肆』 數據挖掘工具有哪些

SQL Server是資料庫，但內建數據挖掘功能，若提到工具的話，大概有SAS, SPSS, Statistica(Dell), R, Revolution R...

『伍』 大數據etl工具有哪些

ETL是數據倉庫中的非常重要的一環，是承前啟後的必要的一步。ETL負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。

下面給大家介紹一下什麼是ETL以及ETL常用的三種工具——Datastage，Informatica，Kettle。

一、什麼是ETL？
ETL，Extract-Transform-Load 的縮寫，用來描述將數據從來源端經過抽取（extract）、轉換（transform）、載入（load）至目的端的過程。

數據倉庫結構
通俗的說法就是從數據源抽取數據出來，進行清洗加工轉換，然後載入到定義好的數據倉庫模型中去。目的是將企業中的分散、零亂、標准不統一的數據整合到一起，為企業的決策提供分析依據。

ETL是BI項目重要的一個環節，其設計的好壞影響生成數據的質量，直接關繫到BI項目的成敗。

二、為什麼要用ETL工具？
在數據處理的時候，我們有時會遇到這些問題：

▶ 當數據來自不同的物理主機，這時候如使用SQL語句去處理的話，就顯得比較吃力且開銷也更大。

▶ 數據來源可以是各種不同的資料庫或者文件，這時候需要先把他們整理成統一的格式後才可以進行數據的處理，這一過程用代碼實現顯然有些麻煩。

▶ 在資料庫中我們當然可以使用存儲過程去處理數據，但是處理海量數據的時候存儲過程顯然比較吃力，而且會佔用較多資料庫的資源，這可能會導致數據資源不足，進而影響資料庫的性能。

而上述遇到的問題，我們用ETL工具就可以解決。ETL工具具有以下幾點優勢：

1、支持多種異構數據源的連接。（部分）

2、圖形化的界面操作十分方便。

3、處理海量數據速度快、流程更清晰等。

三、ETL工具介紹
1、Datastage

IBM公司的商業軟體，最專業的ETL工具，但同時價格不菲，適合大規模的ETL應用。

使用難度：★★★★

2、Informatica

商業軟體，相當專業的ETL工具。價格上比Datastage便宜一點，也適合大規模的ETL應用。

使用難度：★★

3、Kettle

免費，最著名的開源產品，是用純java編寫的ETL工具，只需要JVM環境即可部署，可跨平台，擴展性好。

使用難度：★★

四、三種ETL工具的對比
Datastage、Informatica、Kettle三個ETL工具的特點和差異介紹：

1、操作

這三種ETL工具都是屬於比較簡單易用的，主要看開發人員對於工具的熟練程度。

Informatica有四個開發管理組件，開發的時候我們需要打開其中三個進行開發，Informatica沒有ctrl+z的功能，如果對job作了改變之後，想要撤銷，返回到改變前是不可能的。相比Kettle跟Datastage在測試調試的時候不太方便。Datastage全部的操作在同一個界面中，不用切換界面，能夠看到數據的來源，整個job的情況，在找bug的時候會比Informatica方便。

Kettle介於兩者之間。

2、部署

Kettle只需要JVM環境，Informatica需要伺服器和客戶端安裝，而Datastage的部署比較耗費時間，有一點難度。

3、數據處理的速度

大數據量下Informatica與Datastage的處理速度是比較快的，比較穩定。Kettle的處理速度相比之下稍慢。

4、服務

Informatica與Datastage有很好的商業化的技術支持，而Kettle則沒有。商業軟體的售後服務上會比免費的開源軟體好很多。

5、風險

風險與成本成反比，也與技術能力成正比。

6、擴展

Kettle的擴展性無疑是最好，因為是開源代碼，可以自己開發拓展它的功能，而Informatica和Datastage由於是商業軟體，基本上沒有。

7、Job的監控

三者都有監控和日誌工具。

在數據的監控上，個人覺得Datastage的實時監控做的更加好，可以直觀看到數據抽取的情況，運行到哪一個控制項上。這對於調優來說，我們可以更快的定位到處理速度太慢的控制項並進行處理，而informatica也有相應的功能，但是並不直觀，需要通過兩個界面的對比才可以定位到處理速度緩慢的控制項。有時候還需要通過一些方法去查找。

8、網上的技術文檔

Datastage < Informatica < kettle,相對來說，Datastage跟Informatica在遇到問題去網上找到解決方法的概率比較低，kettle則比較多。

五、項目經驗分享
在項目中，很多時候我們都需要同步生產庫的表到數據倉庫中。一百多張表同步、重復的操作，對開發人員來說是細心和耐心的考驗。在這種情況下，開發人員最喜歡的工具無疑是kettle，多個表的同步都可以用同一個程序運行，不必每一張表的同步都建一個程序，而informatica雖然有提供工具去批量設計，但還是需要生成多個程序進行一一配置，而datastage在這方面就顯得比較笨拙。

在做增量表的時候，每次運行後都需要把將最新的一條數據操作時間存到資料庫中，下次運行我們就取大於這個時間的數據。Kettle有控制項可以直接讀取資料庫中的這個時間置為變數；對於沒有類似功能控制項的informatica，我們的做法是先讀取的資料庫中的這個時間存到文件，然後主程序運行的時候指定這個文件為參數文件，也可以得到同樣的效果

『陸』 哪種報表工具，可以很簡便的從SQL資料庫中提取數據，生成想要的報表

有以下幾種報表工具都可以實現：

1、 思邁特軟體Smartbi的大數據分析軟體：

「思邁特軟體Smartbi」是企業級商業智能和大數據分析品牌，經過多年持續自主研發，凝聚大量商業智能最佳實踐經驗，整合了各行業的數據分析和決策支持的功能需求。滿足最終用戶在企業級報表、數據可視化分析、自助探索分析、數據挖掘建模、AI智能分析等大數據分析需求。

2、MySQL Workbench：

MySQL Workbench是一款專為MySQL設計的ER/資料庫建模工具。它是著名的資料庫設計工具DBDesigner4的繼任者。你可以用MySQL Workbench設計和創建新的資料庫圖示，建立資料庫文檔，以及進行復雜的MySQL 遷移，MySQL Workbench是下一代的可視化資料庫設計、管理的工具，它同時有開源和商業化的兩個版本。

3、資料庫管理工具 Navicat Lite：

NavicatTM是一套快速、可靠並價格相宜的資料庫管理工具，大可使用來簡化資料庫的管理及降低系統管理成本。它的設計符合資料庫管理員、開發人員及中小企業的需求。 Navicat是以直覺化的使用者圖形介面所而建的，讓你可以以安全且簡單的方式建立、組織、存取並共用資訊。

報表工具靠不靠譜，來試試Smartbi,思邁特軟體Smartbi經過多年持續自主研發，凝聚大量商業智能最佳實踐經驗，整合了各行業的數據分析和決策支持的功能需求。滿足最終用戶在企業級報表、數據可視化分析、自助探索分析、數據挖掘建模、AI智能分析等大數據分析需求。

思邁特軟體Smartbi個人用戶全功能模塊長期免費試用
馬上免費體驗:Smartbi一站式大數據分析平台

『柒』 有哪些好用的數據採集工具

數據採集，又稱數據獲取，在計算機廣泛應用的今天，數據採集的重要性是十分顯著的。它是計算機與外部物理世界連接的橋梁。
數據採集一般需要遵循以下原則：
1. 數據採集任務不能影響業務系統的運行。一般來說，核心業務系統白天工作頻繁，難以承載數據抽取的要求，這種情形下數據抽取工作原則上要安排在非工作時段進行。數據採集任務調度必須可以設定數據採集任務的優先時段表。
2. 不同業務系統的數據產生周期不同，會影響到數據採集的周期。數據採集應根據業務系統及交換數據的周期要求，設定數據採集時間周期表。
3. 數據採集任務的執行時間原則上應與數據採集周期時間成正比，即數據採集周期時間間隔要求短(長)的採集任務，其採集任務的執行時間也要求短(長)。如對按日採集的數據，應能在3一5h內完成抽取、清洗、載入、處理等工作;對按月採集的數據，數據抽取、清洗、載入和處理等工作可以放寬到48h內完成。
4. 對於數據採集量特別大且數據轉換操作特別復雜的任務，利用ETL工具會消耗大量的資源和時間，建議通過編制專門數據採集介面程序完成數據採集任務，以提高數據採集工作的效率。
5. 以數據源為單位進行的全量採集的任務，可以以數據源為單位進行數據初始化操作，當數據源的數據採集操作出現問題時，可以僅對該數據源進行全量採集恢復，而對其他數據源的數據採集沒有任何影響。
現在的101 異構數據採集技術可以做到無需軟體廠商配合，直接採集異構數據，這樣的數據採集就不需要協調各個廠家，不需要花費高昂的介面費用，而施工周期也不會太長，是很多領域大型企業數據採集業務的第一選擇。

『捌』 數據倉庫系統有哪三個工具層

【數據倉庫系統的三個工具層】數據倉庫系統通常採用3層的體系結構，底層為數據倉庫伺服器，中間層為OLAP伺服器，頂層為前端工具。具體如下：
1、數據源和數據的存儲與管理部分可以統稱為數據倉庫伺服器。
（1）數據源：是數據倉庫系統的基礎，是整個系統的數據源泉。通常包括企業內部信息和外部信息。內部信息包括存放於RDBMS中的各種業務處理數據和各類文檔數據。外部信息包括各類法律法規、市場信息和競爭對手的信息，等等。
（2）數據的存儲與管理：是整個數據倉庫系統的核心。數據倉庫的真正關鍵是數據的存儲和管理。數據倉庫的組織管理方式決定了它有別於傳統資料庫，同時也決定了其對外部數據的表現形式。要決定採用什麼產品和技術來建立數據倉庫的核心，則需要從數據倉庫的技術特點著手分析。針對現有各業務系統的數據，進行抽取、清理，並有效集成，按照主題進行組織。數據倉庫按照數據的覆蓋范圍可以分為企業級數據倉庫和部門級數據倉庫（通常稱為數據集市）。
2、OLAP伺服器：對分析需要的數據進行有效集成，按多維模型予以組織，以便進行多角度、多層次的分析，並發現趨勢。其具體實現可以分為：ROLAP、MOLAP和HOLAP。ROLAP基本數據和聚合數據均存放在RDBMS之中；MOLAP基本數據和聚合數據均存放於多維資料庫中；HOLAP基本數據存放於RDBMS之中，聚合數據存放於多維資料庫中。
3、前端工具：主要包括各種報表工具、查詢工具、數據分析工具、數據挖掘工具，以及各種基於數據倉庫或數據集市的應用開發工具。其中數據分析工具主要針對OLAP伺服器，報表工具、數據挖掘工具主要針對數據倉庫。

『玖』 有沒有一款類似網路爬蟲的數據抓取工具，可以抓取windows應用程序的數據

ForeSpider數據採集系統是天津市前嗅網路科技有限公司自主知識產權的通用性互聯網數據採集軟體。軟體幾乎可以採集互聯網上所有公開的數據，通過可視化的操作流程，從建表、過濾、採集到入庫一步到位。支持正則表達式操作，更有強大的面向對象的腳本語言系統。
台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
軟體特點：
一．通用性：可以抓取互聯網上幾乎100 %的數據
1.支持用戶登錄。
2.支持Cookie技術。
3.支持驗證碼識別。
4.支持HTTPS安全協議。
5.支持OAuth認證。
6.支持POST請求。
7.支持搜索欄的關鍵詞搜索採集。
8.支持JS動態生成頁面採集。
9.支持IP代理採集。
10.支持圖片採集。
11.支持本地目錄採集。
12.內置面向對象的腳本語言系統，配置腳本可以採集幾乎100%的互聯網信息。

二．高質量數據：精準採集所需數據
1.獨立知識產權JS引擎，精準採集。
2.內部集成資料庫，數據直接採集入庫。
3.內部創建數據表結構，抓取數據後直接存入資料庫相應欄位。
4.根據dom結構自動過濾無關信息。
5.通過模板配置鏈接抽取和數據抽取，目標網站的所有可見內容均可採集，智能過濾無關信息。
6.採集前數據可預覽採集，隨時調整模板配置，提升數據精度和質量。
7.欄位的數據支持多種處理方式。
8.支持正則表達式，精準處理數據。
9.支持腳本配置，精確處理欄位的數據。

三．高性能：千萬級的採集速度
1.C++編寫的爬蟲，具備絕佳採集性能。
2.支持多線程採集。
3.台式機單機採集能力可達4000-8000萬，日採集能力超過500萬。
4.伺服器單機集群環境的採集能力可達8億-16億，日採集能力超過4000萬。
5.並行情況下可支撐百億以上規模數據鏈接，堪與網路等搜索引擎系統媲美。
6.軟體性能穩健，穩定性好。

四．簡易高效：節約70%的配置時間
1.完全可視化的配置界面，操作流程順暢簡易。
2.基本不需要計算機基礎，代碼薄弱人員也可快速上手，降低操作門檻，節省企業爬蟲工程師成本。
3.過濾採集入庫一步到位，集成表結構配置、鏈接過濾、欄位取值、採集預覽、數據入庫。
4.數據智能排重。
5.內置瀏覽器，欄位取值直接在瀏覽器上可視化定位。

五． 數據管理：多次排重
1. 內置資料庫，數據採集完畢直接存儲入庫。
2. 在軟體內部創建數據表和數據欄位，直接關聯資料庫。
3. 採集數據時配置數據模板，網頁數據直接存入對應數據表的相應欄位。
4. 正式採集之前預覽採集結果，有問題及時修正配置。
5. 數據表可導出為csv格式，在Excel工作表中瀏覽。
6. 數據可智能排除，二次清洗過濾。

六． 智能：智能模擬用戶和瀏覽器行為
1.智能模擬瀏覽器和用戶行為，突破反爬蟲限制。
2.自動抓取網頁的各類參數和下載過程的各類參數。
3.支持動態IP代理加速，智能過濾無效IP代理，提升代理的利用效率和採集質量。
4.支持動態調整數據抓取策略，多種策略讓您的數據無需重采，不再擔心漏采，數據採集更智能。
5.自動定時採集。
6.設置採集任務條數，自動停止採集。
7.設置文件大小閾值，自動過濾超大文件。
8.自由設置瀏覽器是否加速，自動過濾頁面的flash等無關內容。
9.智能定位欄位取值區域。
10.可以根據字元串特徵自動定位取值區域。
11.智能識別表格的多值，表格數據可以完美存入相應欄位。

七． 優質服務
1.數據採集完全在本地進行，保證數據安全性。
2.提供大量免費的各個網站配置模板在線下載，用戶可以自由導入導出。
3.免費升級後續不斷開發的更多功能。
4.免費更換2次綁定的計算機。
5.為用戶提供各類高端定製化服務，全方位來滿足用戶的數據需求。

『拾』 作為數據分析師的你都有哪些常用工具

大數據分析六大工具盤點：

一、Apache Hadoop

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

Hadoop帶有用 Java 語言編寫的框架，因此運行在 Linux 生產平台上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫，比如 C++。

二、HPCC

HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與 通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

該項目主要由五部分組成：

1、高性能計算機系統(HPCS)，內容包括今後幾代計算機系統的研究、系統設計工具、先進的典型系統及原有系統的評價等;

2、先進軟體技術與演算法(ASTA)，內容有巨大挑戰問題的軟體支撐、新演算法設計、軟體分支與工具、計算計算及高性能計算研究中心等;

3、國家科研與教育網格(NREN)，內容有中接站及10億位級傳輸的研究與開發;

4、基本研究與人類資源(BRHR)，內容有基礎研究、培訓、教育及課程教材，被設計通過獎勵調查者-開始的，長期 的調查在可升級的高性能計算中來增加創新意識流，通過提高教育和高性能的計算訓練和通信來加大熟練的和訓練有素的人員的聯營，和來提供必需的基礎架構來支 持這些調查和研究活動;

5、信息基礎結構技術和應用(IITA )，目的在於保證美國在先進信息技術開發方面的領先地位。

三、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。 Storm很簡單，支持許多種編程語言，使用起來非常有趣。Storm由Twitter開源而來，其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。

Storm有許多應用領域：實時分析、在線機器學習、不停頓的計算、分布式RPC(遠過程調用協議，一種通過網路從遠程計算機程序上請求服務)、 ETL(Extraction-Transformation-Loading的縮寫，即數據抽取、轉換和載入)等等。Storm的處理速度驚人：經測 試，每個節點每秒鍾可以處理100萬個數據元組。Storm是可擴展、容錯，很容易設置和操作。

四、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill 實現了 Google's Dremel.

該項目將會創建出開源版本的谷歌Dremel Hadoop工具(谷歌使用該工具來為Hadoop數據分析工具的互聯網應用提速)。而「Drill」將有助於Hadoop用戶實現更快查詢海量數據集的目的。

「Drill」項目其實也是從谷歌的Dremel項目中獲得靈感：該項目幫助谷歌實現海量數據集的分析處理，包括分析抓取Web文檔、跟蹤安裝在Android Market上的應用程序數據、分析垃圾郵件、分析谷歌分布式構建系統上的測試結果等等。

通過開發「Drill」Apache開源項目，組織機構將有望建立Drill所屬的API介面和靈活強大的體系架構，從而幫助支持廣泛的數據源、數據格式和查詢語言。

五、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

功能和特點

免費提供數據挖掘技術和庫

100%用Java代碼(可運行在操作系統)

數據挖掘過程簡單，強大和直觀

內部XML保證了標准化的格式來表示交換數據挖掘過程

可以用簡單腳本語言自動進行大規模進程

多層次的數據視圖，確保有效和透明的數據

圖形用戶界面的互動原型

命令行(批處理模式)自動大規模應用

Java API(應用編程介面)

簡單的插件和推廣機制

強大的可視化引擎，許多尖端的高維數據的可視化建模

400多個數據挖掘運營商支持

耶魯大學已成功地應用在許多不同的應用領域，包括文本挖掘，多媒體挖掘，功能設計，數據流挖掘，集成開發的方法和分布式數據挖掘。

六、Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

Pentaho SDK共包含五個部分：Pentaho平台、Pentaho示例資料庫、可獨立運行的Pentaho平台、Pentaho解決方案示例和一個預先配製好的 Pentaho網路伺服器。其中Pentaho平台是Pentaho平台最主要的部分，囊括了Pentaho平台源代碼的主體;Pentaho資料庫為 Pentaho平台的正常運行提供的數據服務，包括配置信息、Solution相關的信息等等，對於Pentaho平台來說它不是必須的，通過配置是可以用其它資料庫服務取代的;可獨立運行的Pentaho平台是Pentaho平台的獨立運行模式的示例，它演示了如何使Pentaho平台在沒有應用伺服器支持的情況下獨立運行;Pentaho解決方案示例是一個Eclipse工程，用來演示如何為Pentaho平台開發相關的商業智能解決方案。

Pentaho BI 平台構建於伺服器，引擎和組件的基礎之上。這些提供了系統的J2EE 伺服器，安全，portal，工作流，規則引擎，圖表，協作，內容管理，數據集成，分析和建模功能。這些組件的大部分是基於標準的，可使用其他產品替換之。

本文轉載自加米穀大大數據-技術分享專欄，轉載請註明出處。