大數據分析工具有哪些
“大數據”概念最早由維克托·邁爾·舍恩伯格和肯尼斯·庫克耶在編寫《大數據時代》中提出,指不用隨機分析法(抽樣調查)的捷徑,而是採用所有數據進行分析處理。那麼,大數據的分析工具有哪些呢?下面和小編一起看看吧!
大數據分析Storm:Apache Storm是一種開源的分佈式實時計算系統。Storm加速了流數據處理的過程,爲Hadoop批處理提供實時數據處理。
Spark:Spark是一個兼容Hadoop數據源的內存數據處理平臺,運行速度相比於HadoopMapReduce更快。Spark適合機器學習以及交互式數據查詢工作,包含Scala、Python和JavaAPI,這更有利於開發人員使用。
Twitter流處理工具Summingbird:與Storm和Scalding相似,開發者可以使用非常接近原生的Scala或者Java在Summingbird上執行MapReduce作業。
AWSKinesis:AmazonKinesis是一種實時數據流處理管理服務。它可以收集和處理來自不同數據源的數據,允許開發者編寫可處理實時信息的應用程序,來源網站click-streams、營銷和財務信息、製造工具和社交媒體,和操作日誌和計量數據。
DataTorrent:DataTorrent是實時流媒體平臺,可使企業執行數據處理或轉換結構化與非結構化數據、實時數據流到數據中心。該產品主要利用Hadoop2.0和YARN技術。
SpringXD:通過任意數量的處理器,SpringXD架構支持事件驅動的數據流攝入。流是由Spring集成適配器支持。
SQLStream:SQLStream爲流媒體分析、可視化和機器數據持續集成提供了一個分佈式流處理平臺。大數據(Hadoop)即服務ElasticMapReduce:AmazonElasticMapReduce(亞馬遜EMR)是一個web服務,提供大量數據處理。通過一個大小可調整的AmazonEC2實例集羣,EMR使用Hadoop來分配並處理數據。
Qubole:Qubote的大數據服務提供Hadoop集羣內置數據連接器和大數據項目圖形編輯器。
Mortar:Mortar是一個通用的大規模科學數據平臺。它建立在AmazonWeb服務雲,使用彈性MapReduce(EMR)啓動Hadoop集羣並處理大型數據集。Mortar可運行ApachePig,這是一個構建在Hadoop上的數據流語言。此外,Mortar還可運行Hadoop]、Pig、Java、Python和Luigi等,讓用戶專注於研究科學數據,無需擔心IT基礎設施。
Rackspace:RackspaceHadoop集羣可運行HadoopRackspace託管專用服務器,自旋向上Hadoop公共雲,或配置自己的私有云。
Joyent:JoyentHadoop是一個基於ApacheHadoop項目大數據託管環境雲的解決方案。提供數據存儲服務獲取、分析和訪問任何數據格式、數據管理服務以處理、監控和運行Hadoop及數據平臺服務安全、存檔和規模一致的可用性。
Google:Hadoop在谷歌的雲平臺上使用開源的ApacheHadoop谷歌計算引擎的虛擬機。SQL-in-Hadoop解決方案ApacheHive:ApacheHive優化了大型數據集分佈式存儲的查詢和管理過程。Mapreduce開發者也可以插入自定義映射器和還原劑。
Impala:Cloudera的Impala是一個開源的大規模並行處理(MPP)SQL查詢引擎,運行在ApacheHadoop。用戶可直接查詢存儲在HDFS和ApacheHBase的數據,無需進行數據遷移或轉換。
Shark:Shark是一種與ApacheHive兼容的Spark數據倉庫系統。Shark支持Hive查詢語言、metastore、序列化格式和用戶自定義函數。
SparkSQL:SparkSQL的前身是shark。在hadoop發展過程中,爲了給熟悉RDBMS但又不理解MapReduce的技術人員提供快速上手的工具,hive應運而生,是當時唯一運行在hadoop上的SQL-on-Hadoop工具。但是,MapReduce計算過程中大量的中間磁盤落地過程消耗了大量的I/O,降低的運行效率,爲了提高SQL-on-Hadoop的效率,大量的SQL-on-Hadoop工具開始產生。
ApacheDrill:ApacheDrill目前是Apache的一個孵化項目。提供了不同數據源特別的查詢,包括嵌套數據。受GoogleDremel的啓發,Drill是專爲大型數據集提供可擴展性和查詢的能力。該項目是由MapR寫成。
ApacheTajo:ApacheTajo是ApacheHadoop大數據相關的分佈式數據倉庫系統。Tajo專爲低延遲、可擴展的'即時查詢、在線聚合及ETL(提取-轉換-裝載過程)在大型數據集存儲在HDFS(Hadoop分佈式文件系統)和其他數據源。
Presto:Presto框架轉眼間從Facebook框架是一個Presto是Facebook開發的開源分佈式SQL查詢引擎,支持對任意級大小的數據源進行快速地交互分析。
Phoenix:Phoenix是一款開源的ApacheHBaseSQL查詢引擎,由JDBC驅動程序,可使用SQL查詢和管理HBase表。此項目已提交成爲Apache孵化器項目。
Pivotal’sHAWQ:作爲Pivotal大數據集的一部分,HAWQ是一個MPPSQL處理引擎。HAWQ實際上就是一個大規模並行處理工程或MPP,數據庫運行在Hadoop中,位於HDFS的頂部。作爲一個單一的系統,它將一整套聚合基礎設施嵌入系統,那套聚合基礎設施可以運行和提供Hadoop和HDFS必須提供的所有功能以及你能從MPP數據庫中獲得的規模、性能和可查詢功能。大數據Lambda架構Lambda系統架構(LA)提供了一個結合實時數據和Hadoop預先計算的數據環境的混合平臺,以提供一個實時的數據視圖。Lambda架構框架主要包括:
Twitter’sSummingbird:Twitter的開源Summingbird大數據分析工具,通過整合批處理與流處理來減少它們之間的轉換開銷。區別於以往的更快、更準確節奏,Summingbird更注重於流處理與批處理的無縫整合,以及編程語言的原生化。
Summingbird是一個大規模數據處理系統,支持開發者以批處理模式(基於Hadoop/MapReduce)或流處理模式(基於Storm)或混合模式(即組合前兩種模式)以統一的方式執行代碼。
Lambdoop:Lambdoop是一個Java框架,用於以與Lambda架構一致的方式開發大數據應用。Lambda架構的特色是有一個不可修改、只能追加數據的主數據庫,並組合了批處理、服務和加速等不同的層。
-
電腦住宅課後反思(熱)
在日新月異的現代社會中,我們要有一流的課堂教學能力,反思是思考過去的事情,從中總結經驗教訓。那麼你有了解過反思嗎?下面是小編整理的電腦住宅課後反思,歡迎大家分享。電腦住宅課後反思1這是第八單元的一篇略讀課文,介紹了一棟實驗性綜合電腦住宅的有關情況。它位...
-
電腦住宅課後反思集合
在辦理事務和工作生活中,我們的任務之一就是教學,反思意爲自我反省。那麼問題來了,反思應該怎麼寫?以下是小編精心整理的電腦住宅課後反思集合,歡迎大家分享。電腦住宅課後反思集合1今天帶領學生一起學習了《電腦住宅》這一課,這是一篇科普文章,通過學習,學生能夠領悟...
-
(優選)電腦轉讓合同11篇
在人們愈發重視契約的社會中,合同對我們的幫助越來越大,合同協調着人與人,人與事之間的關係。合同有不同的類型,當然也有不同的目的,下面是小編整理的電腦轉讓合同,希望對大家有所幫助。電腦轉讓合同1買方:羅小草(下稱甲方)身份證號電話:乙方現自願將華碩牌筆記本電腦...
-
電腦買賣合同(熱門)
隨着時間的推移,很多場合都離不了合同,在達成意見一致時,制定合同可以享有一定的自由。你所見過的合同是什麼樣的呢?下面是小編收集整理的電腦買賣合同,歡迎閱讀,希望大家能夠喜歡。電腦買賣合同1需方:____________(以下簡稱甲方)供方:___________(以下簡稱乙方)地址:__...