數(shù)據(jù)開發(fā)工具

　　在當今的數(shù)字革命浪潮中，大數(shù)據(jù)成為公司企業(yè)分析客戶行為和提供個性化定制服務的有力工具。下面由學習啦小編為大家整理的數(shù)據(jù)工具，希望大家喜歡!

　　數(shù)據(jù)工具

　　1、 Talend Open Studio

　　是第一家針對的數(shù)據(jù)集成工具市場的ETL(數(shù)據(jù)的提取Extract、傳輸Transform、載入Load)開源軟件供應商。Talend的下載量已超過200萬人次，其開源軟件提供了數(shù)據(jù)整合功能。其用戶包括美國國際集團(AIG)、康卡斯特、電子港灣、通用電氣、三星、Ticketmaster和韋里遜等企業(yè)組織。

　　2、DYSON

　　探碼科技自主研發(fā)的DYSON智能分析系統(tǒng)，可以完整的實現(xiàn)大數(shù)據(jù)的采集、分析、處理。DYSON智能分析系統(tǒng)專業(yè)針對互聯(lián)網(wǎng)數(shù)據(jù)抓取、處理、分析，挖掘?？梢造`活迅速地抓取網(wǎng)頁上散亂分布的信息，并通過強大的處理功能，準確挖掘出所需數(shù)據(jù)，是目前使用人數(shù)最多的網(wǎng)頁采集工具.

　　3、Chukwa

　　監(jiān)測大型分布式系統(tǒng)的一個開源數(shù)據(jù)采集系統(tǒng)，建立在HDFS/MapReduce框架之上并繼承了Hadoop的可伸縮性和可靠性，可以收集來自大型分布式系統(tǒng)的數(shù)據(jù)，用于監(jiān)控。它還包括靈活而強大的顯示工具用于監(jiān)控、分析結果。

　　數(shù)據(jù)管理工具

　　1、YARN

　　一種新的Hadoop資源管理器，它是一個通用資源管理系統(tǒng)，可為上層應用提供統(tǒng)一的資源管理和調度，解決了舊MapReduce框架的性能瓶頸。它的基本思想是把資源管理和作業(yè)調度/監(jiān)控的功能分割到單獨的守護進程。

　　2、Mesos

　　由加州大學伯克利分校的AMPLab首先開發(fā)的一款開源群集管理軟件，支持Hadoop、ElasticSearch、Spark、Storm 和Kafka等架構。對數(shù)據(jù)中心而言它就像一個單一的資源池，從物理或虛擬機器中抽離了CPU，內存，存儲以及其它計算資源， 很容易建立和有效運行具備容錯性和彈性的分布式系統(tǒng)。

　　3、 Logstash

　　一個應用程序日志、事件的傳輸、處理、管理和搜索的平臺。可以用它來統(tǒng)一對應用程序日志進行收集管理，提供了Web接口用于查詢和統(tǒng)計。

　　數(shù)據(jù)集成工具

　　1、Flume

　　Cloudera提供的一個高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)。Flume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)。同時，F(xiàn)lume支持對數(shù)據(jù)進行簡單處理，并寫入各種數(shù)據(jù)接受方(可定制)。

　　2、RabbitMQ

　　一個受歡迎的消息代理系統(tǒng)，通常用于應用程序之間或者程序的不同組件之間通過消息來進行集成。RabbitMQ提供可靠的應用消息發(fā)送、易于使用、支持所有主流操作系統(tǒng)、支持大量開發(fā)者平臺。

　　3、ActiveMQ

　　Apache出品，號稱“最流行的，最強大”的開源消息集成模式服務器。ActiveMQ特點是速度快，支持多種跨語言的客戶端和協(xié)議，其企業(yè)集成模式和許多先進的功能易于使用，是一個完全支持JMS1.1和J2EE 1.4規(guī)范的JMS Provider實現(xiàn)。