大數據微服務需要哪些數據支持

❶ 支持大型資料庫的伺服器需要什麼配置

選擇資料庫伺服器的原則：

1、高性能原則：保證所選購的伺服器，不僅能夠滿足運營系統的運行和業務處理的需要，而且能夠滿足一定時期業務量的增長。一般可以根據經驗公式計算出所需的伺服器TpmC值(Tpmc是衡量計算機系統的事務處理能力的程序)。

後比較各伺服器廠商和TPC組織公布的TpmC值，選擇相應的機型。同時，用伺服器的市場價/報價除去計算出來的TpmC值得出單位TpmC值的價格，進而選擇高性能價格比的伺服器。

2、可靠性原則：可靠性原則是所有選擇設備和系統中首要考慮的，尤其是在大型的、有大量處理要求的、需要長期運行的系統上。考慮伺服器系統的可靠性，不僅要考慮伺服器單個節點的可靠性或穩定性，而且要考慮伺服器與相關輔助系統之間連接的整體可靠性。

(1)大數據微服務需要哪些數據支持擴展閱讀：

優點：

1、編程量減少

資料庫伺服器提供了用於數據操縱的標准介面API（Application Programming Interface，應用程序編程接 口）。

2、資料庫安全高

資料庫伺服器提供監控性能、並發控制等工具。由DBA（Database Administrator，資料庫管理員）統一負 責授權訪問資料庫及網路管理。

3、數據可靠性管理

資料庫伺服器提供統一的資料庫備份/恢復、啟動/停止資料庫的管理工具。

4、計算機資源利用充分

資料庫伺服器把數據管理及處理工作從客戶機上分離出來，使網路中各計算機資源能靈活分配、各盡其用。

❷ 大數據工程師分析企業數據 所需大數據來源有哪些

【導語】如今大數據異常的火爆，每行每業都在討論大數據，在這樣的大趨勢下，各大企業也都在思考大數據的問題，也都希望能在公司產品有研發、生產、銷售及售後各個領域應用大數據，那麼大數據工程師分析企業數據，所需大數據來源有哪些呢?接下來就一起來看看吧。

1、其實數據的來源可以是多個方面多個維度的。如企業自身的經營管理活動產生的數據、政府或機構公開的行業數據、數據管理咨詢公司或數據交易平台購買數據、或者通過爬蟲工具等在網路上抓取數據等等。

2、企業的每個崗位、每個人員都在進行著與企業相關的經營和管理活動，都在掌握著企業相關資源，擁有這些資源的信息和記錄，這些資源與資源轉換活動就是企業大數據的發源地。只要每個崗位的員工都能參與到數據採集和數據記錄的過程中，或者配合著相關的設備完成對數據的採集工作，企業積累自己的大數據就是一件非常容易的事情。

3、政府或機構公開的行業數據其實更好獲取，如國家統計局、中國統計學會、中國投入產出學會等。在這些網站中可以很方便地查詢到一些數據，如農業基本情況、工業生產者出廠價格指數、能源生產總量和構成、對外貿易和利用外資等等數據。並且可以分為月報、季報、年報，如果堅持獲取分析，對行業的發展趨勢等都是有很大的指導作用。

4、如果需要的數據市場上沒有，或者不願意購買，可以選擇招/做一名爬蟲工程師，自己動手去爬取數據。可以說只要在互聯網上看到的數據都可以把它爬下來。在網路爬蟲的系統框架中主過程由控制器，解析器，資源庫三部分組成，控制器的主要工作是負責給多線程中的各個爬蟲線程分配工作任務，爬蟲的基本工作是由解析器完成，資源庫是用來存放下載到的網頁資源。

企業大數據來源合理，大數據工程師才能更准確的進行大數據分析，所以大數據工程師也要不斷進行自我能力提升，才能更好的進行數據分析。

❸ 大數據需要什麼樣的數據

大數據的話，一般需要的數據就比較多了，然後他是因為根據你各方面的數據對你進行一個評估，然後根據這些數據的話，給你做出一些什麼推算呢？或者說給你們一些推廣啊，都是比較實在的

❹ 請問大數據的關鍵技術有哪些

1.分布式存儲系統(HDFS)。2.MapRece分布式計算框架。3.YARN資源管理平台。4.Sqoop數據遷移工具。5.Mahout數據挖掘演算法版庫。權6.HBase分布式資料庫。7.Zookeeper分布式協調服務。8.Hive基於Hadoop的數據倉庫。9.Flume日誌收集工具。

❺ 大數據都是需要什麼技術的

大數據技來術龐大復雜自，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL資料庫、數據倉庫、機器學習、並行計算、可視化等范疇

查詢引擎：Phoenix、Shark、Pig、Hive等

流式計算：storm、Twitter Rainbird等

迭代計算：Apache Hama、Apache Giraph、HaLoop等

離線計算：Hadoop MapRece、Berkeley Spark等

鍵值存儲：LevelDB、RocksDB、HyperDex、Voldemort等

表格存儲：OceanBase、Amazon SimpleDB、Cassandra、HBase等

文件存儲：CouchDB、MongoDB、HDFS等

資源管理：Twitter Mesos、Hadoop Yarn

❻ 大數據時代需要哪些資料庫技術

"大數據"是一個體量特別大，數據類別特別大的數據集，並專且這樣的數據集無法用傳統資料庫屬工具對其內容進行抓取、管理和處理。 "大數據"首先是指數據體量(volumes)?大，指代大型數據集，一般在10TB?規模左右，但在實際應用中，很多企業用戶把多個數據集放在一起，已經形成了PB級的數據量；其次是指數據類別(variety)大，數據來自多種數據源，數據種類和格式日漸豐富，已沖破了以前所限定的結構化數據范疇，囊括了半結構化和非結構化數據。接著是數據處理速度（Velocity）快，在數據量非常龐大的情況下，也能夠做到數據的實時處理。最後一個特點是指數據真實性（Veracity）高，隨著社交數據、企業內容、交易與應用數據等新數據源的興趣，傳統數據源的局限被打破，企業愈發需要有效的信息之力以確保其真實性及安全性。

❼ 大數據平台需要具備哪些能力

集群監控與管理

毫無疑問集群是需要能夠進行統籌的管理及監控的能力專，否則運維團隊在做屬運維時將無從下手。

資源接入

數據是一個企業的核心資源，我們對業務模型的建立，分析，挖掘都需要建立在原始數據之上，而這些數據來源多(日誌，關系資料庫，爬蟲等)，類型雜(結構化，半結構化，非結構化數據)，體量大，所以大數據平台需要能夠對接各種來源及各種類型的海量數據。

數據存儲及查詢

數據接入之後，就需要根據不同的應用場景進行存儲，例如關系型數據模型，非關系型數據模型，文檔數據模型，大數據平台需要能夠提供不同的存儲模型及不同的查詢手段。

數據計算

根據不同的應用場景會有不同的計算要求，簡單的可以分為離線計算和實時計算，機器學習，多維分析。在數據對時效性要求不高且數據量大的情況下可以選擇離線計算。

關於大數據平台需要具備哪些能力，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

❽ 大數據都需要什麼技術

、數據採集：ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後

❾ 微服務容器平檯面對大數據存儲是怎麼做的

整體而言，大數據平台從平台部署和數據分析過程可分為如下幾步：
1、linux系統安裝
一般使用開源版的Redhat系統--CentOS作為底層平台。為了提供穩定的硬體基礎，在給硬碟做RAID和掛載數據存儲節點的時，需要按情況配置。例如，可以選擇給HDFS的namenode做RAID2以提高其穩定性，將數據存儲與操作系統分別放置在不同硬碟上，以確保操作系統的正常運行。

2、分布式計算平台/組件安裝
目前國內外的分布式系統的大多使用的是Hadoop系列開源系統。Hadoop的核心是HDFS，一個分布式的文件系統。在其基礎上常用的組件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。
先說下使用開源組件的優點：1）使用者眾多，很多bug可以在網上找的答案（這往往是開發中最耗時的地方）。2）開源組件一般免費，學習和維護相對方便。3）開源組件一般會持續更新，提供必要的更新服務『當然還需要手動做更新操作』。4）因為代碼開源，若出bug可自由對源碼作修改維護。
再簡略講講各組件的功能。分布式集群的資源管理器一般用Yarn，『全名是Yet Another Resource Negotiator』。常用的分布式數據數據『倉』庫有Hive、Hbase。Hive可以用SQL查詢『但效率略低』，Hbase可以快速『近實時』讀取行。外部資料庫導入導出需要用到Sqoop。Sqoop將數據從Oracle、MySQL等傳統資料庫導入Hive或Hbase。Zookeeper是提供數據同步服務，Yarn和Hbase需要它的支持。Impala是對hive的一個補充，可以實現高效的SQL查詢。ElasticSearch是一個分布式的搜索引擎。針對分析，目前最火的是Spark『此處忽略其他，如基礎的MapRece 和 Flink』。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等庫，可以滿足幾乎所有常見數據分析需求。
值得一提的是，上面提到的組件，如何將其有機結合起來，完成某個任務，不是一個簡單的工作，可能會非常耗時。

3、數據導入
前面提到，數據導入的工具是Sqoop。用它可以將數據從文件或者傳統資料庫導入到分布式平台『一般主要導入到Hive，也可將數據導入到Hbase』。

4、數據分析
數據分析一般包括兩個階段：數據預處理和數據建模分析。
數據預處理是為後面的建模分析做准備，主要工作時從海量數據中提取可用特徵，建立大寬表。這個過程可能會用到Hive SQL，Spark QL和Impala。
數據建模分析是針對預處理提取的特徵/數據建模，得到想要的結果。如前面所提到的，這一塊最好用的是Spark。常用的機器學習演算法，如樸素貝葉斯、邏輯回歸、決策樹、神經網路、TFIDF、協同過濾等，都已經在ML lib裡面，調用比較方便。

5、結果可視化及輸出API
可視化一般式對結果或部分原始數據做展示。一般有兩種情況，行熟悉展示，和列查找展示。在這里，要基於大數據平台做展示，會需要用到ElasticSearch和Hbase。Hbase提供快速『ms級別』的行查找。 ElasticSearch可以實現列索引，提供快速列查找。

平台搭建主要問題：
1、穩定性 Stability
理論上來說，穩定性是分布式系統最大的優勢，因為它可以通過多台機器做數據及程序運行備份以確保系統穩定。但也由於大數據平台部署於多台機器上，配置不合適，也可能成為最大的問題。 曾經遇到的一個問題是Hbase經常掛掉，主要原因是采購的硬碟質量較差。硬碟損壞有時會到導致Hbase同步出現問題，因而導致Hbase服務停止。由於硬碟質量較差，隔三差五會出現服務停止現象，耗費大量時間。結論：大數據平台相對於超算確實廉價，但是配置還是必須高於家用電腦的。

2、可擴展性 Scalability
如何快速擴展已有大數據平台，在其基礎上擴充新的機器是雲計算等領域應用的關鍵問題。在實際2B的應用中，有時需要增減機器來滿足新的需求。如何在保留原有功能的情況下，快速擴充平台是實際應用中的常見問題。

上述是自己項目實踐的總結。整個平台搭建過程耗時耗力，非一兩個人可以完成。一個小團隊要真正做到這些也需要耗費很長時間。

目前國內和國際上已有多家公司提供大數據平台搭建服務，國外有名的公司有Cloudera，Hortonworks，MapR等，國內也有華為、明略數據、星環等。另外有些公司如明略數據等還提供一體化的解決方案，尋求這些公司合作對 於入門級的大數據企業或沒有大數據分析能力的企業來說是最好的解決途徑。

對於一些本身體量較小或者目前數據量積累較少的公司，個人認為沒有必要搭建這一套系統，暫時先租用AWS和阿里雲就夠了。對於數據量大，但數據分析需求較簡單的公司，可以直接買Tableau，Splunk，HP Vertica，或者IBM DB2等軟體或服務即可。
-

❿ 大數據存儲需要具備什麼

大數據之大 大是相對而言的概念。例如，對於像那樣的內存資料庫來說，2TB可能就已經是大容量了；而對於像谷歌這樣的搜索引擎，EB的數據量才能稱得上是大數據。 大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB內外部附加存儲的能力。當時，大多數人認為，USP的存儲容量大得有些離譜。但是現在，大多數企業都已經擁有PB級的數據量，一些搜索引擎公司的數據存儲量甚至達到了EB級。由於許多家庭都保存了TB級的數據量，一些雲計算公司正在推廣其文件共享或家庭數據備份服務。有容乃大 由此看來，大數據存儲的首要需求存儲容量可擴展。大數據對存儲容量的需求已經超出目前用戶現有的存儲能力。我們現在正處於PB級時代，而EB級時代即將到來。過去，許多企業通常以五年作為IT系統規劃的一個周期。在這五年中，企業的存儲容量可能會增加一倍。現在，企業則需要制定存儲數據量級（比如從PB級到EB級）的增長計劃，只有這樣才能確保業務不受干擾地持續增長。這就要求實現存儲虛擬化。存儲虛擬化是目前為止提高存儲效率最重要、最有效的技術手段。它為現有存儲系統提供了自動分層和精簡配置等提高存儲效率的工具。擁有了虛擬化存儲，用戶可以將來自內部和外部存儲系統中的結構化和非結構化數據全部整合到一個單一的存儲平台上。當所有存儲資產變成一個單一的存儲資源池時，自動分層和精簡配置功能就可以擴展到整個存儲基礎設施層面。在這種情況下，用戶可以輕松實現容量回收和容量利用率的最大化，並延長現有存儲系統的壽命，顯著提高IT系統的靈活性和效率，以滿足非結構化數據增長的需求。中型企業可以在不影響性能的情況下將HUS的容量擴展到近3PB，並可通過動態虛擬控制器實現系統的快速預配置。此外，通過HDSVSP的虛擬化功能，大型企業可以創建0.25EB容量的存儲池。隨著非結構化數據的快速增長，未來，文件與內容數據又該如何進行擴展呢？不斷生長的大數據 與結構化數據不同，很多非結構化數據需要通過互聯網協議來訪問，並且存儲在文件或內容平台之中。大多數文件與內容平台的存儲容量過去只能達到TB級，現在則需要擴展到PB級，而未來將擴展到EB級。這些非結構化的數據必須以文件或對象的形式來訪問。基於Unix和Linux的傳統文件系統通常將文件、目錄或與其他文件系統對象有關的信息存儲在一個索引節點中。索引節點不是數據本身，而是描述數據所有權、訪問模式、文件大小、時間戳、文件指針和文件類型等信息的元數據。傳統文件系統中的索引節點數量有限，導致文件系統可以容納的文件、目錄或對象的數量受到限制。HNAS和HCP使用基於對象的文件系統，使得其容量能夠擴展到PB級，可以容納數十億個文件或對象。位於VSP或HUS之上的HNAS和HCP網關不僅可以充分利用模塊存儲的可擴展性，而且可以享受到通用管理平台HitachiCommandSuite帶來的好處。HNAS和HCP為大數據的存儲提供了一個優良的架構。大數據存儲平台必須能夠不受干擾地持續擴展，並具有跨越不同時代技術的能力。數據遷移必須在最小范圍內進行，而且要在後台完成。大數據只要復制一次，就能具有很好的可恢復性。大數據存儲平台可以通過版本控制來跟蹤數據的變更，而不會因為大數據發生一次變更，就重新備份一次所有的數據。HDS的所有產品均可以實現後台的數據移動和分層，並可以增加VSP、HUS數據池、HNAS文件系統、HCP的容量，還能自動調整數據的布局。傳統文件系統與塊數據存儲設備不支持動態擴展。大數據存儲平台還必須具有彈性，不允許出現任何可能需要重建大數據的單點故障。HDS可以實現VSP和HUS的冗餘配置，並能為HNAS和HCP節點提供相同的彈性。