數據倉庫需要哪些知識

㈠ 做數據倉庫要學哪些

熟悉主流資料庫，如oracle、DB2、SQL server 等，還要熟悉數據倉庫建模。

㈡ 什麼是數據倉庫

1、面向主題。操作型資料庫的數據組織面向事務處理任務，各個業務系統之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織。主題是一個抽象的概念，是指用戶使用數據倉庫進行決策時所關心的重點方面，一個主題通常與多個操作型信息系統相關。

2、集成的。面向事務處理的操作型資料庫通常與某些特定的應用相關，資料庫之間相互獨立，並且往往是異構的。而數據倉庫中的數據是在對原有分散的資料庫數據抽取、清理的基礎上經過系統加工、匯總和整理得到的，必須消除源數據中的不一致性，以保證數據倉庫內的信息是關於整個企業的一致的全局信息。

3、相對穩定的。操作型資料庫中的數據通常實時更新，數據根據需要及時發生變化。數據倉庫的數據主要供企業決策分析之用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫以後，一般情況下將被長期保留，也就是數據倉庫中一般有大量的查詢操作，但修改和刪除操作很少，通常只需要定期的載入、刷新。

4、反映歷史變化。操作型資料庫主要關心當前某一個時間段內的數據，而數據倉庫中的數據通常包含歷史信息，系統記錄了企業從過去某一時點(如開始應用數據倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業的發展歷程和未來趨勢做出定量分析和預測。

企業數據倉庫的建設，是以現有企業業務系統和大量業務數據的積累為基礎。數據倉庫不是靜態的概念，只有把信息及時交給需要這些信息的使用者，供他們做出改善其業務經營的決策，信息才能發揮作用，信息才有意義。而把信息加以整理歸納和重組，並及時提供給相應的管理決策人員，是數據倉庫的根本任務。因此，從產業界的角度看，數據倉庫建設是一個工程，是一個過程。

㈢ 請問作為數據倉庫人員需要掌握些什麼知識，用到些什麼軟體

sql基礎、數據挖掘理論、數據倉庫理論、報表工具、數據挖掘分析軟體、ETL軟體等等

歡迎來我的數據挖掘群一起討論。
群A:5152925（滿了好像）
群B：17375163 （還有點位子，呵呵）

㈣ 數據分析需要掌握哪些知識

1. Excel

提到Excel大家都不陌生，很多小白非常喜歡用Excel來進行數據分析。即使是專業的分析人員，他們也會使用Excel處理聚合數據。

2. SQL語言

SQL(結構化查詢語言)是一種用於處理和檢索關系資料庫中存儲的數據的計算機語言，是關系資料庫管理系統的標准語言。

3. 可視化工具

將數據可視化可以讓人更加理解數據。人類都是視覺動物，圖形往往比密密麻麻的文字更易於理解。

4. Python

Tableau、FineBI這一類的可視化工具，的確可以自動生成報告。但是，如果想要進行更深入的探索，你需要學習Python來進行數據挖掘。

Python是一種面向對象的高級編程語言，主要用於Web以及應用程序的開發。Python擁有圖形和可視化工具、以及擴展的分析工具包，能夠更好地幫助我們進行數據分析。

5. SAS

SAS(統計分析軟體)是一套模塊化的大型集成應用軟體系統。它由數十個專用模塊構成，功能包括數據訪問、數據儲存及管理、應用開發、圖形處理、數據分析、報告編制、運籌學方法、計量經濟學與預測等等。因此，SAS能夠對數據進行深層次的挖掘和分析。

6. Alteryx

Alteryx是一種自助服務分析工具。用戶可以快速混合和准備數據，即便沒有任何編程能力的人，也可以在Alteryx中構建數據工作流。同時，Alteryx的運行速度也非常快。使用拖放式工作流程和數據清理技術，僅需幾分鍾，你就能得到輸出結果。

㈤ 何謂數據倉庫為什麼要建立數據倉庫何謂數據挖掘它有哪些方面的功能

何謂數據倉庫？為什麼要建立數據倉庫？
答：數據倉庫是一種新的數據處理體系結構，是面向主題的、集成的、不可更新的(穩定性)、隨時間不斷變化(不同時間)的數據集合，為企業決策支持系統提供所需的集成信息。
建立數據倉庫的目的有3個：
一是為了解決企業決策分析中的系統響應問題，數據倉庫能提供比傳統事務資料庫更快的大規模決策分析的響應速度。
二是解決決策分析對數據的特殊需求問題。決策分析需要全面的、正確的集成數據，這是傳統事務資料庫不能直接提供的。
三是解決決策分析對數據的特殊操作要求。決策分析是面向專業用戶而非一般業務員，需要使用專業的分析工具，對分析結果還要以商業智能的方式進行表現，這是事務資料庫不能提供的。

何謂數據挖掘？它有哪些方面的功能？
答：從大量的、不完全的、有雜訊的、模糊的、隨機的數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程稱為數據挖掘。相關的名稱有知識發現、數據分析、數據融合、決策支持等。
數據挖掘的功能包括：概念描述、關聯分析、分類與預測、聚類分析、趨勢分析、孤立點分析以及偏差分析等。

㈥ 初學者如何學習數據倉庫與數據挖掘技術

初學者短期學會數據倉庫與數據挖掘技術比較不現實，不過學術性的隨便做個主題應該還不是很難。要想深入學習，建議報培訓機構。

1.數據倉庫，是為企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。它是單個數據存儲，出於分析性報告和決策支持目的而創建。 為需要業務智能的企業，提供指導業務流程改進、監視時間、成本、質量以及控制。數據挖掘一般是指從大量的數據中自動搜索隱藏於其中的有著特殊關系性（屬於Association rule learning）的信息的過程。數據挖掘通常與計算機科學有關，所以學好數據倉庫與數據挖掘技術還是有必要的。
2.數據挖掘（英語：Data mining），又譯為資料探勘、數據采礦。它是資料庫知識發現。數據挖掘一般是指從大量的數據中自動搜索隱藏於其中的有著特殊關系性的信息的過程。數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。

如果說想要了解數據倉庫和數據挖掘技術，這里推薦CDA數據分析師的相關課程。CDA數據分析師覆蓋了國內企業招聘數據分析師所要求的所有技能，包括概率統計知識、軟體應用、數據挖掘、資料庫、數據報告、業務應用等。CDA數據分析師分為LEVELⅠ、Ⅱ、Ⅲ三個等級，成為一名合格的CDA數據分析師能夠勝任企業不同層次的數據分析工作。點擊預約免費試聽課。

㈦ 教你輕松掌握數據倉庫的規劃和構建策略

教你輕松掌握數據倉庫的規劃和構建策略

數據倉庫作為決策支持系統（DSS）的基礎，具有面向主題的、集成的、不可更新的、隨時間不斷變化的特性。這些特點說明了數據倉庫從數據組織到數據處理，都與原來的資料庫有很大的區別，這也就需要在數據倉庫系統設計時尋求一個適合於數據倉庫設計的方法。在一般的系統開發規劃中，首先需要確定系統的功能，這些系統的功能一般是通過對用戶的需求分析得到的。從數據倉庫的應用角度來看，DSS分析員一般是企業中的中高層管理人員，他們對決策支持的需求不能預先做出規范的說明，只能給設計人員一個抽象地描述。
這就需要設計人員在與用戶不斷的交流溝通中，將系統的需求逐步明確，並加以完善。因此數據倉庫的開發規劃過程實際上是一個用戶和設計人員對其不斷了解、熟悉和完善的過程。 數據倉庫的開發應用規劃是開發數據倉庫的首要任務。只有制定了正確的數據倉庫規劃，才能使組織主要力量有序地實現數據倉庫的開發應用。在數據倉庫規劃中一般需要經歷這樣幾個過程：選擇實現策略、確定數據倉庫的開發目標和實現范圍、選擇數據倉庫體系結構、建立商業和項目規劃預算。 當數據倉庫規劃完成後，需要編制相應的數據倉庫規劃說明書，說明數據倉庫與企業戰略的關系，以及與企業急需處理的、范圍相對有限的開發機會，重點支持的職能部門和今後數據倉庫開發工作的建議，實際使用方案和開發預算，作為數據倉庫實際開發的依據。
1、選擇數據倉庫實現策略
數據倉庫的開發策略主要有自頂向下、自底向上和這兩種策略的聯合使用。自頂向下策略在實際應用中比較困難，因為數據倉庫的功能是一種決策支持功能。這種功能在企業戰略的應用范圍中常常是很難確定的，因為數據倉庫的應用機會往往超出企業當前的實際業務范圍，而且在開發前就確定目標，會在實現預定目標後就不再追求新的應用，是數據倉庫喪失更有戰略意義的應用。由於該策略在開發前就可以給出數據倉庫的實現范圍，能夠清楚地向決策者和企業描述系統的收益情況和實現目標，因此是一種有效的數據倉庫開發策略。該方法使用時需要開發人員具有豐富的自頂向下開發系統的經驗，企業決策層和管理人員完全知道數據倉庫的預定目標並且了解數據倉庫能夠在那些決策中發揮作用。
自底向上策略一般從某個數據倉庫原型開始，選擇一些特定的為企業管理人員所熟知的管理問題作為數據倉庫開發的對象，在此基礎上進行數據倉庫的開發。因此，該策略常常用於一個數據集市、一個經理系統或一個部門的數據倉庫開發。該策略的優點在於企業能夠以較小的投入，獲得較高的數據倉庫應用收益。在開發過程中，人員投入較少，也容易獲得成效。當然，如果某個項目的開發失敗可能造成企業整個數據倉庫系統開發的延遲。該策略一般用於企業洗碗對數據倉庫的技術進行評價，以確定該技術的應用方式、地點和時間，或希望了解實現和運行數據倉庫所需要的各種費用，或在數據倉庫的應用目標並不是很明確時，數據倉庫對決策過程影響不是很明確時使用。
在自頂向下的開發策略中可以採用結構化或面向對象的方法，按照數據倉庫的規劃、需求確定、系統分析、系統設計、系統集成、系統測試和系統試運行的階段完成數據倉庫的開發。而在自底向上的開發中，則可以採用螺旋式的原型開發方法，使用戶可以根據新的需求對試運行的系統進行修改。螺旋式的原型開發方法要求在較短的時間內快速的生成可以不斷增加功能的數據倉庫系統，這種開發方法主要適合於這樣一些場合：在企業的市場動向和需求無法預測，市場的時機是實現產品的重要組成部分，不斷地改進對與企業的市場調節是必需的；持久的競爭優勢來自連續不斷地改進，系統地改進是基於用戶在使用中的不斷發現。 自頂向下和自底向上策略的聯合使用具有兩種策略的優點，既能快速的完成數據倉庫的開發與應用，還可建立具有長遠價值的數據倉庫方案。但在實踐中往往難以操作，通常需要能夠建立、應用和維護企業模型、數據模型和技術結構的、具有豐富經驗的開發人員，能夠熟練的從具體（如業務系統中的元數據）轉移到抽象（只基於業務性質而不是基於實現系統技術的邏輯模型）；企業需要擁有由最終用戶和信息系統人員組成的有經驗的開發小組，能夠清楚地指出數據倉庫在企業戰略決策支持中的應用。
2、確定數據倉庫的開發目標和實現范圍
為確定數據倉庫的開發目標和實現范圍，首先需要對企業管理者等數據倉庫用戶解釋數據倉庫在企業管理中的應用和發展趨勢，說明企業組織和使用數據來支持跨功能系統的重要性，對企業經營戰略的支持，以確定開發目標。在該階段確認與使用數據倉庫有關的業務要求，這些要求應該只支持最主要的業務職能部門，將使用精力集中在收益明顯的業務上，使數據倉庫的應用立即產生效果，不應該消耗太多的精力在各個業務上同時鋪開數據倉庫的應用。
在確定開發目標和范圍以後，應該編制需求文檔，作為今後開發數據倉庫的依據。 數據倉庫開發的首要目標是確定所需要信息的范圍，確定用戶提供決策幫助時，在主題和指標域需要哪些數據源。這就需要定義：用戶需要什麼數據？面向主題的數據倉庫需要什麼樣的支持數據？為成功地向用戶提交數據，開發人員需要哪些商業知識？哪些背景知識？這就需要定義整體需求，以文件的形式整理現存的記錄系統和系統環境，對使用數據倉庫中數據的候選應用系統進行標識、排序，構造一個傳遞模型，確定尺度、事實及時間標記演算法，以便從系統中抽取信息且將他們放入數據倉庫。通過信息范圍確定可為開發人員提供一個良好的分析平台，和用戶一起分析哪些信息是數據倉庫需要的，進行商業活動需要什麼數據。開發人員可以和用戶進一步定義需要，例如數據分級層次、聚合的層次、載入的頻率以及需要保持的時間表等。 數據倉庫開發的另一個重要目標是確定利用哪些方法和工具訪問和導航數據？雖然用戶都需要存取並且檢索數據倉庫的內容，但是所存取的粒度有所不同，有的可能是詳細的記錄，有的可能是比較概括的記錄或十分概括的記錄。用戶要求的數據概括程度不同，將導致數據倉庫的聚集和概括工具的需求不同。
數據倉庫還有具有一定功能來訪問和檢索圖表、預定義的報表、多維數據、概括性數據和詳細記錄。用戶從數據倉庫中獲得信息，應該有電子表格、統計分析器和支持多維分析的分析處理器等工具的支持，以解釋和分析數據倉庫中的內容，產生並且驗證不同的市場假設、建議和決策方案。為將決策建議和各種決策方案向用戶清楚地表達出來，需要利用報表、圖表和圖像等強有力的信息表達工具。 數據倉庫開發的其他目標，是確定數據倉庫內部數據的規模。在數據倉庫中不僅包含當前數據，而且包含多年的歷史數據。數據的概括程度決定了這些數據壓縮和概括的最大限度。如果要讓數據倉庫提供對歷史記錄進行決策查詢的功能，就必須支持對大量數據的管理。數據的規模不僅直接影響決策查詢的時間，而且還將直接影響企業決策的質量。
在數據倉庫的開發目標中，還有：根據用戶對數據倉庫的基本需求，確定數據倉庫中數據的含義；確定數據倉庫內容的質量，以確定使用、分析和建議的可信級別；哪種類型的數據倉庫可以滿足最終用戶的需求，這些數據倉庫應該具有怎樣的功能；需要哪些元數據，如何使用數據源中的數據等。 數據倉庫的開發目標多種多樣，十分復雜，需要開發人員和用戶在開發與使用的過程中不斷交互完善。因此，在規劃中需要確定數據倉庫的開發范圍。使開發人員能夠根據需求和目標的重要性逐步進行，並且在開發中吸取經驗教訓，為數據倉庫在企業中的全部實現提供技術准備。因此，在為數據倉庫確定總體開發方向和目標以後，就必須確定一個有限的能夠很快體現數據倉庫效益的使用范圍。在考慮數據倉庫苦的應用范圍時，主要從使用部門的數量和類型、數據源的數量、企業模型的子集、預算分配以及開發項目所需的時間等角度分析。
在分析這些因素時，可從用戶的角度和技術的角度兩方面進行。 從用戶的角度應該分析哪些部門最先使用數據倉庫？是哪些人員為了什麼目的使用數據倉庫？以及數據倉庫首先要滿足哪些決策查詢？因為這些決策查詢往往確定了關於數據維數、報表的種類，這些因素都將確定數據倉庫定義時所需要的數量關系。查詢的格式越具體，越容易提供數據倉庫的維數、聚集和概括的規劃說明。 從技術角度分析，應該確定數據倉庫中元資料庫的規模，數據倉庫的元資料庫是存儲數據倉庫中數據定義的模型。數據定義存儲在倉庫管理器的目錄中，可以作為所有查詢和報表工具構造和查詢數據倉庫的依據。元資料庫的規模直接表示了數據倉庫中必須管理的數據規模。通過對元資料庫規模的管理，實際上就確定了數據倉庫中所需要管理的數據規模。
3、數據倉庫的結構選擇
數據倉庫的結構可以進行靈活的選擇，可將組織所使用的各種平台進行恰當的分割，把數據源、數據倉庫和最終用戶使用的工作站分割開來進行恰當的設計。
（1）數據倉庫的應用結構
基於業務處理系統的數據倉庫 在這種結構中，將運作的數據用於無需修改數據的只讀應用程序中。具有這種結構的數據倉庫元資料庫是一種虛庫，而不是數據倉庫自身的元數據。在數據倉庫元資料庫的直接指導下，對數據倉庫的查詢就是簡單的從資料庫中抽取數據。
單純數據倉庫
利用在數據倉庫中的數據源凈化、集成、概括和集成等操作，將數據源從業務處理系統中傳輸進集中的數據倉庫，各部門的數據倉庫應用只在數據倉庫中進行。這種結構經常發生在多部門、少用戶使用數據倉庫的情況下。這里的集中僅僅是邏輯上的，物理上可能是分散的。
單純數據集市
數據集市是指在部門中使用的數據倉庫，因為企業中的各個職能部門都有自己的特殊需要，而統一的數據倉庫可能不能滿足這些部門的特殊要求。這種體系結構經常發生在個別部門對數據倉庫的應用感興趣，而組織中其他部門卻對數據倉庫的應用十分冷漠之時，由熱心的部門單獨開發式所採用。
數據倉庫和數據集市
企業各部門擁有滿足自己需要的數據集市，其數據從企業數據倉庫中獲取，而數據倉庫從企業各種數據源中收集和分配。這種體系結構是一種較為完善的數據倉庫體系結構，往往發生在組織整體對數據倉庫應用感興趣之時所採用的體系結構。
（2）數據倉庫的技術平台結構 單層結構
單層結構主要是在數據源和數據倉庫之間共享平台，或者讓數據源、數據倉庫、數據集市與最終用戶工作站使用同一個平台。共享一個平台可以降低數據抽取和數據轉換的復雜性，但是共享平台在應用中可能遇到性能和管理方面的問題，這種體系結構一般在數據倉庫規模較小，而組織的業務系統平台具有較大潛力之時所採用。
客戶/伺服器兩層結構
一層為客戶機，一層為伺服器，最終用戶訪問工具在客戶層上運行，而數據源、數據倉庫和數據集市位於伺服器上，該技術機構一般用於普通規模的數據倉庫。
三層客戶/伺服器結構
基於工作站的客戶層、基於伺服器的中間層和基於主機的第三層。主機層負責管理數據源和可選的源數據轉換；伺服器運行數據倉庫和數據集市軟體，並且存儲倉庫的數據；客戶工作站運行查詢和報表運用程序，且還可以存儲從數據集市或數據倉庫卸載的局部數據。在數據倉庫稍具規模，兩層數據倉庫結構已經不能滿足客戶的需求，要講數據倉庫的數據存儲管理、數據倉庫的應用處理和客戶端應用分開之時，可以採用這種結構。
多層式結構
這是在三層機構基礎上發展起來的數據倉庫結構，在該結構中從最內數據層到最外層的客戶層依次是：單獨的數據倉庫存儲層、對數據倉庫和數據集市進行管理的數據倉庫服務層、進行數據倉庫查詢處理的查詢服務層、完成數據倉庫應用處理的應用服務層和面向最終用戶的客戶層。體系層次可能多達五層，這種體系結構一般用於超規模數據倉庫系統。
4、數據倉庫使用方案和項目規劃預算
數據倉庫的實際使用方案與開發預算，是數據倉庫規劃中最後需要確定的問題。因為數據倉庫主要用於對企業管理人員的決策支持，確保其實用性是十分重要的，因此需要讓最終用戶參與數據倉庫的功能設計。這種參與是通過用戶的實際使用方案進行的，使用方案是一個非常重要的需求模型。實際使用方案必須有助於闡明最終用戶對數據倉庫的要求，這些要求有的只使用適當的數據源就可以得到基本滿足，而有的卻需要來自企業外部的數據源，這就需要通過使用方案將這些不同的要求聯系起來。 實際使用方案還可以將最終用戶的決策支持要求與數據倉庫的技術要求聯系起來。因為當用戶確定最終要求後，為元資料庫的范圍確定一個界限。還可以確定所需要的歷史信息的數量，當根據特定的用戶進行數據倉庫的規劃時，就可確定最終用戶所關心的維度（時間、方位、商業單位和生產企業），因為維度與所需要的概括操作有明顯的關系，必須選擇對最終用戶有實際意義的維度，如：「月」、「季度」、「年」等。最後，還可以確定數據集市/數據倉庫的結構需要，使設計人員確定採用單純數據倉庫結構，還是單純的數據集市結構或者是兩者相結合的結構。
在實際使用開發方案確定後，還需要對開發方案的預算進行估計，確定項目的投資數額。投資方案的確定可以依據以往的軟體開發成本，但是這種預算的評估比較粗糙。另一種方法是參照結構進行成本評估，也就是說，將數據倉庫實際使用方案所確定的構件進行分解，根據各個構件的成本進行預算估算。數據倉庫的構件包含在數據源、數據倉庫、數據集市、最終用戶存取、數據管理、元數據管理、傳輸基礎等部分中，這些構件有的在企業原有信息系統中已經具備，有的可以選擇商品化構件，有的則需要自我開發。根據這些構件的不同來源，可以確定比較准確的預算。 在完成數據倉庫規劃後，就需要編制數據倉庫開發說明書，說明系統與企業戰略目標的關系，以及系統與企業急需處理的范圍相對有限的開發機會，所設想的業務機會的說明以及目標任務概況說明、重點支持的職能部門和今後工作的建議。數據倉庫項目應有明確的業務價值計劃開始，在計劃中需要闡明期望取得的有形和無形的利益。無形利益包含利用數據倉庫使決策完成得更快更好等利益。
業務價值計劃最好由目標業務主管來完成，因為數據倉庫是用戶驅動的，應該讓用戶積極參與數據倉庫的建設，在規劃書中要確定數據倉庫開發目標的實現范圍、體系結構和使用方案及開發預算。

㈧ 數據分析需要掌握些什麼知識

首先，從知識體系的角度來看，當前學習數據分析需要學習三大塊知識，其一是數學和統計學知識、其二是大數據知識、其三是行業知識。數學和統計學是數據分析的基礎，在大數據時代，要想在數據分析領域走得更遠，一定要重視數學和統計學知識的學習。從某種程度上來說，數據分析就是構建在數學和統計學基礎之上的，雖然當前有很多數據分析工具和平台可以使用，但是如果脫離數學和統計學知識，數據分析往往很難深入。對於數學基礎比較薄弱的人來說，在學習數據分析的過程中，可以同時補學數學知識，包括線性代數和概率論等等。數據分析是大數據技術體系的重要組成部分，實際上當前的數據分析也是大數據進行數據價值化的主要手段之一，所以當前學習數據分析一定不能脫離大數據技術體系。在大數據平台的支撐下，數據分析可以藉助於大數據平台來達到一個更好的分析效果，比如速度提升就非常明顯。從數據分析的手段上來看，當前數據分析主要有兩種方式，一種是統計學方式，另一種就是機器學習方式，當前機器學習的數據分析方式受到了廣泛的關注，基於機器學習的數據分析未來也有廣闊的發展和應用空間。採用機器學習進行數據分析，需要從演算法設計開始入手，然後完成演算法實現、演算法訓練、演算法驗證和演算法應用等一系列環節。