㈠ 數據採集|教育大數據的來源、分類及結構模型
一、 教育大數據的來源
教育是一個超復雜的系統，涉及 教學、管理、教研、服務 等諸多業務。與金融系統具有清晰、規范、一致化的業務流程所不同的是，不同地區、不同學校的教育業務雖然具有一定的共性，但差異性也很突出，而業務的差異性直接導致教育數據來源更加多元、數據採集更加復雜。
教育大數據產生於 各種教育實踐活動 ，既包括校園環境下的教學活動、管理活動、科研活動以及校園生活，也包括家庭、社區、博物館、圖書館等非正式環境下的學習活動；既包括線上的教育教學活動，也包括線下的教育教學活動。
教育大數據的核心數據源頭是「人」和「物」——「人」包括學生、教師、管理者和家長，「物」包括信息系統校園網站、伺服器、多媒體設備等各種教育裝備。
依據來源和范圍的不同，可以將教育大數據分為個體教育大數據、課程教育大數據、班級教育大數據、學校教育大數據、區域教育大數據、國家教育大數據等六種 。
二、 教育大數據的分類
教育數據有多重分類方式。
從數據產生的業務來源來看，包括 教學類數據、管理類數據、科研類數據 以及服務類數據。
從數據產生的技術場景來看，包括 感知數據 、業務數據和互聯網數據等類型。
從數據結構化程度來看，包括 結構化數據、半結構化數據和非結構化數據 。結構化數據適合用二維表存儲。
從數據產生的環節來看，包括 過程性數據和結果性數據 。過程性數據是活動過程中採集到的、難以量化的數據（如課堂互動、在線作業、網路搜索等）；結果性數據則常表現為某種可量化的結果（如成績、等級、數量等）。
國家採集的數據主要以管理類、結構化和結果性的數據為主，重點關注宏觀層面教育發展整體狀況。到大數據時代，教育數據的全面採集和深度挖掘分析變得越來越重要。教育數據採集的重心將向非結構化、過程性的數據轉變。
三、教育數據的結構模型
整體來說，教育大數據可以分為四層，由內到外分別是基礎層、狀態層、資源層和行為層。
基礎層：也就是我們國家最最基礎的數據，是高度保密的數據； 包括教育部2012年發布的七個教育管理信息系列標准中提到的所有數據，如學校管理信息、行政管理信息和教育統計信息等；
狀態層，各種裝備、環境與業務的運行狀態的數據； 必然設備的耗能、故障、運行時間、校園空氣質量、教室光照和教學進度等；
資源層，最上層是關於教育領域的用戶行為數據。 比如PPT課件、微課、教學視頻、圖片、游戲、教學軟體、帖子、問題和試題試卷等；
行為層：存儲擴大教育相關用戶（教師、學生、教研員和教育管理者等）的行為數據， 比如學生的學習行為數據、教師的教學行為數據、教研員的教學指導行為數據以及管理員的系統維護行為數據等。
不同層次的數據應該有不同的採集方式和教育數據應用的場景。
關於教育大數據的冰山模型，目前我們更多的是採集一些顯性化的、結構性的數據，而存在冰山之下的是更多的非結構化的，而且真正為教育產生最大價值的數據是在冰山之下的。
參考文獻：
教育大數據的來源與採集技術 邢蓓蓓
㈡ 大數據可視化大屏圖表設計經驗，教給你！
自從跟大家分享第一篇 《大數據可視化大屏設計經驗，教給你！》 ，很多小夥伴都會問我一些相關的問題，看了小夥伴給我發的視覺稿，整體都還不錯，但是發現圖表的設計都有一些問題，大家可能對數據可視化的圖表設計經驗少一些，所以這篇文章就挖掘一下圖表的細節表現，分享我曾經遇到過的坑和對圖表設計的理解。
圖表設計
圖表設計概念
圖表設計是數據可視化的一個分支領域，是對數據進行二次加工，用統計圖表的方式進行呈現，也是數據可視化的核心表現，圖表設計既要保證圖表本身數據清晰准確、直觀易懂，又要在找准用戶關注的核心內容進行適當的突顯，幫助用戶通過數據進行決策。
下面分析三種常用的可視化圖表設計：
折線圖
折線圖常用於表示數據的變化和趨勢，坐標軸的不同對折線的變化幅度有很大的影響。
左圖坐標軸設定的太低，折線變化過於陡峭，圖中數值區間為（10-34）數據可視化的表現過於誇大了折線變化的趨勢。
右圖坐標軸的數值設定的太高，則折線變化過於平緩，無法清晰的表現折線的變化。
合理的折線圖應當占據圖表的三分之二的茄卜位置，圖表的X軸數值范圍應根據折線的數值增減變化而變化，這需要跟前端小哥哥小姐姐說明，做成動態計算。
折線圖的折線粗細要合理，過細的折線會降低數據表現，過粗的折線會損失折線中的大納孝數據波動細節，視覺上較難精準找到折線點的相應數值！我通常用兩個像素的線，看起來比較合適！
右圖刻度線顏色過重，影響圖表數據的表現，零基線跟圖表內的刻度線對比不夠明顯，整體很亂。零基線是強調起始位置的，一般要比圖表內的線顏色凸出一些。
條形圖/柱狀圖
理想很豐滿，現實很骨感。這個案例是我之前在工作中遇到的問題，數據進來後，被嚇到了，問題的原因是沒有跟前端小哥姐溝通好，他們把X軸寫死，導致出現這種問題，其實應該情況要把這些圖表的取值范圍寫成動態計算的。
例如，以現在數值范圍為例，數據的最高值為18，X軸最高數值應該為25，當數據又上升一定的高度後，X軸再上升到相應的數值高度，這滾稿樣避免了如右圖的問題。
坐標軸的標簽文字最好能水平排列， 當X軸標簽文字過多時，不建議傾斜排列、上下排列、換行排列 文字多了這樣的展示大大降低了閱讀性！下圖給出兩個解決方案，大大提高標簽文字的閱讀性！
解決方案
柱子之間過於分散就會失去數據之間的關聯性，過密就會變得數據之間沒有獨立性更不利於舒適閱讀。
當柱子為n時，柱子直接的距離建議與n相差不要太大，柱子靠邊的距離，最好是柱子之間的一半的距離，這樣視覺上最為舒適。
餅圖
左1圖，不建議在餅圖內與百分比數值一起顯示，餅圖本身的形狀和大小，文字過多時容易溢出，如果出現一個2%一個1%，就很難辨別圖形指向，這樣也就失去了數據可視化的意義，PPT通常有這樣的設計樣式，因為是個死圖。
左3圖，人的閱讀習慣是從左到右，從上到下，所以數據從大到小排列，更有助於閱讀，圖形也更具美感！
當餅圖為檢出率，或者一些重要信息檢測的重點關注數據，就不建議大小數據順時針排列，左1圖這種情況一般很少出現，因為關注的是檢出數值，展示未檢出數據實為雞肋，可能是極少情況的需要吧！
右圖對於類似檢出率的數據最為合適，直觀清晰，沒有無用數據干擾！
當餅圖的標簽維度過多時，就不適合把數據圍繞餅圖一周展示，會很亂，不易閱讀，解決方案如右圖！
圖表分類圖
分享一張圖表分類大全，保存起來，設計數據可視化產品，會有重要參考價值！
這張圖由設計師Abela對圖表的各種特徵進行了大致的概括總結。
㈢ 大數據培訓內容，大數據要學哪些課程
hadoop離線分析、Storm實時計算、spark內存計算