大(da)(da)(da)數(shu)(shu)據(ju)(ju)實驗平(ping)臺(tai)是云創大(da)(da)(da)數(shu)(shu)據(ju)(ju)為高校開設大(da)(da)(da)數(shu)(shu)據(ju)(ju)相關專業而研發(fa)的實驗實訓平(ping)臺(tai)，它(ta)融(rong)合了代表性的大(da)(da)(da)數(shu)(shu)據(ju)(ju)平(ping)臺(tai)、大(da)(da)(da)數(shu)(shu)據(ju)(ju)編(bian)程語言、數(shu)(shu)據(ju)(ju)挖(wa)掘與大(da)(da)(da)數(shu)(shu)據(ju)(ju)分(fen)析方(fang)向相關課程、實訓、案(an)例實戰等內(nei)容,培(pei)養學生的實戰動手能力(li)，從(cong)而適應大(da)(da)(da)數(shu)(shu)據(ju)(ju)分(fen)析、大(da)(da)(da)數(shu)(shu)據(ju)(ju)治理(li)、大(da)(da)(da)數(shu)(shu)據(ju)(ju)運(yun)維、大(da)(da)(da)數(shu)(shu)據(ju)(ju)開發(fa)、大(da)(da)(da)數(shu)(shu)據(ju)(ju)建模、大(da)(da)(da)數(shu)(shu)據(ju)(ju)可視化等工作崗(gang)位需求(qiu)。
產品介紹
產品特性
平(ping)臺通過云計算(suan)技術(shu)(shu)對計算(suan)、存儲、網絡等資(zi)(zi)源進行統一(yi)的(de)管(guan)理(li)和調(diao)度， 支持(chi)(chi)容器(qi)虛(xu)擬(ni)化技術(shu)(shu)，支持(chi)(chi)私有(you)化部署，支持(chi)(chi)課(ke)(ke)程(cheng)、實(shi)(shi)驗(yan)、用戶、資(zi)(zi)源等管(guan)理(li)功能。通過平(ping)臺，老師(shi)可以一(yi)鍵(jian)搭建(jian)實(shi)(shi)驗(yan)環境(jing)，在線跟蹤學生實(shi)(shi)驗(yan)進展，并進行在線學習診斷.學生可以直(zhi)接(jie)通過瀏覽器(qi)訪問平(ping)臺，根據指南在線做實(shi)(shi)驗(yan)、寫(xie)報告，無需配置(zhi)繁瑣的(de)本(ben)地環境(jing)。結合大(da)(da)數據就(jiu)業(ye)(ye)環境(jing)、崗位模型、企業(ye)(ye)人才(cai)需求，設(she)(she)置(zhi)了本(ben)科應用型、本(ben)科研究型、高(gao)職三大(da)(da)課(ke)(ke)程(cheng)體(ti)系(xi)，并全(quan)面支撐計算(suan)機、大(da)(da)數據、金融、應用數學、統計以及電子商務等專(zhuan)業(ye)(ye)建(jian)設(she)(she)。
產品架構
大(da)(da)數(shu)據(ju)(ju)實(shi)(shi)驗(yan)(yan)(yan)平(ping)臺(tai)(tai)(tai)包括底(di)層(ceng)的(de)分(fen)布式(shi)軟硬(ying)件環(huan)境(jing)和支撐教學(xue)和實(shi)(shi)驗(yan)(yan)(yan)資(zi)源。硬(ying)件通過高速網絡連(lian)接多(duo)臺(tai)(tai)(tai)x86服(fu)務器(qi)構建集(ji)群計算環(huan)境(jing);底(di)層(ceng)軟件采用容器(qi)技(ji)術(shu)，將有限(xian)的(de)物理服(fu)務器(qi)虛(xu)擬出大(da)(da)量的(de)虛(xu)擬服(fu)務器(qi)，從而提(ti)供充足的(de)實(shi)(shi)驗(yan)(yan)(yan)計算資(zi)源;平(ping)臺(tai)(tai)(tai)集(ji)成多(duo)種主流大(da)(da)數(shu)據(ju)(ju)平(ping)臺(tai)(tai)(tai)、分(fen)析(xi)框架(jia)和挖(wa)掘算法。平(ping)臺(tai)(tai)(tai)可以快速批(pi)量搭建開展大(da)(da)數(shu)據(ju)(ju)實(shi)(shi)驗(yan)(yan)(yan)所需(xu)的(de)運行環(huan)境(jing)以及(ji)應(ying)用環(huan)境(jing)，實(shi)(shi)現(xian)大(da)(da)數(shu)據(ju)(ju)實(shi)(shi)驗(yan)(yan)(yan)要求的(de)分(fen)布式(shi)計算實(shi)(shi)驗(yan)(yan)(yan)環(huan)境(jing)，并可以實(shi)(shi)現(xian)實(shi)(shi)驗(yan)(yan)(yan)環(huan)境(jing)的(de)隔(ge)離;提(ti)供多(duo)個行業的(de)實(shi)(shi)戰案例資(zi)源包，內(nei)含項目數(shu)據(ju)(ju)、代碼以及(ji)配套實(shi)(shi)驗(yan)(yan)(yan)手冊，并提(ti)供真實(shi)(shi)應(ying)用案例的(de)實(shi)(shi)踐，實(shi)(shi)現(xian)理論(lun)教學(xue)與(yu)企(qi)業需(xu)求無縫銜接。
產品優勢
完善的平臺支撐
平臺底層采用分布式架構，安全穩定、方便擴展。可以靈活配置實驗環境資源，直觀清晰地管理虛擬環境，支持負載均衡多用戶并發，在實驗人數較多情況下保證平臺運行流暢，高效開展實驗教學。
豐富的軟件框架
覆蓋主流的大數據挖掘、分析框架一- Hadoop. Spark、 Kafka、 Storm、Hive、 HBase、Zookeeper等
個性化的實驗環境
用戶可自行創建個性化的實驗環境。在物理資源允許的情況下，可對其進行資源配置,動態調整CPU數量、節點個數及內存大小。
多樣化的開發環境
平臺提供多種在線編程環境，如基于命令行的WebSSH和基于界面操作的JupyterLab、VSCode，同時提供“-鍵搭建”功能，可快速部署實驗需要的組件,提高實驗教學效率。
完整的課程體系
以新工科要求為導向，以行業崗位要求為目標，面向大數據管理與應用、數據科學與大數據技術、環保、金融、交通等相關交叉學科，應用于教學實踐、項目實訓，覆蓋數據采集、數據管理、數據挖掘多個技術路徑。
配套大數據教材
由南京云創大數據總裁劉鵬教授主編，聯合全國高校老師和云創大數據工程師共同編寫，形成完整的大數據高級人才和應用人才教材體系，分別在電子工業出版社和清華大學出版社出版，配套實驗體系建立了完整的理論教學體系，被國內數百所高校采用。其中，《云計算》 在中國知網高被引圖書排行榜上被引用次數比第二名高出一倍以上。
豐富的實驗內容
基于企(qi)業級項目案例編制的實驗，涵蓋幾十種(zhong)典型分析場景，讓學(xue)(xue)生了解(jie)(jie)行業最新(xin)技術與應用場景，通過實戰(zhan)演練提升學(xue)(xue)生解(jie)(jie)決實際(ji)問題的能(neng)力。
每個實(shi)(shi)驗(yan)包含(han)詳細的(de)(de)實(shi)(shi)驗(yan)目的(de)(de)、要求、原(yuan)理、步驟等內容，配套相(xiang)應的(de)(de)實(shi)(shi)驗(yan)數(shu)(shu)據(ju)(ju)，用戶參照(zhao)實(shi)(shi)驗(yan)手(shou)冊(ce)即可輕松完(wan)成實(shi)(shi)驗(yan)。重要實(shi)(shi)驗(yan)提供實(shi)(shi)驗(yan)操(cao)作講(jiang)解視頻，可進一(yi)步 降低用戶學習(xi)大數(shu)(shu)據(ju)(ju)的(de)(de)門檻(jian)。
- Linux系統實驗:包括常用基本命令、文件操作、sed. awk、 文本編輯器vi、grep等。
- Python語 言編程實驗:包括流程控制、列表和元組、文件操作、正則表達式、字符串、字典等。
- R語言編程實驗:包括流程控制、文件操作、數據幀、因子操作、函數、線性回歸等。
- 大數據處理技術實驗:包括HDFS實驗、YARN實驗、MapReduce實驗、Hive實驗、Spark實驗、Zookeeper實驗、HBase實驗、Storm實驗等 。
- 數據采集實驗:包括網絡爬蟲原理、爬蟲之協程異步、爬取豆瓣電影信息、爬取豆瓣圖書Top250、爬取雙色球開獎信息等。
- 數據清洗實驗:包括Excel數據清洗常用函數、Excel數據分裂、Excel|快速定 位和填充、住房數據清洗、客戶簽到數據的清洗轉換、數據脫敏等。
- 數據標注實驗:包括標注工具的安裝與基礎操作、車牌夜晚環境標框標注、車牌日常環境標框標注、不完整車牌標框標注、行人標框標注、物品分類標注等。
- 數據分析及可視化實驗:包括Jupyter Lab、Pandas、NumPy、Matplotlib、Scipy、Seaborn、Statsmodel等。
- 數據挖掘實驗: 包括決策樹分類、樸素貝葉斯分類、K最近鄰分類、支持向量機分類、K- -means聚類等。
- 金融大數據實驗: 包括時間序列分析、金融風險管理、預測股票走勢、中美實時貨幣轉換、航空公司客戶價值分析等。
- 電商大數據實驗:包括基于基站定位數據的商圈分析、員工離職預測、數據分析、電商產品評論數據情感分 析、電商打折套路解析等。
- 數理統計實驗:包括高級數據管理、基本統計分析、回歸、方差分析、功效分析、中級繪圖等。
- 科研環境數據:包括提供多種多樣的科研環境，包括科研所需要的人臉數據、交通數據、環保數據、傳感器 數據、圖片數據等。
教學支撐
平臺提供(gong)實驗數據、實驗管理(li)、課(ke)程(cheng)管理(li)、項目實戰、考(kao)試等功能模塊，支撐備(bei)課(ke)、授課(ke)、作業等場景，覆蓋課(ke)前、課(ke)中和課(ke)后各環節，通過動態化過程(cheng)數據分析，實現學生學習質(zhi)量的全面掌控。
課程編排
平臺提供了多個技術方向的推薦課程供用戶直接使用，也提供用戶自主進行編排課程。幫助老師快速備課教學的同時，也能兼顧其個性化、差異化的教學需求。
測評(ping)模塊(kuai)
- 支持學生在線實驗與實驗報告在線編寫，支持報告在線比對查重;
- 支持實驗完成情況自動統計并生成報告，支持在線批閱自動留痕。
考試模塊
- 支持按題型、知識點等多種方式自動組卷;
- 提供選擇、填空、判斷、簡答、編程等上千道試題，試題內容緊扣實驗;
- 實時監控考試情況，多種反作弊技術;
- 支持在線批閱試卷，多種題型可自動判分。
項目實訓
項目實訓包含了物聯網、車聯網以及金融等多個行業的真實案例，平臺提供標準企業開發環境以及完整的實訓指導，學生在項目環境中進行實踐，感受項目開發全過程,培養學生面對實際問題的處理能力與項目責任感，提升學生實踐能力以及對企業項目的初步認識。
賽事支撐
支持大(da)數據(ju)省賽(sai)(sai)專業服務，已成功(gong)多次(ci)支撐山(shan)西、山(shan)東等省級(ji)大(da)數據(ju)技(ji)術與應用技(ji)術大(da)賽(sai)(sai)。與國賽(sai)(sai)大(da)數據(ju)比(bi)賽(sai)(sai)無縫對接，提供多套(tao)競賽(sai)(sai)環境、比(bi)賽(sai)(sai)試題和(he)數據(ju)集(ji)供學生使用。
