沈陽大數(shù)據(jù)開發(fā)課程 2021-06-23 11:45:41
課程介紹
發(fā)布日期:2021-06-23 11:45:41
項目實訓1
本項目基于Hadoop分布式系統(tǒng)架構,針對大量網站的日志文件進行分析。我們將海量的日志文件數(shù)據(jù)存儲在HDFS中,改寫Hadoop的MapReduce方法對數(shù)據(jù)進行計算,將分析結果可化地以網頁的形式反饋給用戶,方便用戶對網站進行進一步的優(yōu)化和管理
2.云盤計算
本系統(tǒng)基于hadoop云技術架構,將網絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。
音樂大數(shù)據(jù)處理系統(tǒng)
通過搭建基于hadoop大數(shù)據(jù)處理技術的音樂文件處理web系統(tǒng),為用戶提供個性化音樂收聽服務,同時為用戶提供熱門歌曲、排行榜、每日推薦等功能。
3.云圈好友推薦
這個系統(tǒng)就是為滿足用戶社交方面的需求而產生的。本項目由hadoop搭建,通過離線計算和即時插敘技術,處理海量賬戶數(shù)據(jù),為用戶推薦好友。
教學優(yōu)勢2
注重原理更注重實戰(zhàn):以案例驅動教學,將真實的案例貫穿到知識點中
真實的大數(shù)據(jù)項目:項目源于企業(yè)中的真實項目,學完即可直接勝任企業(yè)崗位需求
課程目標3
WEB框架階段:Web是大數(shù)據(jù)的重要數(shù)據(jù)來源,同時,大數(shù)據(jù)分析的結果通常也要借助Web來進行展示,本階段課程要求掌握Web前端開發(fā)技術、JAVA WEB技術和流行的SSM框架,為大數(shù)據(jù)項目奠定基礎。
構建離線數(shù)據(jù)分析平臺階段:Hadoop是大數(shù)據(jù)技術的核心和標準,而HDFS和MapReduce又是Hadoop的核心和標準,包括Hadoop的五個核心進程,也必須掌握。此外,我們還要學習Hadoop集群及搭建集群的協(xié)調工具ZooKeeper,數(shù)據(jù)倉庫分析工具Hive,和初步接觸內存計算框架Spark。
構建實時數(shù)據(jù)分析平臺階段:實時流式數(shù)據(jù)分析也是大數(shù)據(jù)的重要應用領域,本課程以Spark Streaming和Storm兩種流式計算框架為核心,還包括機器學習MLlib、圖數(shù)據(jù)庫Graphx、消息中間件Kafka、日志收集工具Flume等,搭建一個成熟商用的實時大數(shù)據(jù)分析平臺。
python與openstack云計算框架:大數(shù)據(jù)與云計算密不可分。本課程研究虛擬化容器Docker和云計算標準技術openStack,分析openstack的各種重要組件及其使用,包括使用Dashboard可視化使用和使用Python語言編程控制,以及云計算遷移,公有云、私有云、混合云的搭建策略
上一篇:沈陽Python開發(fā)課程
下一篇:沈陽PHP開發(fā)課程