沈陽(yáng)大數(shù)據(jù)開(kāi)發(fā)課程 2021-06-23 11:45:41
課程介紹
發(fā)布日期：2021-06-23 11:45:41
項(xiàng)目實(shí)訓(xùn)1
本項(xiàng)目基于Hadoop分布式系統(tǒng)架構(gòu)，針對(duì)大量網(wǎng)站的日志文件進(jìn)行分析。我們將海量的日志文件數(shù)據(jù)存儲(chǔ)在HDFS中，改寫(xiě)Hadoop的MapReduce方法對(duì)數(shù)據(jù)進(jìn)行計(jì)算，將分析結(jié)果可化地以網(wǎng)頁(yè)的形式反饋給用戶，方便用戶對(duì)網(wǎng)站進(jìn)行進(jìn)一步的優(yōu)化和管理
2.云盤(pán)計(jì)算
本系統(tǒng)基于hadoop云技術(shù)架構(gòu)，將網(wǎng)絡(luò)中大量各種不同類(lèi)型的存儲(chǔ)設(shè)備通過(guò)應(yīng)用軟件集合起來(lái)協(xié)同工作，共同對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問(wèn)功能的一個(gè)系統(tǒng)。
音樂(lè)大數(shù)據(jù)處理系統(tǒng)
通過(guò)搭建基于hadoop大數(shù)據(jù)處理技術(shù)的音樂(lè)文件處理web系統(tǒng)，為用戶提供個(gè)性化音樂(lè)收聽(tīng)服務(wù)，同時(shí)為用戶提供熱門(mén)歌曲、排行榜、每日推薦等功能。
3.云圈好友推薦
這個(gè)系統(tǒng)就是為滿足用戶社交方面的需求而產(chǎn)生的。本項(xiàng)目由hadoop搭建，通過(guò)離線計(jì)算和即時(shí)插敘技術(shù)，處理海量賬戶數(shù)據(jù)，為用戶推薦好友。
教學(xué)優(yōu)勢(shì)2
注重原理更注重實(shí)戰(zhàn)：以案例驅(qū)動(dòng)教學(xué)，將真實(shí)的案例貫穿到知識(shí)點(diǎn)中
真實(shí)的大數(shù)據(jù)項(xiàng)目：項(xiàng)目源于企業(yè)中的真實(shí)項(xiàng)目，學(xué)完即可直接勝任企業(yè)崗位需求
課程目標(biāo)3
WEB框架階段：Web是大數(shù)據(jù)的重要數(shù)據(jù)來(lái)源，同時(shí)，大數(shù)據(jù)分析的結(jié)果通常也要借助Web來(lái)進(jìn)行展示，本階段課程要求掌握Web前端開(kāi)發(fā)技術(shù)、JAVA WEB技術(shù)和流行的SSM框架，為大數(shù)據(jù)項(xiàng)目奠定基礎(chǔ)。
構(gòu)建離線數(shù)據(jù)分析平臺(tái)階段：Hadoop是大數(shù)據(jù)技術(shù)的核心和標(biāo)準(zhǔn)，而HDFS和MapReduce又是Hadoop的核心和標(biāo)準(zhǔn)，包括Hadoop的五個(gè)核心進(jìn)程，也必須掌握。此外，我們還要學(xué)習(xí)Hadoop集群及搭建集群的協(xié)調(diào)工具ZooKeeper,數(shù)據(jù)倉(cāng)庫(kù)分析工具Hive,和初步接觸內(nèi)存計(jì)算框架Spark。
構(gòu)建實(shí)時(shí)數(shù)據(jù)分析平臺(tái)階段：實(shí)時(shí)流式數(shù)據(jù)分析也是大數(shù)據(jù)的重要應(yīng)用領(lǐng)域，本課程以Spark Streaming和Storm兩種流式計(jì)算框架為核心，還包括機(jī)器學(xué)習(xí)MLlib、圖數(shù)據(jù)庫(kù)Graphx、消息中間件Kafka、日志收集工具Flume等，搭建一個(gè)成熟商用的實(shí)時(shí)大數(shù)據(jù)分析平臺(tái)。
python與openstack云計(jì)算框架：大數(shù)據(jù)與云計(jì)算密不可分。本課程研究虛擬化容器Docker和云計(jì)算標(biāo)準(zhǔn)技術(shù)openStack,分析openstack的各種重要組件及其使用，包括使用Dashboard可視化使用和使用Python語(yǔ)言編程控制，以及云計(jì)算遷移，公有云、私有云、混合云的搭建策略
沈陽(yáng)中軟卓越開(kāi)課校區(qū)
