<s id="aymem"></s>
  • <source id="aymem"><optgroup id="aymem"></optgroup></source>
  • <source id="aymem"><optgroup id="aymem"></optgroup></source>
  • <acronym id="aymem"></acronym>
  • 首頁 > 選課中心 > 數據分析 > 【快班】深入理解Storm與大數據實戰
    【快班】深入理解Storm與大數據實戰
    此課程所屬 【hadoop大數據工程師職業方向】, 【數據分析師專業方向】專業,報名專業套餐,可享受0元學習特惠!點擊了解詳情
    隨報隨學 共11課 ★★☆
    開課時間 課程周期 難易度
    招生中

    立即報名
    Hadoop 大數據 架構 集群 Storm
    課程介紹
    在大數據的批處理領域,Hadoop是不可撼動的王者,然而在實時性上的延遲,Hadoop卻是其天生的不足,為完善大數據實時性處理的需求,業界進行了不少的嘗試,如Facebook在2011年發表的論文“Apache Hadoop Goes Realtime at Facebook”中介紹了其基于Hadoop上進行實時性系統的相關改進,同時開發了Puma對網站用戶進行實時分析以便對自己的產品或服務進行營銷,為解決廣告計費(cost-per-click)Yahoo啟動了S4用于實時計算、預測用戶對廣告的可能的點擊行為,LinkedIn則基于Kafka開發了Samza用于實時新聞推送、廣告和復雜的監控等,而Storm是由Twitter開源的實時計算框架,適用于實時分析、在線機器學習、連續計算、分布式RPC和ETL等場景。

    大數據技術的發展日新月異,不斷涌現的技術代表著需求的旺盛。在本次課程中,用深入淺出的方法系統介紹了Storm自身的體系架構、技術以及大數據的一些應用。包括如何使用Storm在實時Dashboard統計、反作弊、用戶畫像與實時推薦等領域的應用。同時介紹整條實時數據處理鏈路,包括數據收集、傳輸和計算、以及存儲等;實時和離線的整合等內容。
    課程大綱
    第一課:實時計算平臺介紹
    介紹實時系統主要解決的業務問題和面臨的挑戰;
    簡要介紹實時平臺的主要組件和構成,實時數據的收集通道和數據交互方式
    實時數據核心組件Flume、Kafka的介紹,以及Storm在整個平臺中所處的位置;
    分享部分典型互聯網公司實時平臺的架構,如大眾點評、美團、一號店等

    第二課:Storm基本概念和組件介紹
    Storm的基本組件:Nimbus、Supervisor、Worker、 Executor和Task的基本介紹;
    集群組成:通常一個線上集群的如何構成;
    Storm的可靠性:Storm如何保證可靠性以及數據的準確性;
    Storm的數據分組和其他特性介紹;

    第三課:Storm集群部署和配置
    Storm的依賴組件介紹;
    Storm的部署軟硬件環境要求;
    部署ZooKeeper
    部署Storm到各個機器節點
    配置Storm相關參數,以及核心參數介紹;
    啟動Storm相關進程;
    Storm的守護進程;
    提交Topology的過程介紹。

    第四課:Storm基本應用的開發
    Storm的應用開發和調試過程介紹,包括:
    提交示例Topology到集群;
    項目代碼本地開發環境配置和依賴;
    代碼編譯和打包以及注意事項;
    本地代碼調試過程;
    線上Topology提交過程和問題分析。

    第五課:Storm Nimbus和Supervisor深入剖析
    Nimbus功能介紹和啟動Nimbus服務過程分析;
    Nimbus服務的執行過程剖析;
    分配Executor的算法;
    調度器介紹;
    默認調度器DefaultScheduler和均衡調度器EvenScheduler邏輯分析;
    Supervisor數據結構分析;
    Supervisor的執行過程詳解。

    第六課:Storm Worker、Executor和Task深入分析
    Worker的數據結構和架構;
    Worker中的數據流分解;
    創建Worker的過程;
    Executor的創建過程;
    創建Spout的Executor的過程和邏輯;
    創建Bolt的Executor的過程和邏輯;
    Task的創建過程;
    Ack的原理介紹;
    Acker Bolt的實現。

    第七課:Storm運維和監控
    主機信息監控;
    日志和監控;
    Storm UI和NimbusClient的使用;
    Storm Metric的使用;
    Storm ZooKeeper的目錄詳解和功能分析;
    Storm Hook的使用。

    第八課:Storm的擴展和二次開發
    Storm UI原生功能介紹和數據含義;
    Storm UI新功能需求實現;
    Storm的Thrift接口介紹;
    資源隔離方案簡介;
    基于CGroup的資源隔離的實現;
    使用Docker運行Storm集群介紹。

    第九課:Storm的實際應用案例分享
    實時DAU計算實現;
    實時用戶畫像;
    實時個性化推薦;
    廣告投放的精準化

    第十課:Storm使用經驗和性能優化
    使用經驗;
    性能優化建議;
    自定義metric和性能數據收集

    第十一課:其他實時平臺介紹
    JStorm介紹;
    Spark Streaming介紹;
    Heron介紹;
    Flink介紹;
    Storm和其他實時流處理框架的功能和性能對比
    授課講師
    王新春,曾任大眾點評數據平臺高級架構師,負責大眾點評數據平臺工具系統、實時計算平臺和在線服務等,推動大數據相關的技術、工具和分析在點評的應用和發展。為公司內部數百名數據分析師、BI和開發工程師提供數據分析工具和平臺。平臺離線處理數據量PB級別,實時處理數據量超過50TB。
    個人著作:《Storm技術內幕與大數據實踐》
    課程學費
    學費:400元(固定學費:300元 + 逆向學費:100元)
    新穎的課程收費形式:“逆向收費”約等于免費學習,課程收取300元固定收費 + 100元逆向學費,學習圓滿則全額獎勵返還給學員!
    特別說明如下
    本門課程本來打算完全免費,某位大神曾經說過“成功就是正確的方向再加上適度的壓力”。考慮到講師本身要付出巨大的勞動,為了防止一些朋友在學習途中半途而廢,浪費了講師的付出,為此我們計劃模仿某些健身課程,使用“逆向收費”的方法。 在 報名時每位報名者收取400元,其中300元為固定 收費,另外100元是暫存學費,即如果學員能完成全部課程要求,包括完成全部的書面作業,則100元全款退回。如果學員未能堅持到完全所有的學習計劃任務,則會被扣款。期望這種方式可以轉化為大家強烈的學習愿望和驅動力!
    課程授課方式

    1、 學習方式:老師發布教學資料、教材,幻燈片和視頻,學員通過網絡下載學習。同時通過論壇互動中老師對學員進行指導及學員之間相互交流。

    2、 學習作業:每課均有布置課后作業,學員完成書面作業后則可進入下一課學習。

    3、 老師輔導:通過論壇站內信及郵件等多種方式與老師進行一對一互動。

    4、 完成課程:最后一課作業交納后,老師完成作業批改,即可完成課程并取回相應剩余的逆向學費。

    聯系我們
    咨詢Email :edu01@www.w2776.comedu02@www.w2776.com
    課程入門討論咨詢QQ群:706821899(群內有培訓公開課視頻供大家免費觀看)
    咨詢QQ: 點擊這里給我發消息 點擊這里給我發消息
    您是否對此課程還有疑問,那么請 點擊進入FAQ,您的問題將基本得到解答
    全國統一咨詢熱線: 4008-010-006
    最新技術熱點、 最新行業資訊,最新培訓課程信息,盡在煉數成金官方微信,低成本傳遞高端知識!技術成就夢想!歡迎關注!
    打開微信,使用掃一掃功能,即刻關注煉數成金官方微信賬戶,不容錯過的精彩,期待您的體驗!!!

    授課老師

    其他快班課程

    【快班】【免費公開課】Python 的安裝與部署
    【快班】計算機視覺算法詳解與實戰開發
    【快班】基于軟件學習數據挖掘算法與案例
    【快班】【免費公開課】《Hadoop入門手冊》——CDH集群安裝
    【快班】Datastage基礎及開發實踐
    【快班】OpenAI強化學習實戰
    【快班】JavaScript從入門到精通
    【快班】贏在大數據-人工智能的應用實踐
    【快班】【免費公開課】《數據科學入門手冊》——DSX架構與部署
    【快班】【免費公開課】數據科學無難事
    【快班】【免費公開課】《Hadoop入門手冊》之 虛擬機的安裝和使用
    【快班】【免費公開課】玩轉數據藝術-數據展示技巧應用實戰
    【快班】【免費公開課】玩轉數據科學——IBM DSX
    【快班】【免費公開課】《Hadoop入門手冊》——Apache Hadoop集群安裝
    【快班】【免費公開課】贏在大數據-數據化運營落地實戰
    【快班】大數據管理
    【快班】Streams流計算引航公開課
    【快班】抽樣調查
    【快班】LATEX公式排版系統引航
    【快班】Watson Analytics數據分析應用實戰公開課
    【快班】數據陷阱解讀
    【快班】R七種武器之文本挖掘包tm
    【快班】R七種武器之可視化JS庫HTMLWidgets包
    【快班】R七種武器之數據加工廠plyr
    【快班】R七種武器之交互化展示包shiny
    【快班】R七種武器之網絡爬蟲RCurl
    【快班】R七種武器之數據可視化包ggplot2
    【快班】R七種武器之金融數據分析quantmod
    【快班】Java經驗談
    【快班】Go語言實戰編程
    【快班】DB2 V11新特性全解析
    【快班】DB2數據庫引航公開課
    【快班】STATA統計分析入門
    【快班】初識正則表達式
    【快班】perl語言入門
    【快班】Scala語言入門
    【快班】Puppet 運維自動化
    【快班】Qt編程快速入門
    【快班】python web框架企業實戰詳解
    【快班】數據治理及數據倉庫模型設計
    【快班】DevSecOps安全交付應用實戰
    【快班】JavaScript突擊-從精通到項目實戰
    【快班】R語言魔鬼訓練營
    【快班】基于案例學習bash腳本編程
    【快班】量化投資基礎計算與模型
    【快班】老板說服術之玩轉數據展示
    【快班】數據庫系統實現技術內幕
    【快班】Goldengate從入門到精通
    【快班】Oracle 12c特性解讀-容器數據庫和災備
    【快班】Oracle 12C RAC集群原理與管理實戰
    【快班】Mycat從入門到精通
    【快班】基于案例學SQL優化
    【快班】大型電商分布式系統實踐
    【快班】Java魔鬼訓練營
    【快班】面試突擊-數據結構與算法速成
    【快班】Excel數據分析師突擊—從入門到精通到項目實戰
    【快班】自己動手實踐神經網絡
    【快班】自然語言處理軟件實驗
    【快班】Redis技術實戰
    【快班】推薦系統
    【快班】MongoDB實戰
    【快班】應用系統架構優化方法與案例實戰
    【快班】HBase從入門到精通
    【快班】Hive數據倉庫實踐
    【快班】Hadoop數據分析平臺
    【快班】數據分析與SAS
    【快班】比特幣
    【快班】機器讀心術之文本挖掘與自然語言處理
    【快班】機器讀心術之神經網絡與深度學習
    【快班】快速上手Jmeter性能測試工具
    【快班】軟件性能測試
    【快班】軟件自動化測試Selenium2
    【快班】大數據必知的java基礎
    【快班】快速數據挖掘平臺RapidMiner
    【快班】R語言編程技巧
    【快班】深入BI之Kettle篇
    【快班】基于案例學Java服務器端程序設計
    【快班】Scala從基礎到開發實戰
    【快班】供應鏈物流—電商發展的“核”動力
    【快班】詳解SQL與PL/SQL
    【快班】Oracle職業直通車
    【快班】深度玩轉Excel
    【快班】Hadoop應用開發實戰案例
    【快班】大數據的Linux基礎
    【快班】機器學習
    【快班】量化投資
    【快班】SPSS數據分析入門與提高
    【快班】Python數據分析
    【快班】NoSQL與NewSQL數據庫引航
    【快班】大數據算法導論
    【快班】大數據的矩陣計算基礎
    【快班】R語言數據分析、展現與實例
    【快班】大數據的統計學基礎

    熱招課程

    ◆ 區塊鏈新時代:技術原理與實操(第四期)
    ◆ 安全滲透測試工具之Burp Suite使用精講(第三期)
    ◆ MySQL DBA從小白到大神實戰(第15期)
    ◆ Python機器學習(第八期)
    ◆ 人臉識別90天速成特訓班(第五期)
    ◆ 【強化學習系列】強化視覺導航技術導引(第一期)
    ◆ Web全棧開發理論與實踐(第五期)
    ◆ Hadoop集群原理與運維實踐(第八期)
    ◆ Python數據可視化實戰(第四期)
    ◆ 大數據的統計學基礎(第26期)
    ◆ Oracle DB Performance Tuning(DSI系列Ⅳ)(第四期)
    ◆ 精準安防場景理解及語義分割(第四期)
    ◆ Java Web開發精講(第五期)
    ◆ Python突擊—從入門到精通到項目實戰(第17期)
    ◆ 計算機視覺:從入門到精通,極限剖析圖像識別學習算法(第四期)
    ◆ Python全棧學習——Python基礎及Web開發(第四期)
    ◆ OpenCV計算機視覺產品實戰(第十期)
    ◆ HBase從入門到精通(第11期)
    ◆ 大數據的矩陣計算基礎(第17期)
    ◆ 股票投資基礎之基本面分析(第六期)
    ◆ 黃金Quant工——量化金融分析師進階(第一期)
    ◆ 面試突擊-數據結構與算法速成(第六期)
    ◆ Oracle SQL Tuning(DSI系列Ⅲ)(第五期)
    ◆ 軟件架構必備基礎(第八期)
    ◆ 知識圖譜實戰(第八期)
    ◆ 突擊pyspark:數據挖掘的力量倍增器(第九期)
    ◆ 測試架構師核心技術(第五期)
    ◆ 人臉識別精準安防講習班(第五期)
    ◆ 系統運維之基礎服務進階實戰(第五期)
    ◆ 端到端(End TO End)--由傳統方法到深度學習(第二期)
    ◆ ROS機器人操作系統實戰(第八期)
    ◆ MySQL性能優化最佳實踐(第十期)
    ◆ 深入淺出Git(第九期)
    ◆ Python全棧學習——Python自動化測試(第四期)
    ◆ 股票投資高手武器系列之纏論系統(第六期)
    ◆ OpenAI強化學習實戰(第六期)
    ◆ 基于R的Kaggle實戰案例詳解(第八期)
    ◆ PostgreSQL初識與提高(第三期)
    ◆ Python金融業數據化運營實戰(第五期)
    ◆ 大話流式處理系統 Flink 核心原理(第二期)
    ◆ 深度學習框架Tensorflow學習與應用(第十期)
    ◆ 【百萬年薪系列】視覺的盛宴:深度玩轉人臉識別(第七期)
    ◆ zabbix企業級實踐(第七期)
    ◆ python網絡爬蟲應用實戰(第八期)
    ◆ Elastic Stack實戰(第五期)
    ◆ 機器學習(第28期)
    ◆ Python3入門到精通實戰特訓(第七期)
    ◆ 黃金Quant工——量化金融分析師入門(第三期)
    ◆ 股票投資基礎之技術分析(第八期)
    ◆ Tensorflow工程師職場實戰技(第六期)
    ◆ Oracle DBA從小白到入職實戰應用(第11期)
    ◆ 金融市場基礎(第13期)
    ◆ 左飛的機器學習十八般算法武藝詳解(第九期)
    ◆ Spark大數據平臺應用實戰(第九期)
    ◆ 深度學習框架Keras學習與應用(第十期)
    ◆ 金融的人工智能革命(第11期)
    ◆ locust性能測試實戰(第四期)
    ◆ Python金融投資分析實踐(第11期)

    GMT+8, 2019-8-14 17:13 , Processed in 0.166770 second(s), 33 queries .

    婷婷五月