回到首頁
個人.家庭.數位化 - 數位之牆



產業動態 資策會「網路爬蟲與巨量資料流處理實務班」(台北10/15)
財團法人資訊工業策進會 本新聞稿發佈於2016/10/02,由發布之企業承擔內容之立場與責任,與本站無關

本課程將由琢磨於資料的生、流、存、算環節,透過OpenSource進行網路資料擷取,進而如何使用巨量資料流處理技術(Kafka與Spark Streaming)來結構化與處理所取得的資料流。本課程將以實機實戰的方式,讓每位學員都能自行撰寫相關程式,並可在過程中了解各種可能面臨的狀況,增進學習效果,激盪出許多解決方案。

 
■ 發布/輪播新聞稿 新聞稿直達14萬電子報訂戶刊登新聞稿:按此 想在你的Blog上輪播產業動態按此
 


本課程教導學員能透過開源Library從網站、社群媒體、裝置獲取資訊,並能將非結構化資料轉換為結構化資料,交由Kafka訊息管理系統做統一管理,接著利用Spark Streaming進行大數據流的即時運算,並將結果予以應用。課程設計能使學員親身體驗資料串流的處理,並能從體驗中遭遇的問題,學習更多解決方案,加倍學習之效果。
  資策會「網路爬蟲與巨量資料流處理實務班」將於2016年10月15日開辦,相關資訊請參閱課程網頁,或電(02)6631-6533,黃小姐。

課程大綱:
1.課程環境準備:課程VM環境準備與設定

2.資料流獲取
2.1 網頁爬蟲實戰技術
2.2 網頁結構化解析技術
2.3 社群媒體資料擷取技術(Facebook、Ptt、Mobile01等實作)
2.4 Socket 資料流獲取技術(網路層基礎Socket Server實作)

3.Spark 技術回顧:Spark Batch處理技術

4.Kafka與Spark Streaming技術實作
4.1 Spark Streaming DStream 方法介紹與實作
4.2 Kafka 訊息管理系統介紹與實作
4.3 Spark Streaming資料流與Kafka介接技術

5.綜合實戰練習
5.1 開源中文斷詞Library使用
5.2 PTT八卦版即時關鍵字訊息流獲取系統實作

詳細內容請參考課程網址:http://www.iiiedu.org.tw/ites/NBS.htm

- 新聞稿有效日期,至2016/10/15為止


聯絡人 :黃小姐
聯絡電話:(02)6631-6533
電子郵件:julie620@iii.org.tw

上一篇:五龍首發營運數據 成績理想
下一篇:資策會「軟體架構師技能培訓-Java為例」(台北10/22)

 
搜尋本站


最新科技評論

共享經濟:以人民的名義爭奪流量入口 - 2017/06/18

影音網站的未來(三) PGC孵化IP,直播更接近長尾 - 2016/10/16

影音網站的未來(二)短影音適合往社交和工具發展 - 2016/10/09

影音網站的未來(一)長尾效應與頭部效應無法兼顧 - 2016/10/02

大部分O2O 模式違反網際網路經濟特性 - 2015/02/08

融資是怎麼回事(下)什麼人能拿到投資 - 2015/01/04

融資是怎麼回事(中)讀懂投資人的唇語 - 2014/12/21

融資是怎麼回事(上)融資是迭代的過程 - 2014/12/14

奢品服務業O2O 興起,網際網路創業者的新機會 - 2014/07/20

■ 訂閱每日更新產業動態
RSS
RSS

當月產業動態

Information

 

 

 

 




個人.家庭.數位化 - 數位之牆

欲引用本站圖文,請先取得授權。本站保留一切權利 ©Copyright 2008, DigitalWall.COM. All Rights Reserved.
Question ? Please mail to service@digitalwall.com

歡迎與本站連結!