課程介紹
當「資料工程」遇上「DevOps」會擦出什麼樣的火花呢？讓我們用 Kafka Data Pipeline 當作範例，探討搭建大數據平台從前期的規劃應該思考那些因子，到上線運維要怎麼落實 DevOps 文化，讓開發者能易於除錯，讓維運者快速發現並排查問題！
課程表
| 9/14 Tutorial (1) DataOps 大數據平台從規劃到運維 @ 北科集思 億光大樓 貝塔廳 |
|
| 時間 | 課程內容 |
| 09:30~10:00 | 報到 |
| 10:00~12:00 | 1. Apache Kafka 是什麼？ (1) 為什麼需要 Kafka (2) Kafka 的特性,元件及架構 (3) Kafka 的運作機制 2. Apache Kafka 叢集架構規劃與 Sizing (1) Kafka 元件與 Server 的關係 (2) 規劃 Kafka Cluster 的經驗談 (3) 維持叢集健康的重要參數 3. Apache Kafka 的應用情境 |
| 12:00~13:00 | 午餐 |
| 13:00~14:30 | 4. DataOps 101 - 用 Docker 建立 Kafka Data Pipeline 測試環境 (1) Apache Kafka 單機版 (2) Apache Kafka 叢集版 (3) 用 Fluentd 當作流量產生器 5. Apache Kafka 叢集的監控與管理 (1) 運用 Kafka Manager 監控叢集健康狀況 (2) 使用 Prometheus 來蒐集 Apache Kafka Broker 的 JMX Metrics |
| 14:30~15:00 | 休息 / 攤位參觀 |
| 15:00~16:30 | 6. 全棧式監控與告警 Full Stack Monitoring and Notification (1) 為何需要全棧式監控與告警 (2) 使用 Prometheus 來蒐集 Apache Kafka Producer 的 JMX Metrics (3) 使用 Prometheus 來蒐集 Apache Kafka Consumer 的 JMX Metrics 7. Prometheus 對其他大數據生態系的支援狀況 (1) 使用 Prometheus 監控 YARN (2) 使用 Prometheus 監控 Spark |
講師陣容
當「搖滾（Rock）」遇上「爵士（Jazz）」，會擦出什麼火花呢？
本課程的講師有兩位：
- 上午：陳靈新 (Rock Chen), 亦思科技
- 下午：王耀聰 (Jazz Wang), 臺灣資料工程協會 理事長
門票與售價
一般票：
- 9/14 Tutorial - ：NT$ 1,000
臺灣資料工程協會會員票：
- 9/14 Tutorial - ：免費入場
注意事項
- 報名此課程者，需自備筆記型電腦 (非必備，想實作或參與互動的再自備即可)
- 網路報名請妥善填寫資料
- 報到時請攜帶報名確認函，以供查驗
- 申請開立個人收據者，將統一於活動當日發放，請主動向報到處服務人員領取
- 申請開立發票者，將於會後統一郵寄，預計時間為10月初
- 若有其他關於活動票務問題，請與主辦單位聯繫：info@dataengineering.tw
退票方法
- 本活動委由 Accupass 代為處理退票退款事宜
- 退票時將酌收10%手續費，且活動前八天內（不含活動日，但包含例假日）不予退票
- 詳請見Accupass 代理退票辦法
關於主辦單位
- 台灣資料工程協會 FB 社團：https://fb.com/groups/dataengineering.tw
