課程介紹
在社交資源（如StackOverflow）中最常見的問題和主題之一就是將數據從數據庫即時地傳輸到ApacheKafka，反之亦然。
數據庫通常指的是Oracle、SQL Server、Mysql、MariaDB、PostgreSQ、MongoDB等 - 但無論實際技術如何，執行它的概念與使用情境大致相同。
Kafka Connect API是Apache Kafka的核心組件，在0.9版本開始引入。它提供Kafka與其他系統之間的可擴展和彈性集成。
我們將介詔兩類讓我們可以快速且簡單取得資料庫裡異動數據的方法：
1. JDBC plugin for Kafka Connect
Kafka Connect的Confluent JDBC Connector使您能夠與Kafka以及任何支持JDBC的RDBMS（幾乎任何一個）進行數據流傳輸。
2. Log-based Change-Data-Capture (CDC) tools and Kafka
如果想通過將數據庫與Kafka集成來實現“異動數據”的無縫接軌，那麼基於日誌的Change-Data-Capture（CDC）就是最佳選擇。 CDC基本上允許您將每個事件從數據庫streaming地傳輸到Kafka。Change-Data-Capture（CDC）概括地說，就是利用數據庫使用事務日誌（也稱為binlog或re-do log，具體取決於DB風格）， 數據庫中的每個事件（新增、修改與刪除)都寫入該事務日誌。CDC的工具通常通過利用此事務日誌來以非常低的延遲和低影響提取數據庫上發生的事件。
當解決了取得異動資料的這個大難題後, 如果利用快速的資料來進行所謂的串流即時運算來應付Big data裡談的到的velocity(速度)就是一個關鍵點了。
詳細說明請見課程網頁。
課程表
| Tutorial Kafka Agenda | |
| 時間 | 課程內容 |
| 08:40~09:00 | 報到 |
| 09:00~10:30 | ak10: Apache Kafak Connect
|
| 10:30~12:00 | ak11: Debezium (CDC)概念與應用
|
| 12:00~13:00 | 午餐 |
13:00~18:00 | ak12: Confluent KSQL概念
|
| 18:00~18:20 | 晚餐 |
| 18:20~20:20 | ak13: KSQL實用招式
|
| 20:20~20:30 | 結論/後續推動計劃 |
門票與售價
DS01/DS02/DS03 舊生票：
- DS04: Kafka SQL引擎串流運算與整合：舊生票 NT$2,800
DS01/DS02/DS03 舊生票且具臺灣資料工程協會會員：
- DS04: Kafka SQL引擎串流運算與整合：舊生會員票 NT$1,680
注意事項
- 報名此課程者，需自備筆記型電腦
- 網路報名請妥善填寫資料
- 報到時請攜帶報名確認函，以供查驗
- 本課程報名費用皆會開立電子發票，請於報名時提供正確無誤之電子郵件信箱
- 若有其他關於活動票務問題，請與主辦單位聯繫：info@dataengineering.tw
退票方法
- 本活動委由Accupass 代為處理退票退款事宜
- 退票時將酌收10%手續費，且活動前八天內（不含活動日，但包含例假日）不予退票
- 詳請見Accupass 代理退票辦法
主辦單位
- 台灣資料工程協會， FB 社團：https://fb.com/groups/dataengineering.tw
協辦單位
- 緯創IT先進技術實驗室
- 炬識科技股份有限公司
