臺灣資料工程協會第一屆第二季技術工作坊
Taiwan Data Engineering Association Technical Workshop 2018 Q2
基本資訊
- 時間：2018-05-12 (六) 10:00~16:00
- 地點：台北市羅斯福路 4 段 85 號 B1 (集思台大會議中心 洛克廳)
- 主辦：臺灣資料工程協會 Taiwan Data Engineering Association
活動議程
| 時段 | 講者 | 講題 |
| 09:30~10:00 | 開放報到 | |
| 10:00~10:10 | 開場 | |
| 10:10~10:50 | 曾睦欽 |
大數據系統與影像辨識整合研究心得 |
| 11:00~11:40 |
賴義偉 |
探索海量文章，ElasticSearch 建置和應用 |
| 11:40~13:10 | 午餐自理 / 臺灣資料工程協會第一屆第三次理監事會議 |
|
| 13:10~13:50 | 郭二文 |
Druid + Superset (資料的快速通道) |
| 14:00~14:40 | 黃介榮 Randy Huang |
From databases to data democracy |
| 15:00~15:25 | 楊立偉 Li-Wei Yang |
閃電講一：孟母三遷 - Data warehouse 搬遷實錄 |
| 15:30~15:55 | 洪 亮 Luke Hong |
閃電講二：從入門 Data Pipeline 邁向 ML Pipeline |
| 16:00~16:30 | 台灣資料社群 暨 協會成員 線下交流時間 | |
※ 主辦單位保留活動議程順序變更之權利，如有不便尚請見諒。
議程摘要
| 曾睦欽 | 10:10~10:50 |
| 大數據系統與影像辨識整合研究心得 |
|
| 現階段影像辨識技術已經成熟的運用在生活各個層面，例如:機場通關、刷臉解鎖、花草照顧動物養殖，但是有些應用需要大量的攝影機:無人商店、監獄監視囚犯，光亞馬遜一間無人商店就使用了5000支監視器，如此龐大的資訊流量處理與分散式運算就是個大問題，本次演講從CNN演算法角度開始介紹到系統端 Kafka、Spark、Tensorflow、MongoDB 等技術採用原因。 1.為何大家都用 GPU 跑深度學習時 Google 卻反過來用 CPU 算? 2.一、二、三代分析架構的差異在哪裡? 本場屬於研究心得性質歡迎各位大數據、AI前輩當場提出質疑與提問。 |
|
| 賴義偉 | 11:00~11:40 |
| 探索海量文章，ElasticSearch 建置和應用 |
|
| 痞客邦擁有全台最大的部落格文章數量，全站總共含有 8 億篇文章，每日產出 40 萬篇文章。面對這麼大數量的文章，要如何篩選出有用的文章來提供給應用單位使用呢？本次主題是使用 Elasticsearch 打造公司內部使用的搜尋引擎，進行文章的篩選和處理，維持文章資料庫的品質，並根據應用單位的需求使用搜尋引擎的技術來解決。 |
|
| 郭二文 | 13:10~13:50 |
| Druid + Superset (資料的快速通道) |
|
| 在資料滿滿的年代,你/妳是否常常被要求要設計出能夠實時的收集、串流式的處理、及時的展現與秒級反應的巨量資料分析系統呢? 你/妳是否曾經陷落在機場出関檢查的長長人龍陣中, 看著別人優雅地快速穿過“快速通関”時眼神飄過來的那種“你的不舒服是我的那種舒暢”。接續著2017在DataCon 的 Streaming enrichment 之後, 我們接著介詔與現場展示 Druid 加 Superset 這兩個神兵利器幫大家開通的”資料的快速通道”。我們將以最簡單的架構來展現 Druid 為何如此快速的關鍵點，並利用 Superset 現場拉 UI 來看資料與做資料的視覺化。想知道如何建立屬於自己的“資料的快速通道”嗎？想知道如何處理 TB 的等級的資料量的同時又能讓使用者享受暢快的 Dashboard 嗎？ #Kafka #Druid #Superset #socket.io+AngularJs |
|
| 黃介榮 Randy Huang | 14:00~14:40 |
| From databases to data democracy |
|
| 演講摘要候補。 |
|
| 楊立偉 Li-Wei Yang | 15:00~15:25 |
| 孟母三遷 - Data warehouse 搬遷實錄 |
|
| 因為業務和成本需求，將原本在 IDC Hadoop 集群上的 Hive 搬到 AWS 上，又因為業務和成本需求從 AWS 搬到 GCP，中間多少血淚和撇步將一次與你分享。 |
|
| 洪 亮 Luke Hong | 15:30~15:55 |
| 從入門 Data Pipeline 邁向 ML Pipeline |
|
| 資料工程領域菜鳥從逐漸完善 Data Pipeline 到往 Machine Learning Pipeline 邁進的過程。 |
|
