** 活動僅限女性報名,如需辦理退款,本活動將委託 Accupass 代為處理相關事宜 **
** 活動有大量的實作練習,需自備電腦 **
** 本次活動為期兩日,需同時報名,不可單日報名 **
【課程簡介】
在工作中使用Python處理資料時,Pandas是你我的好幫手,不過當一次要處理百萬、千萬筆以上資料時,你的Pandas運算是不是也常常吃滿機器的資源,讓你的運算效率大打折扣呢?
在這樣的窘境下,除了擴充硬體資源,你還有可以有其他選擇——利用Spark工具來加速你的資料處理!
這次工作坊,我們邀請經驗豐富的資料工程師Mars以及分析師Nancy,透過實作來帶領學員體驗PySpark工具如何提升資料處理效率。
在兩天的課程中,講師將從PySpark運作原理出發,除了介紹實用的工具知識,也將以電商資料帶著學員進行PySpark實作,並講解實務上的分析應用場景,期望讓大家未來在工作上使用到 PySpark 時,都可以更加得心應手。
為什麼你該認識 PySpark?
- PySpark 使用 Python 語言,因此對於 Python 開發者來說非常容易上手: Python 是目前較熱門的程式語言,開發社群與文件非常多,有很多好的公開資源可利用。如果你已經具備Python基礎,上手PySpark的門檻相對較低。
- PySpark 應用面向廣泛: PySpark 可用於數據分析、機器學習或realtime資料分析等面向,學會使用 PySpark 可以幫助你提升工作技能,拓展未來的應用廣度
(推薦閱讀:Spark官網)
這場工作坊適合的對象
- 工作上常用Python,且經常需要處理龐大的資料者
- 想學習以Python處理巨量資料,增進職涯技能者
- 單純想認識PySpark工具者
* 活動為審核制,會有小測驗評估報名者的 Python & SQL 熟悉度
【課程內容】
[Day 1 上午]
- 為什麼要學 PySpark?
- 常見的資料處理方法
- PySpark 基礎語法練習
[Day 1 下午]
- 以電商資料為例,使用 PySpark 進行資料處理與數據分析
[Day 2 上午]
- PySpark 優化
- PySpark 寫檔
[Day 2 下午]
- PySpark UDF(User Defined Function)
- PySpark 與 Cloud Service 實務應用分享
- 資料工作者業界分工經驗分享
【課程特色】
* PySpark工具運作原理講解
* 提供電商領域資料集作為案例,透過實際操作了解PySpark工具應用
* 業界經驗分享
* 為了維護學習的品質,課程為小班制,講師/助教與學員比 1:5
【講師介紹】
Mars Weng
在電商領域多年的資料工程師,技能主要圍繞在:Data Pipeline(PySpark, Airflow, Crawling)、Data Infrastructure designing,也有帶領團隊的經驗。解決問題是 Mars 的核心精神,不只寫程式可以達到這個目的,培養夥伴學習程式也是一個很好的解答,對於教育、培訓領域有很大的興趣,目前在 PyLadies 負責帶領初探 Python 或是想了解網路爬蟲、資料工程領域的人。
Nancy Wang
在電商領域多年的資料分析師,喜歡運用各種資料分析、視覺化工具解決實際的商業問題,也喜歡與人討論、交流,這些過程中總是能挖掘出新的想法與分析面向。
Nancy 在數位廣告業、金融業、電商領域皆有資料分析經驗,現職在 LINE 電商部門負責如數位行銷、產品分析、客群分析和網頁行為等項目。於此同時,Nancy也擔任 PyLadies 講師組組長,與講師們一起提供 Python 入門課程、規劃主題式 Workshop,期望鼓勵更多人加入學習 Python 的行列。
【適合程度】
* 瞭解 Python 基礎語法者(e.g. 物件與命名、迴圈、串列、字典)
* 瞭解 SQL 基礎語法者 (e.g. SELECT、WHERE、GROUP BY、JOIN...)
* 活動為審核制,會有小測驗評估報名者的 Python & SQL 熟悉度
【活動時間】
日期:10/28 (六) 、10/29 (日)
時間:09:00 - 18:00,午休 1.5 hr,課程時數為 15 hr
【活動地點】
Appier
110台北市信義區松仁路123號(一樓集合)
【費用】
一般票 1600 元
【活動注意事項】
* 08:30 - 09:00 為報到時間,請準時抵達;因場地門禁管控,9:10 後不開放入場
* 12:00 - 13:30 為午休時間,當天活動方會協助統一訂午餐,如不一起訂餐,請事先準備午餐(費用另計,不包含在報名費中)
* 因本次活動場地門禁管制,如非緊急需要,工作坊期間都請在場地內活動
【報名注意事項】
* 本次活動為審核制,限女性參與
* 報名時的小測驗有 2 題 ( 1 題 Python + 1 題 SQL ),建議預留 30 分鐘進行報名
* 報名時除了基本資料及小測驗以外,也會詢問 "報名動機",建議可以事先想好喔
* 本次活動無開發票,若需收據可提前告知 (pyladies.tw@gmail.com)
***** 非常感謝 Appier 提供本次活動場地,支持 PyLadies 社群活動 *****


