線上活動科技學習

(轉為線上舉辦)【AI高手養成】變形金剛 Transformer 傳說三部曲 : #1 RNN的黃昏 #2 崛起的帝國 #3 侵略視覺聯邦

5,863
33
2021.06.19 (Sat) 09:30 - 08.21 (Sat) 16:30 (GMT+8)加入行事曆

此活動為線上活動,購票後可於票券頁進入直播連結

本活動使用Google Meet進行線上直播,請於活動開始前登入Google帳號。主辦單位將於活動前一日發送直播連結給報名者。

線上活動

此為線上活動,不受地點限制,輕鬆享受活動樂趣!

本活動使用Google Meet進行線上直播,請於活動開始前登入Google帳號。主辦單位將於活動前一日發送直播連結給報名者。

財團法人人工智慧科技基金會(AIF)為您帶來最前沿的技術分享與人工智慧最新發展,本次工作坊將手把手教戰,以Transformer-based深度學習技術為軸,透過深入淺出的講解與簡易的實作來瞭解其基礎理論到進階應用的發展。
財團法人人工智慧科技基金會(AIF)為您帶來最前沿的技術分享與人工智慧最新發展,本次工作坊將手把手教戰,以Transformer-based深度學習技術為軸,透過深入淺出的講解與簡易的實作來瞭解其基礎理論到進階應用的發展。

線上活動

此為線上活動,不受地點限制,輕鬆享受活動樂趣!

本活動使用Google Meet進行線上直播,請於活動開始前登入Google帳號。主辦單位將於活動前一日發送直播連結給報名者。

活動簡介

《 因應防疫 課程轉為線上舉辦 》

經過團隊的反覆討論及思考,變形金剛 Transformer 傳說三部曲 因應防疫改由線上舉辦。

進入疫情警戒第三級以來,疫情變幻莫測,後續的發展狀況非我們所能掌控。所有參加學員及工作人員的健康是我們做出這項決定最關鍵的原因,因此 7/1 經由團隊充分討論決定轉為線上課程。

講師也將配合線上教學調整講授及實做 coding 的授課方式,經過這段時間的線上教學經驗累積,相信可以帶給各位一樣豐富實在的知識內容,歡迎對Transformer有興趣的您踴躍參與。舉辦日期仍維持不變,已購票之報名者憑原購買票券參與所報名的活動場次。

RNN的黃昏 7/24(六)

崛起的帝國  8/7(六)

侵略視覺聯邦 8/21(六)

 

《 同場加映課程 》
 
我們了解活動延期也澆不熄各位對新知的渴望,因此安排 6/19 同場加映線上前導課程 #變形金剛前傳,線上課程時間為 6/19 10:30AM ~ 12:00PM  直接default加贈給報名實體工作坊場次的您,讓您防疫期間也能在線獲得新知! 

Transformer 模型在自然語言任務方面的驚人結果同時也吸引了電腦視覺研究者的目光,
這導致了許多視覺任務上激動人心的進展,也開啟了新的模型設計結構與探索。
只要擁有少許深度學習的概念 (絕無艱深推導,敬請安心服用),本次課程將作為未來三次
進階課程的前導,詳細內容可參考下方課程規劃表格。

◆ 無報名三日工作坊的朋友,也能單獨選購此場線上課程 ◆
 
 

【主題簡介】

Transformer是一種新型的神經網路體系架構,正以一種注意力機制徹底的改變自然語言處理領域。Google開發人員在2017年開創性的論文“Attention is all you need ”中也特別強調了這項技術。

Transformer架構帶來了自然語言處理(NLP)技術的大躍進,近年來更有往電腦視覺領域瀰漫的統合趨勢。這些架構讓使用者可以更容易將它從一個應用領域學到的知識,再運用到另一子領域,來完成各種NLP任務甚至是CV的應用。

讓我們運用三個整天的週六 (7/24、8/7、8/21) ,了解這個2021年備受矚目的Transformer模型,將為未來 AI/DL 格局帶來怎樣突破性的發展。

【需要具備的背景知識/能力/工具】

  • 有 Python 程式設計基礎為佳
  • 有基礎機器學習/深度學習知識
  • 本工作坊課程參與者需自行攜帶筆電,請先行測試筆電是否能連上https://colab.research.google.com/ 並使用。

【議程規劃】

日期

時間

議程

7/24 (Sat)

8/7 (Sat)

8/21  (Sat)

09:00 - 09:30線上報到
09:30 - 09:50開場&介紹
09:50 - 12:30上午課程
12:30 - 13:30Lunch Break 
13:30 - 16:30下午課程

【課程規劃】

 課程內容如下:

  6/19 #線上 變形金剛前傳

1. 首先介紹 "Attention is all you need" 的前世今生,基本 Transformer 模型的強處與弱點。


2. 自我監督和自我注意如何出色地解決自然語言領域的任務。


3. 卷積神經網路 (CNN) 為何適合視覺任務,視覺 Transformer 在廣泛的應用上又靠甚麼追趕甚至超越 CNN 呢?


4. 最後,說明 Transformer 模型在研究上的可能方向與落地應用的挑戰。

 7/24 #1 RNN的黃昏:Attention is all you need

1. 「seq2seq」:包含講授序列到序列模型中 Encoder-Decoder 的架構、理解此深度學習架構所帶來的突破,同時介紹其應用場景。

2. 「Attention mechanism」:旨在說明注意力機制的內涵與實踐,並如何解決 seq2seq 模型的困境與在視覺任務上的增益。

3. 「Transformer」:講授(多頭)自注意力機制,了解 Transformer 設計架構並針對內在原理探討比較,最後實作一個簡單的自動機器翻譯。

 8/7 #2 崛起的帝國:Transformer 模型稱霸 NLP

1. 「Encoder family」:主要講解 BERT 模型的架構與原理,並延伸探討其他針對輸入長度限制或模型輕量化的各家手法。 

2. 「Decoder family」:重點介紹 OPENAI GPT 系列模型的原理與發展,了解其侷限性與可能的改善方向 (如XLnet)。

3. 「SOTA」:簡介目前在許多 NLP 任務上名列前茅的模型與其核心要素,並提供簡易的實作體驗。

4. 最後簡單介紹 NLP 與 Vision Transformer,為下一篇章電腦視覺鋪陳。

8/21 #3 侵略視覺聯邦:領土擴張至 Computer Vision (CV)

1. 「Image classification」:講授如何使用 Transformer 架構做影像分類問題,探討其優缺點,並簡介目前研究中混搭卷積層、改善自注意力機制帶來的資源瓶頸與訓練不易的問題。

2. 「Object detection」:介紹 Transformer 架構如何做物件偵測,其突破要素為何。

3. 「Segmentation & tracking」:介紹 Transformer 架構如何做語意分割與物件追蹤,討論其關鍵要素與優缺點。

【適合對象】

  • 已學過AI,但想進一步跟上AI演算法新潮流之業界、學界人士。
  • 正進行NLP或CV相關之專案,想獲得突破靈感,縮短研究摸索時間之業界、學界人士。

【主辦單位】

財團法人人工智慧科技基金會

【協辦單位】

財團法人三創育成基金會

 

注意事項(7/5已公告轉為線上課程)

針對新冠肺炎疫情,配合政府單位防疫工作,將實施下列防疫措施:
一、建議所有參加者戴著口罩參加活動。
二、入場人員須配合體溫檢測,體溫高於 37.5 度者將予以勸離、不予進入園區,以保障園區人員之健康安全。
三、報到處提供酒精 ,參加者可用酒精消毒。
四、若有感冒、發燒、咳嗽或身體不適請儘快就醫居家休養。
五、過去二週有到國外出差或旅遊,或是有接觸國外地區返台親友,建議勿出席本次活動,以維護彼此的安全健康。
六、其餘未盡事項,請隨時注意政府相關單位公告。
七、如因新冠肺炎疫情,若活動有任何變動,將於前一日以電子郵件通知,以及同步公告在本活動網站,謝謝。

 

個資聲明

財團法人人工智慧科技基金會(下稱本會) 依據個資法第8條為個人資料之蒐集告知。

本會於各項行銷活動之特定目的內蒐集、處理及利用您的個人資料,個人資料類別包含姓名、電話及各活動所須個人資料,該個人資料利用的期間、地區、對象及方式依各活動辦法暨個資法辦理。

您所留下的各項資料,僅供本會、本會之關係企業或合作廠商於活動執行、聯繫、回覆、資料分析等相關事項合理使用。除此之外,本會並不會將您所留的資料提供給他人。

對於您於本會所留的個人資料,仍可依個人資料保護法的規定,來信 hi@aif.tw 向本會行使查詢或閱覽、製給複製本、補充或更正、停止蒐集處理或利用、刪除之權利。

您可自由選擇提供個人資料的程度,但如果您提供的資料有誤或不足時,本會可能無法提供您完整服務。

本會已履行上開告知義務,您同意並瞭解本會蒐集、處理或利用個人資料之目的及用途。如您已參加本會之行銷活動或以電話、email 等方式提供聯繫方式者,視為同意本蒐集、處理及利用個人資料告知事項。

avatar

財團法人人工智慧科技基金會

verified

(轉為線上舉辦)【AI高手養成】變形金剛 Transformer 傳說三部曲 : #1 RNN的黃昏 #2 崛起的帝國 #3 侵略視覺聯邦

2021.06.19 (Sat) 09:30 - 08.21 (Sat) 16:30 (GMT+8)

活動嘉賓

蔡源鴻
蔡源鴻
康文瑋
康文瑋
loading