[Agenda]
19:00 ~ 19:30 開放入場
19:30 ~ 19:40 開場
19:40 ~ 20:40 AI Gateway：AI 治理的第一步
20:40 ~ 自由交流時間
[Talk Information]
當團隊開始使用多個 LLM Provider 與模型，API Key、成本、權限與服務狀態容易分散在各個應用程式中。AI Gateway 可作為團隊治理 LLM 的共同入口，串接身份識別、政策與預算檢查、模型路由及使用情況記錄。本分享從成本治理出發，介紹 Gateway 如何協助團隊掌握用量與服務表現、管理模型存取並持續最佳化，也說明其能力因產品而異，導入後仍須承擔部署與維運成本。
- 為什麼需要共同管理層：理解 API Key 分散、成本難以歸屬、預算可能超支，以及服務問題不易及時發現等挑戰。
- 成本治理從觀測開始：依模型、團隊或專案掌握用量、Token、延遲與成本，運用數據制定預算、告警及超支處理政策。
- 身份與請求治理：集中管理 Provider 憑證，驗證 Client 身份，並依序執行政策與預算檢查、路由至 Provider，最後記錄用量、延遲與決策。
- 可靠性與故障處理：了解負載平衡、重試與 Failover 等常見能力；實際支援依產品而異。重試可能造成重複計費或執行副作用，串流及已執行 Tool 的請求也需要額外處理。
- 以數據持續最佳化：透過 Metrics 比較模型的速度、成本與錯誤；透過 Dataset 與 Evaluation 檢視回答品質。Semantic Routing 有助於依任務選擇模型，但路由選對不代表回答就正確。
- 評估導入取捨：Gateway 可提供集中管理入口，但也增加部署、監控、升級與高可用維運責任。若團隊規模小、只使用單一 Provider，直接串接可能更簡單。
Target group
- 正在導入 LLM 或 AI 應用的後端與平台工程師
- 負責 API、雲端基礎設施及開發維運的 DevOps／SRE
- 關注模型存取、成本治理、資安與可靠性的技術主管及架構師
主要收穫
了解 AI Gateway 如何成為 LLM 團隊治理的共同入口，掌握從身份識別、政策與預算檢查，到模型路由及用量、延遲與決策記錄的基本流程。能分辨成本與服務觀測、路由最佳化及回答品質評估的不同角色，並理解重試和故障切換的限制。最後可依團隊規模、Provider 數量與維運能力，初步評估導入 Gateway 是否合適。
[Speaker Information]
Che-Chia Chang
Che-Chia Chang 是一名專注於後端開發、開發維運、容器化應用及 Kubernetes 開發與管理的技術專家，同時也是 Microsoft 最有價值專業人士（MVP）。
活躍於台灣技術社群，經常在 CNTUG、DevOps Taipei、GDG Taipei、Golang Taipei Meetup 等社群分享 DevOps、SRE、Kubernetes、雲端與 AI Engineering 相關技術。
個人部落格：https://chechia.net
[Host Information]
- Ben Chen：活動主持人
- Ning Chen：活動規劃
- Kristen Chan: 活動場地規劃
[活動單位]
- 主辦單位：R-Ladies Taipei
- 場地贊助：台北大學統計系
[活動地點]
台北大學民生校區教學大樓九樓
[地點指引]
- 從捷運中山國中站出發，依照 Google Map 路線前往臺北大學民生校區教學大樓。
- 進入教學大樓正門後，搭乘左側電梯至 九樓，再依照指示圖（橘線）找到活動場地。
[注意事項]
基本上這是一個女性學習社群，因此若你不是女性，但出現在我們的實體聚會的話，你很可能被要求以下行為：
- 發言的機會請優先留給女生
- 座位請優先保留給女生
- 必須對 R-Ladies Taipei 有貢獻，例如：請勇敢舉手發問
