黃浩軒's Favorite Talks
在資料密集的大型企業中,Airflow經常可以作為ETL排程的工作調度引擎,透過Airflow提供的各種Operator,可以讓我們彈性與自由的撰寫各種基於Python或各種語言的工作(Task),並以DAG定義工作的上下游關係,將資料整理成有用的知識進行AI相關的服務。然而,在一個專注於結構化資料處理的資料科學團隊中,過於彈性與自由的框架反而讓團隊增加了許多維運、溝通與程式碼傳承上的成本。為了解決這個問題,Jeffrey在玉山銀行的智能金融處,開發了一個基於Airflow的ETL框架,讓身處巨量結構化資料中的資料科學家們,可以更簡易的進行規格化的ETL開發,並能夠於其中專注於業務邏輯:包含1) 資料表的欄位定義、2) 驗證邏輯撰寫與3) 轉換邏輯(Transformatioin)的函數撰寫與編排,ETL框架可以自動將以上元素串接上Airflow,並在Airflow UI上可以簡單地檢視這些元素。
講者
林奕勳
Jeffrey Lin (奕勳) 目前就職於玉山銀行智能金融處的技術中心-資料科學組,負責ETL相關工具的開發與Graph技術的研究與開發。興趣是研究Python或Big Data相關的工具或框架。
AIoT 時代,如何讓微控制器等級的邊緣裝置做做數據分析?
我們將在本場次說明 * 從 IoT 到 AIoT * tinyML 介紹 * MicroPython 介紹 * 使用 MicroPython 收資料後以 tinyML 在 Raspberry Pi Pico 推論 [DEMO] * 學習資源
講者
sosorry
Hi, I'm sosorry.
在這次分享中,我將介紹如何使用Python的ORM進行資料庫存取和DB Schema版本控制的實作。ORM是一種讓我們可以以物件導向的方式操作資料庫的技術,省去直接撰寫SQL查詢語句的麻煩。
首先,我將重點介紹Python中的SQLAlchemy ORM框架,它提供了一套豐富的工具,使我們能夠輕鬆地建立資料模型、執行查詢和進行資料庫遷移等操作。
接下來,我將深入探討資料庫存取的不同情境。我將解釋如何建立資料模型類別,並將其映射到資料庫表格。我們將討論查詢、新增、更新和刪除資料的方法,以及處理複雜的查詢操作,如聯結和聚合。
除了資料庫存取,我還會討論DB Schema版本控制的實作。我將以III DevOps開源專案的實際案例來示範如何使用ORM和Alembic來進行資料庫模型的版本升級。這將確保用戶端的資料庫能自動且安全地完成升級程序,以確保與應用程式版本的一致性。
最後,我們將進行實作示範,展示如何使用Python ORM進行資料庫存取和版本控制。這些示範將讓您體驗到ORM的優勢,並幫助您思考如何在自己的專案中應用這項技術。
這個分享將提供實用的知識和技巧,適合資料庫開發人員、Python開發人員,以及對資料庫存取和版本控制有興趣的人參加。讓我們一起探索使用Python ORM進行資料庫存取和版本控制的實作!
講者
李毅山
我是財團法人資訊工業策進會(資策會)的後端工程師,專精於使用Python進行開發工作。目前,我主要負責 III DevOps 開源專案的後端團隊工作。
我擁有豐富的使用Docker、Kubernetes等微服務開發架構的經驗,並熟練應用CI/CD工具。作為後端團隊的負責人,除了參與產品開發,我也在CI/CD工具整合方面提供了寶貴的建議,並將其實現為 III DevOps 平台產品的API自動回歸測試功能。例如黑箱掃描工具WebInspect和OWASP,白箱掃描工具SonarQube和Checkmarx,以及整合測試工具Postman和映像掃描工具Sbom等。
此外,我致力於研究如何有效運用後端技術來控制Kubernetes,以實現DevOps平台中多個團隊共享單一Cluster,並保持彼此獨立的開發測試環境。同時,我也專注於研究如何在保證效率的前提下,讓各個專案的Pipeline能夠與後端程式的升級相配合,並自動修改相應的Pipeline YAML檔以實現自動升級。
我對軟體開發技術的創新和團隊合作充滿熱情,並樂於分享Python在後端開發中的實踐方法和解決方案。作為後端工程師,我致力於推動團隊的成長,並提供高品質的技術解決方案。
Jupyter是一個集文件、編程及執行環境於一身的作業環境,可說是數據科學家們的最愛,在機器學習的領域中同樣活躍,但有沒有想過即使在風馬牛不相及的DevOps範疇中,Jupyter也能大放異彩呢?
圖像介面簡單易記,但難以處理複雜的自動化任務;指令介面則能勝任複雜任務卻難以使用。Jupyter正好集二者之所長,提供圖像介面來操作複雜的指令,自由地擴充,加入圖文說明,還能透過連結獲得更多資訊或功能。
你甚至可至不用費神學習相關的編程智識,因為一切都可以找ChatGPT幫你代勞。雖然現階段AI難以編寫過於複雜的代碼,但用Jupyter編寫的DevOps的操作台並不會有複雜的互動,正好是能讓AI大顯身手的場合。
講者將會分享如何在AI的輔助下把Jupyter客制成DevOps用的操作面板。
講者
Ben Lau
Ben Lau是一位來自香港的開源軟件開發者,曾經擔任香港的Linux User Group的副會長,是2016及2017年的Qt Champion,他也是「封鎖內容農場」這個Chrome套件的作者,他還制作過一款叫做「Dualless」的套件,最高的用戶數達到200萬之多。
In this event, I plan to share various topics related to the AI/ML platform we developed and its application in 5G ORAN architecture. Our goal is to automate, data-driven processes and intelligent systems. To achieve these goals, our discussions will span platform design and data collection, training, inference and deployment of end-to-end AI models.
講者
莊雨樵
JHAUNG, YU-CHIAO(莊雨樵), Ph.D. candidate Department of Electronic and Computer Engineering(ECE) National Taiwan University of Science and Technology, Taiwan Phone: +886-979255572 TEL: +886-2-2733-3141 #7212
由國內瑞昱大廠與資策會極力推廣,比ESP32 CAM具有AI功能的升級開發板HUB8735(AmebaPro2),增加內置NPU AI 運算引擎,手把手簡易修改程式即可操作屬於自己的AI模型,其還帶有802.11 a/b/g/n 雙頻Wi-Fi與BLE低耗電藍牙。藉由該議程帶領您了解另外還有奇景光電、新唐所推的SMART-AI-CAM,亦可用於語音、手勢等應用之no-code AI訓練國產開發板,當您遇到資安國安或是標案中指定使用國產晶片,何不來試試可免費申請試用的資策會國產開發板,如效果不錯政府還會幫您免費產品化。
講者
章育銘
資策會講師與工廠智慧化接案人員,通訊大賽、中華電信等多項競賽得獎者,門薩成員。擅長自動化整合、AIoT、深度學習...,參與資策會合作多款國產開發板。
Hugging Face 可以說是 AI 模型的 GitHub。最早他們是為了解決自然語言模型的高難度和不相容而誕生的,到現在上面除了自然語言的開源 AI 模型外,還有有許許多多的開源 AI 模型。根據 Google 內部流出的文件指出,開源的 AI 模型很有可能主導接下來整個產業的發展。也因此 Hugging Face 的角色愈來愈重要。
本次演講是針對 Chatbot 入門新手而設計的,會帶大家使用 Hugging Face 上的自然語言處理模型,並且一步步示範串到 LINE 裡面,做成一個聊天機器人。
講者
Ko Ko
Ko Ko 是微軟 AI 領域的最有價值專家(Microsoft AI MVP),同時也是台灣知名的講者。 他是許多技術年會的講者,包含了 COSCUP、 .NET Conference、ModernWeb、PyCon APAC、DevDays Asia 等等的大型年會,累計已超過萬名聽眾。 他熱愛向聽眾分享他的經驗與所學,並且相信這樣分享的過程中能讓彼此都更進步。 今年(2023)三月初他辦的活動 Global AI Bootcamp 台灣線上場,圍繞在 ChatGPT 的原理與 Azure 自然語言處理的應用,門票 150 張秒殺,並且送出一百張的紀念 NFT,相當受到聽眾歡迎。
本文將介紹如何利用本地端顯卡建立Meta新推出的大語言模型LLaMA後的c/c++輕量版本Llama.cpp,並利用Micromamba管理其運行環境。 首先,Llama.cpp是一種先進的文本預測模型,類似於GPT-2與GPT-3,但未經過微調,適合於大範疇的問答應用。使用本地端顯卡進行模型訓練能更有效地管理資源。 我們將利用Micromamba,這是一個簡潔、快速且隔離的Python環境管理工具,用於安裝和管理需要的Python庫。 接著,模型訓練的原理主要在於使模型學習如何根據上下文預測下一個文字。訓練完成後,模型將能生成與訓練數據相似的新文本。最後,關於Llama.cpp處理中文的能力,儘管其主要以英文為主,但透過適當的訓練與微調,仍有潛力達到理想的中文生成水平。
講者
Will
hello,我是張奕爲(Will),喜歡挑戰不同領域不同事物,目前Java具備建構全端網站經驗、專案開發方面經歷,約4年的開發經驗,往後將著重於Web Application專案開發。業餘會開發一些自己感興趣的side project