黃浩軒 所關注的議程

黃浩軒's Favorite Talks

篩選條件

議題

基於Airflow的ETL框架:簡化結構化資料處理流程

TR 209 [[ new Date( '2023-07-29 01:30:00+00:00' ).toLocaleDateString('ja', {year: 'numeric', month: '2-digit', day: '2-digit'}) ]] [[ new Date( '2023-07-29 01:30:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] ~ [[ new Date( '2023-07-29 02:10:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] zh-tw
加入行事曆 加入關注 加入關注 已關注

在資料密集的大型企業中,Airflow經常可以作為ETL排程的工作調度引擎,透過Airflow提供的各種Operator,可以讓我們彈性與自由的撰寫各種基於Python或各種語言的工作(Task),並以DAG定義工作的上下游關係,將資料整理成有用的知識進行AI相關的服務。然而,在一個專注於結構化資料處理的資料科學團隊中,過於彈性與自由的框架反而讓團隊增加了許多維運、溝通與程式碼傳承上的成本。為了解決這個問題,Jeffrey在玉山銀行的智能金融處,開發了一個基於Airflow的ETL框架,讓身處巨量結構化資料中的資料科學家們,可以更簡易的進行規格化的ETL開發,並能夠於其中專注於業務邏輯:包含1) 資料表的欄位定義、2) 驗證邏輯撰寫與3) 轉換邏輯(Transformatioin)的函數撰寫與編排,ETL框架可以自動將以上元素串接上Airflow,並在Airflow UI上可以簡單地檢視這些元素。

講者

林奕勳

林奕勳

Jeffrey Lin (奕勳) 目前就職於玉山銀行智能金融處的技術中心-資料科學組,負責ETL相關工具的開發與Graph技術的研究與開發。興趣是研究Python或Big Data相關的工具或框架。

PyCon TW FHMWYE general (30mins)

TinyML with MicroPython on Raspberry Pi Pico.半套

TR 615 [[ new Date( '2023-07-29 02:00:00+00:00' ).toLocaleDateString('ja', {year: 'numeric', month: '2-digit', day: '2-digit'}) ]] [[ new Date( '2023-07-29 02:00:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] ~ [[ new Date( '2023-07-29 02:30:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] zh-tw
加入行事曆 加入關注 加入關注 已關注

AIoT 時代,如何讓微控制器等級的邊緣裝置做做數據分析?

我們將在本場次說明 * 從 IoT 到 AIoT * tinyML 介紹 * MicroPython 介紹 * 使用 MicroPython 收資料後以 tinyML 在 Raspberry Pi Pico 推論 [DEMO] * 學習資源

講者

sosorry

sosorry

Hi, I'm sosorry.

Open Edge AI & TinyML GUHJYR general (30mins)

使用Python ORM實現資料庫存取和版本控制的實作

TR 511 [[ new Date( '2023-07-29 02:40:00+00:00' ).toLocaleDateString('ja', {year: 'numeric', month: '2-digit', day: '2-digit'}) ]] [[ new Date( '2023-07-29 02:40:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] ~ [[ new Date( '2023-07-29 03:10:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] zh-tw
加入行事曆 加入關注 加入關注 已關注

在這次分享中,我將介紹如何使用Python的ORM進行資料庫存取和DB Schema版本控制的實作。ORM是一種讓我們可以以物件導向的方式操作資料庫的技術,省去直接撰寫SQL查詢語句的麻煩。

首先,我將重點介紹Python中的SQLAlchemy ORM框架,它提供了一套豐富的工具,使我們能夠輕鬆地建立資料模型、執行查詢和進行資料庫遷移等操作。

接下來,我將深入探討資料庫存取的不同情境。我將解釋如何建立資料模型類別,並將其映射到資料庫表格。我們將討論查詢、新增、更新和刪除資料的方法,以及處理複雜的查詢操作,如聯結和聚合。

除了資料庫存取,我還會討論DB Schema版本控制的實作。我將以III DevOps開源專案的實際案例來示範如何使用ORM和Alembic來進行資料庫模型的版本升級。這將確保用戶端的資料庫能自動且安全地完成升級程序,以確保與應用程式版本的一致性。

最後,我們將進行實作示範,展示如何使用Python ORM進行資料庫存取和版本控制。這些示範將讓您體驗到ORM的優勢,並幫助您思考如何在自己的專案中應用這項技術。

這個分享將提供實用的知識和技巧,適合資料庫開發人員、Python開發人員,以及對資料庫存取和版本控制有興趣的人參加。讓我們一起探索使用Python ORM進行資料庫存取和版本控制的實作!

講者

李毅山

李毅山

我是財團法人資訊工業策進會(資策會)的後端工程師,專精於使用Python進行開發工作。目前,我主要負責 III DevOps 開源專案的後端團隊工作。

我擁有豐富的使用Docker、Kubernetes等微服務開發架構的經驗,並熟練應用CI/CD工具。作為後端團隊的負責人,除了參與產品開發,我也在CI/CD工具整合方面提供了寶貴的建議,並將其實現為 III DevOps 平台產品的API自動回歸測試功能。例如黑箱掃描工具WebInspect和OWASP,白箱掃描工具SonarQube和Checkmarx,以及整合測試工具Postman和映像掃描工具Sbom等。

此外,我致力於研究如何有效運用後端技術來控制Kubernetes,以實現DevOps平台中多個團隊共享單一Cluster,並保持彼此獨立的開發測試環境。同時,我也專注於研究如何在保證效率的前提下,讓各個專案的Pipeline能夠與後端程式的升級相配合,並自動修改相應的Pipeline YAML檔以實現自動升級。

我對軟體開發技術的創新和團隊合作充滿熱情,並樂於分享Python在後端開發中的實踐方法和解決方案。作為後端工程師,我致力於推動團隊的成長,並提供高品質的技術解決方案。

Miscellaneous Open Source Topics 各種開源議題 BHMDWZ general (30mins)

AI/ML in 5G O-RAN

TR 413-1 [[ new Date( '2023-07-29 05:40:00+00:00' ).toLocaleDateString('ja', {year: 'numeric', month: '2-digit', day: '2-digit'}) ]] [[ new Date( '2023-07-29 05:40:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] ~ [[ new Date( '2023-07-29 06:10:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] zh-tw
加入行事曆 加入關注 加入關注 已關注

In this event, I plan to share various topics related to the AI/ML platform we developed and its application in 5G ORAN architecture. Our goal is to automate, data-driven processes and intelligent systems. To achieve these goals, our discussions will span platform design and data collection, training, inference and deployment of end-to-end AI models.

講者

莊雨樵

莊雨樵

JHAUNG, YU-CHIAO(莊雨樵), Ph.D. candidate Department of Electronic and Computer Engineering(ECE) National Taiwan University of Science and Technology, Taiwan Phone: +886-979255572 TEL: +886-2-2733-3141 #7212

O-RAN in B5G/6G HXNQDM general (30mins)

利用本地端顯卡建立Llama.cpp模型

TR 615 [[ new Date( '2023-07-30 05:00:00+00:00' ).toLocaleDateString('ja', {year: 'numeric', month: '2-digit', day: '2-digit'}) ]] [[ new Date( '2023-07-30 05:00:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] ~ [[ new Date( '2023-07-30 05:30:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] zh-tw
加入行事曆 加入關注 加入關注 已關注

本文將介紹如何利用本地端顯卡建立Meta新推出的大語言模型LLaMA後的c/c++輕量版本Llama.cpp,並利用Micromamba管理其運行環境。 首先,Llama.cpp是一種先進的文本預測模型,類似於GPT-2與GPT-3,但未經過微調,適合於大範疇的問答應用。使用本地端顯卡進行模型訓練能更有效地管理資源。 我們將利用Micromamba,這是一個簡潔、快速且隔離的Python環境管理工具,用於安裝和管理需要的Python庫。 接著,模型訓練的原理主要在於使模型學習如何根據上下文預測下一個文字。訓練完成後,模型將能生成與訓練數據相似的新文本。最後,關於Llama.cpp處理中文的能力,儘管其主要以英文為主,但透過適當的訓練與微調,仍有潛力達到理想的中文生成水平。

講者

Will

Will

hello,我是張奕爲(Will),喜歡挑戰不同領域不同事物,目前Java具備建構全端網站經驗、專案開發方面經歷,約4年的開發經驗,往後將著重於Web Application專案開發。業餘會開發一些自己感興趣的side project

Open Source & AI 開放 AI LXQGDU general (30mins)