choupi 所關注的議程

在資料密集的大型企業中，Airflow經常可以作為ETL排程的工作調度引擎，透過Airflow提供的各種Operator，可以讓我們彈性與自由的撰寫各種基於Python或各種語言的工作(Task)，並以DAG定義工作的上下游關係，將資料整理成有用的知識進行AI相關的服務。然而，在一個專注於結構化資料處理的資料科學團隊中，過於彈性與自由的框架反而讓團隊增加了許多維運、溝通與程式碼傳承上的成本。為了解決這個問題，Jeffrey在玉山銀行的智能金融處，開發了一個基於Airflow的ETL框架，讓身處巨量結構化資料中的資料科學家們，可以更簡易的進行規格化的ETL開發，並能夠於其中專注於業務邏輯：包含1) 資料表的欄位定義、2) 驗證邏輯撰寫與3) 轉換邏輯(Transformatioin)的函數撰寫與編排，ETL框架可以自動將以上元素串接上Airflow，並在Airflow UI上可以簡單地檢視這些元素。

講者

林奕勳

Jeffrey Lin （奕勳） 目前就職於玉山銀行智能金融處的技術中心-資料科學組，負責ETL相關工具的開發與Graph技術的研究與開發。興趣是研究Python或Big Data相關的工具或框架。

AIoT 時代，如何讓微控制器等級的邊緣裝置做做數據分析？

我們將在本場次說明 * 從 IoT 到 AIoT * tinyML 介紹 * MicroPython 介紹 * 使用 MicroPython 收資料後以 tinyML 在 Raspberry Pi Pico 推論 [DEMO] * 學習資源

講者

sosorry

Hi, I'm sosorry.

Tensor Operator Set Architecture (TOSA) 提供了一套常用於深度神經網路的全張量操作。其目的是使得在不同處理器 (CPU, GPU, NPU) 上運行的各種實現規範，能夠在 TOSA 層面上保持一致的結果。

講者

Odin Shen

Business Development | AI edge computing specialist | SoC arch. exploration | Semiconductor functional safety expert | Cloud Native Computing | Co-founder TinyML Taipei | Embedded Maker | Kid's Coding Volunteer

隨著機器學習這幾年在各領域的蓬勃發展，AI 開發者們也逐漸想在 MCU 上運行 AI Model ，而 TinyML 社群因此孕育而生，匯集了 MCU/MPU 硬體、系統軟體、模型開發者、應用開發者來研討如何強化 ML 在 Tiny Devices 的各式機會。另一方面， AI Benchmark 的組織 MLCommons 也注意到 AI 開發者們在 Tiny Devices 上的需求，而開發了 MLPerf Tiny ，其為目前用來測量 AI on MCU 上最權威的 benchmark，AI developer在挑選 MCU 時，首重的就是 MLPerf Tiny 跑分的成績。Skymizer 在今年六月公佈的 MLPerf Tiny 上 ONNC 的跑分成績在所有的 benchmarks上，效能與記憶體使用量均優於 MicroTVM。我們使用了兩種不同的 MCU – STM 與新唐 – 搭上兩種不同的作業系統 Zephyr 與 mbedOS，在效能上達到 6%~33% 不等的優勢。

在本篇演講裡，我們會先介紹 TinyML 社群以及市場趨勢，再來介紹 Skymizer 參與 MLPerf Tiny 的經驗、與 ONNC 如何以編譯器的角度來優化 AI Model 在硬體上運行的效能。

講者

Luba Tang

Luba Tang is the founder and CEO of Skymizer Taiwan Inc., which is in the business of providing system software to IC design teams. Skymizer’s system software solutions enable AI-on-Chip design houses to automate AI application development, improve system performance, and optimize inference accuracy. Luba Tang’s research interests include electronic system level (ESL) design, system software, and neural networks. He had focused on iterative compilers, ahead-of-time compilers, link-time optimization, neural network compilation, and neural network optimization. His most recent work focuses on exploiting various types of parallelism from different accelerators in a hyper-scale system-on-chip.

講者

謝政道

Dr. Cheng-Tao Hsieh is the Compiler Team Lead at Skymizer, leading the development of ONNC. His research expertise includes static analysis of peak power and automatic addition of redundant circuitry to tolerate delay variation, as well as experience in low-power high-level synthesis targeting FPGAs. Prior to joining Skymizer, he held a position in EDA at Qualcomm and earned a Ph.D. in Computer Science from NTHU. His professional knowledge and leadership contribute significantly to the team’s growth and product innovation.

講者

Peter Chang

Peter Chang is the business development manager and the co-founder of Skymizer Taiwan Inc. His research interests span areas in operating systems, virtualization, and computer architecture. Currently, he focuses on topics in hardware/software co-design and benchmarking on Machine Learning. He is also devoted to participating in the MLPerf Tiny and TinyML communities. He was also the maintainer of SkyPat, an open-source performance unit-test suite, and ARMvisor, one of the Kernel-based Virtual Machine solutions on ARM architecture.

在產生密碼用於加密各種協議，但隨機產生的數怎麼產生的？這些數字真的夠「隨機」嗎？產生亂數又需要多少時間？

在這個議程，想跟大家分享討論這些議題 - 運用 LFSR 得到亂數的手法 - Linux 運用哪些資訊來產生亂數？ - Linux 產生亂數的整個架構 ，/dev/random 和 /dev/urandom 對應到內部哪些實作？ - Linux RNG 如何達到 CSPRNG 要求？ - 如何去評估亂數的好壞，如何確保他「夠亂」

講者

黃柏愷

成大資工系、陽交大資工所畢業 現任職於 Trend Micro

均一教育平台在 2012 年開始製作與台灣課綱相符的教育影片、開發在地化的題目，其中內容包含數學、科學、生物、英文等學科，讓學生在高科技的輔助進行遊戲化的闖關學習，進而推動個人化學習。期望讓每一位孩子，不論出身，都有機會成為終身學習者。從個人延伸到群體成就更好的自己，也一起成就我們更好的未來。

本議程邀請到均一教育平台基金會的副執行長蔡子揚與資料工程師蔡鎮宇，為我們分享如何培養數據驅動的工作文化做出決策及解決問題，以及數據基礎設施的建設，達成資料的有效收集與分析。期望透過本議程，推廣 data centric 的方法，透過科技與合作，提供所有孩子免費且優質的個人化學習內容與環境。同時，均一也會介紹在新的 AI 技術趨勢下，新產品與不同平台間的發展，希望能夠集思廣益，以找到對這個主題有興趣的參與者，一起共創教育的創新發展。

講者

蔡鎮宇

身為一個在求學、求職路上都走過不少彎路的人，一路上碰過不少重大的轉捩點，促使我開始思考「教育」這件事。總覺得台灣的教育探索的內容太少、激發學習欲望的教學太少，讓學習順遂這件事居然變得很需要運氣的加持。連享受這麼多資源、求學路上還算順暢的我，都花了這麼長的時間才找到職涯目標，更不用說擁有較少資源的學生了。

我很喜歡漫畫國王排名裡的一句台詞：「過去的努力不會背叛你」，儘管彎路沒少走，但也慶幸自己即使在彎路上也有好好走完，才造就今天這個想在均一為教育貢獻專業及經驗的我。期待能夠發揮資料的力量，還有在彎路上的收穫，為台灣教育盡一份心。

講者

蔡子揚

對於每位職場上的工作者，我鼓勵大家對自己拋出三個問題：「你從哪裡來、現在在哪裡、你要往哪裡去」。每一段職涯，終究要回到自我的實現，找到工作與個人使命的最大公因數，才能達成一個雙贏的成交。

做為一個教育科技類的非營利組織，均一不是在求生存，而是在追求教育科技領域的自我實現、擁有的是貼近人心的願景。尤其在現在這個階段，組織已經有一定成熟度，有能力的人可以好好發揮所長，很踏實地往前進。回到我自身的願景使命，此刻的均一就是我實踐創業、並傳遞創業家精神的路。

生成式人工智慧 (Generative AI) 鋪天蓋地的進入我們的生活當中,裡面最關鍵的就是進行自然語言處理 (Natural Language Processing) 的大型語言模型 (Large Language Model/LLM)了! LLM動輒數億到上千億的參數量,對執行模型推論的設備所需投入的資金以及消耗的能源非常的可觀,也不是一般大眾可以負擔的起的. 把模型最佳化到可以運行在大家都可以四處取得的設備,尤其是Edge AI裝置,是AI民主化關鍵的推力. Intel OpenVINO toolkit 以及Neural Network Compression Framework (NNCF), 不只提供了許多模型最佳化的演算法, 例如Quantization, Pruning, …等，也提供了讓這些最佳化後模型得以用最高效率執行的軟硬體環境．這一節我們將透過一些實例的分享，讓大家瞭解模型最佳化的威力,以及讓LLM執行在Edge AI設備的方法.

講者

Chungyeh Wang

https://www.linkedin.com/in/chungyeh-wang-5bb23447/ Chungyeh Wang runs AI software & OpenVINO on Intel Deep Learning Accelerators customer enabling for Intel. He loves to dig into customer problems and solve with technology. I have been working on optimizing deep learning applications and collaborating with ecosystem to drive AI revolution.

由國內瑞昱大廠與資策會極力推廣，比ESP32 CAM具有AI功能的升級開發板HUB8735(AmebaPro2)，增加內置NPU AI 運算引擎，手把手簡易修改程式即可操作屬於自己的AI模型，其還帶有802.11 a/b/g/n 雙頻Wi-Fi與BLE低耗電藍牙。藉由該議程帶領您了解另外還有奇景光電、新唐所推的SMART-AI-CAM，亦可用於語音、手勢等應用之no-code AI訓練國產開發板，當您遇到資安國安或是標案中指定使用國產晶片，何不來試試可免費申請試用的資策會國產開發板，如效果不錯政府還會幫您免費產品化。

講者

章育銘

資策會講師與工廠智慧化接案人員，通訊大賽、中華電信等多項競賽得獎者，門薩成員。擅長自動化整合、AIoT、深度學習...，參與資策會合作多款國產開發板。

Generative models on "modern" mobile phones have the potential to revolutionize the way we interact with our devices. They could be used to generate personalized content, create new forms of entertainment, and improve the accuracy of machine translation. However, there are still a number of challenges that need to be addressed before generative models can be used effectively on mobile phones. In this talk, I will use Stable Diffusion and llama.cpp as main examples talk about how people try to address these challenges. Despite these challenges, there is a lot of potential for generative models on mobile phones. As the technology continues to develop, we can anticipate seeing a wide range of new and innovative applications for generative models on mobile devices.

講者

Koan-Sin Tan

Koan-Sin Tan is an old programmer, who learned to use “open source” stuff on VAX-11/780 running 4.3BSD before the term “open source” was coined. He is interested in running neural networks on edge devices the past 7 years. He is a TensorFlow contributor. He converted Stable Diffusion to tflite format and wrote some glue code for it [1].

[1] https://github.com/freedomtan/keras_cv_stable_diffusion_to_tflite/

本文將介紹如何利用本地端顯卡建立Meta新推出的大語言模型LLaMA後的c/c++輕量版本Llama.cpp，並利用Micromamba管理其運行環境。 首先，Llama.cpp是一種先進的文本預測模型，類似於GPT-2與GPT-3，但未經過微調，適合於大範疇的問答應用。使用本地端顯卡進行模型訓練能更有效地管理資源。 我們將利用Micromamba，這是一個簡潔、快速且隔離的Python環境管理工具，用於安裝和管理需要的Python庫。 接著，模型訓練的原理主要在於使模型學習如何根據上下文預測下一個文字。訓練完成後，模型將能生成與訓練數據相似的新文本。最後，關於Llama.cpp處理中文的能力，儘管其主要以英文為主，但透過適當的訓練與微調，仍有潛力達到理想的中文生成水平。

講者

Will

hello,我是張奕爲(Will),喜歡挑戰不同領域不同事物，目前Java具備建構全端網站經驗、專案開發方面經歷,約4年的開發經驗,往後將著重於Web Application專案開發。業餘會開發一些自己感興趣的side project