開發與部署輕量化的 Wasm+LLM 容器

By hydai

議題

開發與部署輕量化的 Wasm+LLM 容器

TR212 [[ new Date( '2024-08-04 03:20:00+00:00' ).toLocaleDateString('ja', {year: 'numeric', month: '2-digit', day: '2-digit'}) ]] [[ new Date( '2024-08-04 03:20:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] ~ [[ new Date( '2024-08-04 03:50:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] 中文 Chinese
加入行事曆 加入關注 加入關注 已關注

在本演講中，我將展示如何使用 Rust+Wasm 的軟體架構來設計並管理 LLM 的服務，並透過容器化(crun/WasmEdge)的方式在 podman/docker 與 kubernetes 進行部署與管理。 1. 撰寫你的 LLM 服務，以 Gemma-2b 模型與 OpenAI API 相容的後端為例 2. 使用 Podman/Docker 打包 LLM 服務並發佈到 Container Registry (e.g. dockerhub) 3. 使用 Podman/Docker 部署本地端的 LLM 服務，搭建個人的 ChatGPT 4. 使用 Kubernetes 部署 LLM 服務，並使用 GPU 進行加速

講者

hydai

hydai

Hung-Ying Tai (GitHub ID: hydai) is a pioneer in compiler optimization and virtual machine design. He is the maintainer of WasmEdge and CNCF Ambassador. He is a prolific open-source contributor, participating in many open-source projects, including crun, llama.cpp, solidity, and SOLL.

Kubernetes Community Day Taipei GD8G93 general (30mins)