開發與部署輕量化的 Wasm+LLM 容器

在本演講中，我將展示如何使用 Rust+Wasm 的軟體架構來設計並管理 LLM 的服務，並透過容器化(crun/WasmEdge)的方式在 podman/docker 與 kubernetes 進行部署與管理。 1. 撰寫你的 LLM 服務，以 Gemma-2b 模型與 OpenAI API 相容的後端為例 2. 使用 Podman/Docker 打包 LLM 服務並發佈到 Container Registry (e.g. dockerhub) 3. 使用 Podman/Docker 部署本地端的 LLM 服務，搭建個人的 ChatGPT 4. 使用 Kubernetes 部署 LLM 服務，並使用 GPU 進行加速

講者

hydai

Hung-Ying Tai (GitHub ID: hydai) is a pioneer in compiler optimization and virtual machine design. He is the maintainer of WasmEdge and CNCF Ambassador. He is a prolific open-source contributor, participating in many open-source projects, including crun, llama.cpp, solidity, and SOLL.