在 7 * 24 API 巨量 query DB 的服務中，PostgreSQL 中 table 的更新與清除機制優化 By Kater Lin

議題

在 7 * 24 API 巨量 query DB 的服務中，PostgreSQL 中 table 的更新與清除機制優化

TR 410 [[ new Date( '2023-07-30 05:15:00+00:00' ).toLocaleDateString('ja', {year: 'numeric', month: '2-digit', day: '2-digit'}) ]] [[ new Date( '2023-07-30 05:15:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] ~ [[ new Date( '2023-07-30 05:45:00+00:00' ).toLocaleTimeString('zh-Hant', {hour12: false, hour: '2-digit', minute:'2-digit'}) ]] zh-tw

加入行事曆加入關注加入關注已關注

在 7 * 24 API 巨量 query DB 的服務中，更新 table 或是 delete table 中 data 時會有鎖表的問題，導致 API 發查失敗，為了解決這個問題，我們團隊在這段問題上做了一先研究與實驗，在實務上解決這些問題，而且將 PostgreDB 的效能優化，table的存取時間從6小時大幅下降到6分鐘，減少了98.4%的存取時間，也是放了許多 DB 的使用空間。背景知識: 有使用DB的經驗尤佳。

講者

Kater Lin

金融業－資料分析師　2.5y
Designed and developed an ML platform to serve recommendation models by using Airflow for pipeline management, Spark and Kubernetes for feature engineering and training, Kafka, PostgresDB, Redis, REST API for the model serving.
Pushed to using Spark in the division, solve their problem about performance issues.

PostgreSQL.TW FT8X3S general (30mins)