ノーマルビュー

Received — 2026年2月13日 Zennのトレンド

低コスト分析基盤として DuckDB を採用したら S3 読み込みがボトルネックになった話

著者:msuto
2026年2月12日 16:00
1. はじめに こんにちは。PKSHA Technology で SWE をしている須藤です。 私の所属する PKSHA Speech Insight(PSI)チームでは、分析基盤として DuckDB + Lambda + S3 Parquet という構成を検討しました。ローカルでの検証では問題なく動いていたのですが、S3 に繋いだら想定より遅く、原因調査と改善をしました。本記事では、その過程で得た知見を共有します。 なぜ DuckDB なのか 分析基盤を構築するにあたり、Athena や Redshift Serverless も検討しました。 スケーラビリティや運用面ではこれ...

💾

❌