低コスト分析基盤として DuckDB を採用したら S3 読み込みがボトルネックになった話
2026年2月12日 16:00
1. はじめに
こんにちは。PKSHA Technology で SWE をしている須藤です。
私の所属する PKSHA Speech Insight(PSI)チームでは、分析基盤として DuckDB + Lambda + S3 Parquet という構成を検討しました。ローカルでの検証では問題なく動いていたのですが、S3 に繋いだら想定より遅く、原因調査と改善をしました。本記事では、その過程で得た知見を共有します。
なぜ DuckDB なのか
分析基盤を構築するにあたり、Athena や Redshift Serverless も検討しました。
スケーラビリティや運用面ではこれ...