AWS Glue Interactive Sessions 原生支持 Apache Spark Connect
2026-07-07
AWS 宣布 AWS Glue interactive sessions 现已原生支持 Apache Spark Connect。该功能允许开发者使用 PySpark 的 remote() API，在本地环境（如 VS Code）进行开发，而计算和数据处理则在 AWS Glue 的托管基础设施上进行。这打破了传统开发模式中需要在本地模拟集群或频繁打包提交作业的限制，实现了更轻量、高效的交互式开发体验。
📊 数据平台影响：此举显著降低了 AWS Glue 的使用门槛和调试复杂度，提升了数据工程师的迭代效率。通过支持 Spark Connect，AWS Glue 增强了其作为 Serverless 数据集成服务的易用性，使其在与 Databricks 等强调开发体验的竞争对手博弈中，补齐了本地开发体验的短板。