Spark 社区周报 | 2026-W26

2026-06-22 ~ 2026-06-28

📢 公告 (0)

本周无公告

🗳️ 投票 (3)

💬 讨论 (5)

Eliminating startup time in local dev/test loop

0 条回复 · 1 位参与者

讨论主要关于通过改进 Spark Connect 来消除本地开发测试循环中的启动时间。Nicholas Chammas 将原本的 `spark connect` CLI 方案扩展为更通用的 `spark` CLI 提案,并准备推进实施,目前正寻求 committer 的支持。

@Nicholas Chammas: 提议将 `spark connect` CLI 扩展为更通用的 `spark` CLI。

@Nicholas Chammas: 用户应能通过 `.remote(“local”)` 发现现有的 Connect 服务器。

@Nicholas Chammas: 已准备好推进方案,但需要 committer 在相关讨论帖中给予支持。

作者已在新线程中提出扩展后的 CLI 提案,下一步行动是等待 committer 在该线程中发表意见并提供支持。

CVE-2025-55039: Apache Spark, Apache Spark: RPC encryption defaults to unauthenticated AES-CTR mode, enabling man-in-the-middle ciphertext modification attacks

0 条回复 · 1 位参与者

讨论围绕 CVE-2025-55039 漏洞的修复展开,Akira Ajisaka 发现将加密模式切换为 AES/GCM/NoPadding 会导致 Spark on YARN 作业失败,并为此提交了修复 PR。Holden Karau 对这些更改表示不确定,呼吁熟悉 Tink 和该代码路径的开发者协助审核。

@Akira Ajisaka: 启用 AES/GCM/NoPadding 缓解措施会导致作业失败,已提交修复 PR 并询问合并流程。

@Holden Karau: 对修复 PR 的更改存疑,请求熟悉 Tink 或该代码路径的开发者协助审核。

暂无明确结论,下一步需要熟悉相关代码路径的开发者审核 PR 以推进合并。

Spark routing architecture for Iceberg Materialized Views

0 条回复 · 1 位参与者

Walaa Eldin Moustafa 发起讨论,旨在确定 Iceberg 物化视图 Spark 实现中的“读时路由”架构。邮件详细对比了基于 DSv2 Catalog 和基于 Catalyst Analyzer 两种路由方案的实现机制与权衡,寻求社区对架构决策的建议。

@Walaa Eldin Moustafa: 提出 DSv2 Catalog 路由方案,优点是与 Spark 4.2 新 API 契合且逻辑边界清晰,缺点是跨 Catalog 依赖处理复杂。

@Walaa Eldin Moustafa: 提出 Catalyst Analyzer 路由方案,通过 Catalyst 规则将新鲜 MV 重写为存储表标识符来实现路由。

目前尚无定论,正在向 Iceberg 和 Spark 社区征集反馈以确定最终架构方案。

SPIP: Cloud Credential Refresh and Distribution Without Kerberos

0 条回复 · 1 位参与者

讨论主要围绕两个 SPIP(云凭证刷新与 OIDC 凭证传播)是否存在功能冗余展开。Parth Chandra 指出该 SPIP 覆盖了 OIDC 方案无法支持的特定场景(如 Kafka SCRAM、现有 Hadoop 绑定及非 JWT 令牌),论证了其独立存在的必要性。

@Cheng Pan: 认为同时实现两个 SPIP 会造成功能冗余,增加系统复杂性和诊断难度,倾向于使用 OIDC 方案。

@Parth Chandra: 指出该 SPIP 覆盖了 OIDC 不支持的场景,包括 Kafka SCRAM 委派令牌、现有 S3A/ABFS 绑定以及非 JWT 的专有 IdP 系统。

@Parth Chandra: 澄清了技术细节,指出 DirectProviderPath 不受 JDK 变更影响,但现有的 Kerberos 路径需要更新。

暂无最终定论,Parth Chandra 通过列举 OIDC 方案的功能盲区,反驳了合并提案的观点,建议保留该 SPIP 以支持更多样化的凭证场景。

Contributions welcome: TIME(p) and nanosecond TIMESTAMP_NTZ/LTZ(q)

0 条回复 · 1 位参与者

Max Gekk 发起关于扩展 Spark 日期时间支持的讨论,重点引入纳秒级 TIMESTAMP_NTZ/LTZ 和 TIME(p) 数据类型,旨在实现 ANSI 标准对齐。目前相关子任务积压已整理完毕,包含适合新手的入门任务以及向量化读取等复杂功能,欢迎社区开发者认领贡献。

@Max Gekk: 主要工作包括支持纳秒级时间戳(精度 7-9)和 TIME 数据类型(精度 0-9),目标是与现有 DATE/TIMESTAMP 功能对等并符合 ANSI 标准。

@Max Gekk: 已准备好一系列独立的子任务,既有适合首次贡献者的“starter”任务,也有涉及流式处理、CBO 估算等较复杂的工作。

@Max Gekk: 鼓励开发者通过在 Jira 上评论认领任务并提交 PR 的方式参与贡献。

感兴趣的开发者可在 Jira 上认领未解决的子任务并提交 PR,Max Gekk 将协助解决开发中的阻碍。

🎫 JIRA (0)

本周新建 0 个 Issue

本周无新建 JIRA。