Spark 社区周报 | 2026-W27

2026-06-29 ~ 2026-07-05

📢 公告 (0)

本周无公告

🗳️ 投票 (6)

💬 讨论 (3)

SPIP: Cloud Credential Refresh and Distribution Without Kerberos

5 条回复 · 3 位参与者

讨论核心在于明确该 SPIP 与 OIDC 凭证传播提案的关系,Peter Toth 论证了两者互补而非冗余,因为现有 DT 框架支持 Kafka SCRAM 等 OIDC 无法覆盖的场景。参与者确认 HADOOP-19906 为独立问题不阻碍本提案,并一致同意采纳移除 DirectTokenProvider trait 的简化方案。目前提案已更新,计划于周一开始投票。

@Peter Toth: 澄清了 JDK 25 的行为机制,论证本 SPIP 与 OIDC SPIP 互补(覆盖 Kafka SCRAM 等场景),并建议将 HADOOP-19906 作为独立问题处理。

@Parth Chandra: 确认了技术分析无误,支持移除 DirectTokenProvider trait 以简化实现,并已更新提案文档。

@Cheng Pan: 认可了提案间的互补性分析,消除了对功能冗余的顾虑,同意 HADOOP-19906 不作为阻碍项。

已根据讨论意见(移除 DirectTokenProvider trait)更新了 SPIP 文档,计划于周一开始投票流程。

SPIP: Write schema narrowing for column-level UPDATE in DSv2

0 条回复 · 1 位参与者

该讨论主要关于 DSv2 中列级 UPDATE 的写入模式收缩提案(SPIP)。作者根据反馈完善了设计,明确了其对 UPDATE 和 MERGE 操作的支持细节。目前提案已准备就绪,作者计划近期发起投票。

@Anurag Mantripragada: 根据反馈更新了 SPIP 文档,详细说明了该设计如何同时支持 UPDATE 和 MERGE 操作。

@Anton Okolnychyi: 认为该方法合理,且将设计泛化以支持 MERGE 是一个很好的改进。

@Anton Okolnychyi: 认为这是对 Spark DML 操作的有价值补充,Delta 和 Iceberg 都会使用该功能。

提案已准备就绪,下一步将发起投票。

Decouple our CI from branch-specific logics

0 条回复 · 1 位参与者

讨论主要关于将 Spark 的 CI 系统与特定分支逻辑解耦,以解决当前 master 分支工作流文件控制所有分支 CI 导致的耦合和结果不一致问题。Tian Gao 指出定时任务依赖 master 工作流是问题根源,建议各维护分支应独立使用自己的工作流文件,Ruifeng Zheng 对此表示支持。

@Tian Gao: 当前 CI 设置因定时任务依赖 master 分支工作流,导致维护分支与 master 耦合及结果不一致,建议各分支独立管理自己的工作流文件。

@Ruifeng Zheng: 支持该方向,认为从长远来看这将降低维护成本。

初步达成共识,认为解耦是正确的方向,但具体的实施方案或后续行动尚未在邮件中明确。

🎫 JIRA (0)

本周新建 0 个 Issue

本周无新建 JIRA。