2026-05-11 ~ 2026-05-17
讨论主要围绕是否及如何固定 PySpark 依赖项版本以应对日益增长的供应链攻击风险。Tian Gao 提议针对稳定版本固定依赖，并使用 `pyproject.toml` 作为单一事实来源，Holden Karau 表示支持并移交了相关工作。
@Holden Karau: 指出供应链攻击激增，建议先发布 CI 构建时的包版本，支持单一事实来源的想法。
@Tian Gao: 建议对稳定版本固定依赖，开发分支保持宽松，并提议用 `pyproject.toml` 统一管理所有依赖场景。
@Devin Petersohn: 建议采取行动应对供应链攻击，例如提供带有依赖上限的安装目标。
Tian Gao 将负责基于 `pyproject.toml` 制作原型，并协调相关的 JIRA 单据（SPARK-56924 和 SPARK-31167）以推进工作。
讨论主要围绕 Spark 4.2.0 RC1 的发布计划展开，原定于 5 月 20 日进行。由于发现 DSv2 事务和 changelog 支持存在影响功能可用性的关键阻碍问题，发布者决定推迟 RC1 切割，直至相关修复完成并回植到 branch-4.2。
@Huaxin Gao: 原计划 5 月 20 日发布 RC1，但在确认存在阻碍性问题后，决定推迟发布直至修复就绪。
@Anton Okolnychyi: 指出 DSv2 事务阻碍缓存及 changelog API 缺少选项两个关键问题，并表示正在处理相关 PR。
@Andreas Chatzistergiou: 补充了 DSv2 事务修复相关的具体 JIRA 编号（SPARK-56695 和 SPARK-56995）。
Spark 4.2.0 RC1 发布推迟，下一步将优先解决 SPARK-56961、SPARK-56695 和 SPARK-56995 等问题，预计修复工作将在本周内完成并回植。
Spark 社区正在评估为期 3 个月的 GitHub Issues 实验性试运行结果。发起人 Tian Gao 指出 GitHub 收到的有效反馈数量与 JIRA 相当，且维护成本极低，提议从五个选项中选择下一步方案。讨论主要围绕 GitHub Issues 的便利性与可能造成的社区分裂或混淆展开。
@Tian Gao: GitHub Issues 已被证明有效，有效反馈量与 JIRA 相当，且维护成本低，建议继续推进。
@Antonio Blanco: GitHub 降低了新贡献者的门槛，但存在项目历史在两个平台间割裂的风险。
@Holden Karau: 新贡献者在研讨会中容易混淆平台，误以为 Issues 仅在 GitHub 上，忽略了 JIRA。
尚未达成最终共识，下一步需社区讨论并从 Tian Gao 提出的 5 个选项（如延长实验、仅作讨论、完全迁移等）中做出选择。
讨论主要关注为何 PlanStability 测试套件禁用了自适应查询执行（AQE）。鉴于 AQE 已默认开启，发件人建议测试应包含开启 AQE 的场景，或同时测试两种配置。
@Asif Shahid: 质疑为何 PlanStabilitySuite 禁用了 AQE。
@Asif Shahid: 认为 AQE 既然默认开启，稳定性测试也应开启 AQE 运行。
@Asif Shahid: 提议应同时测试开启和关闭 AQE 两种配置。
暂无明确结论，仅提出了修改测试配置的建议。
讨论主要围绕新的纳秒时间戳类型是否应严格遵循 SQL 标准年份范围（0001-9999）展开，Xiaoxuan Li 担忧这会影响 Parquet 互操作性及外部系统的输出行为。Max Gekk 回应称 Spark 已有逻辑类型与物理编码分离的先例，数据源限制应在读写边界处理，而非 SQL 类型定义中。
@Xiaoxuan Li: 若决定对新类型采用“标准优先”原则，需明确设定先例；指出 Parquet 自定义结构体会导致跨引擎互操作性丢失。
@Xiaoxuan Li: 要求 SPIP 明确超出标准范围的值在 toPandas/toArrow/Iceberg 等输出场景下的具体处理行为（如报错或截断）。
@Max Gekk: Spark 已有将 SQL 逻辑类型与物理编码分离的先例，数据源限制属于读写边界而非 SQL 类型定义。
初步倾向于维持逻辑类型与物理编码分离的设计原则，数据源层面的越界处理建议沿用现有的异常抛出机制，具体实现细节尚待进一步确认。
Nicholas Chammas 提醒社区关注两年前提交的 Jira 工单 SPARK-47180，指出 Univocity 库似乎已停止维护，建议将 CSV 解析迁移至其他方案。社区成员 simnayak 随后回应表示有意查看并跟进该问题。
@Nicholas Chammas: 指出 Univocity 似乎无人维护，提交了迁移 CSV 解析的工单，希望引起社区关注。
@simnayak: 表示有兴趣查看并处理该问题。
目前尚无定论，下一步将由 simnayak 查看工单详情。
讨论主要针对 Spark CI 中 master 分支工作流文件包含分支特定逻辑导致的耦合与不一致问题。Tian Gao 提议通过 `gh workflow run` 命令让计划任务调用特定分支的工作流文件，从而解耦各分支的 CI 逻辑。Ruifeng Zheng 对此表示支持，认为这有助于降低长期维护成本。
@Tian Gao: 现有 CI 因 master 工作流包含分支特定逻辑而产生耦合，导致不同触发方式的 CI 结果不一致。
@Tian Gao: 建议使用 `gh workflow run --ref` 让计划任务运行特定分支的工作流文件，实现解耦。
@Ruifeng Zheng: 认为这是正确的方向，长期来看能降低维护成本。
初步达成共识，将实施提议的变通方案以解耦 CI 逻辑，移除 master 分支中的特定分支逻辑。
社区收到 ASF 警告，指出 Spark 项目的 CI 使用量（35万分钟/周）已超出限额（25万分钟/周），主要原因是双活跃分支导致合并后测试负载过高。Tian Gao 提出了减少测试、优化速度、智能测试及迁移定时任务等应对方案，并强调需在两周内采取快速措施将使用量降至限额以下。
@Tian Gao: 分析了 CI 超标原因，提出五种解决方案（如减少测试、优化 Java 测试速度、迁移定时任务到其他仓库等），并指出有两周时间窗口来解决问题。
@Yicong Huang: 建议将 4.x 分支的合并后测试改为每日定时运行，而非每次提交后运行，以快速削减 CI 使用量。
社区需在两周内实施临时措施（如降低测试频率）以满足 ASF 限额要求，后续再寻求长期优化方案。
讨论关于 Spark 社区是否参加在格拉斯哥举办的 Community Over Code 2026 黑客马拉松。组织者说明了参与要求，社区成员对此表示积极支持与参与意愿。
@rb...@apache.org: 邀请 Spark 社区参加黑客马拉松，需要项目提供联系人、任务列表及宣传支持。
@Huaxin Gao: 确认参与，并主动提出协助提前准备 Spark 任务及在用户列表进行宣传。
@Sruti S / Anand Chinnakannan: 明确表示支持并愿意参与。
社区已初步确认参与该活动，下一步将由 Huaxin Gao 协助准备任务列表并在临近活动时进行宣传。
Peter Toth 提议发布 Apache Spark 4.1.2，旨在处理分支上自 4.1.1 以来积累的约 100 个未发布提交。该提议迅速获得社区广泛支持，多位核心成员投票赞成。目前讨论已达成共识，即将推进发布工作。
@Peter Toth: 发起发布提议，指出自 4.1.1 发布以来分支上已有约 100 个未发布的提交。
@Dongjoon Hyun: 投赞成票，感谢 Peter 的志愿工作，并指出此举有助于验证 Spark 4.1 和 4.2.0 的未发布代码。
@Peter Toth: 在收到多方反馈后，感谢社区的支持与反馈。
社区一致同意发布 Apache Spark 4.1.2，Peter Toth 将作为发布负责人推进后续工作。
本周新建 0 个 Issue
本周无新建 JIRA。