0 条回复 · 1 位参与者
讨论主要关于通过改进 Spark Connect 来消除本地开发测试循环中的启动时间。Nicholas Chammas 将原本的 `spark connect` CLI 方案扩展为更通用的 `spark` CLI 提案,并准备推进实施,目前正寻求 committer 的支持。
@Nicholas Chammas: 提议将 `spark connect` CLI 扩展为更通用的 `spark` CLI。
@Nicholas Chammas: 用户应能通过 `.remote(“local”)` 发现现有的 Connect 服务器。
@Nicholas Chammas: 已准备好推进方案,但需要 committer 在相关讨论帖中给予支持。
作者已在新线程中提出扩展后的 CLI 提案,下一步行动是等待 committer 在该线程中发表意见并提供支持。
0 条回复 · 1 位参与者
Walaa Eldin Moustafa 发起讨论,旨在确定 Iceberg 物化视图 Spark 实现中的“读时路由”架构。邮件详细对比了基于 DSv2 Catalog 和基于 Catalyst Analyzer 两种路由方案的实现机制与权衡,寻求社区对架构决策的建议。
@Walaa Eldin Moustafa: 提出 DSv2 Catalog 路由方案,优点是与 Spark 4.2 新 API 契合且逻辑边界清晰,缺点是跨 Catalog 依赖处理复杂。
@Walaa Eldin Moustafa: 提出 Catalyst Analyzer 路由方案,通过 Catalyst 规则将新鲜 MV 重写为存储表标识符来实现路由。
目前尚无定论,正在向 Iceberg 和 Spark 社区征集反馈以确定最终架构方案。
0 条回复 · 1 位参与者
讨论主要围绕两个 SPIP(云凭证刷新与 OIDC 凭证传播)是否存在功能冗余展开。Parth Chandra 指出该 SPIP 覆盖了 OIDC 方案无法支持的特定场景(如 Kafka SCRAM、现有 Hadoop 绑定及非 JWT 令牌),论证了其独立存在的必要性。
@Cheng Pan: 认为同时实现两个 SPIP 会造成功能冗余,增加系统复杂性和诊断难度,倾向于使用 OIDC 方案。
@Parth Chandra: 指出该 SPIP 覆盖了 OIDC 不支持的场景,包括 Kafka SCRAM 委派令牌、现有 S3A/ABFS 绑定以及非 JWT 的专有 IdP 系统。
@Parth Chandra: 澄清了技术细节,指出 DirectProviderPath 不受 JDK 变更影响,但现有的 Kerberos 路径需要更新。
暂无最终定论,Parth Chandra 通过列举 OIDC 方案的功能盲区,反驳了合并提案的观点,建议保留该 SPIP 以支持更多样化的凭证场景。
0 条回复 · 1 位参与者
Max Gekk 发起关于扩展 Spark 日期时间支持的讨论,重点引入纳秒级 TIMESTAMP_NTZ/LTZ 和 TIME(p) 数据类型,旨在实现 ANSI 标准对齐。目前相关子任务积压已整理完毕,包含适合新手的入门任务以及向量化读取等复杂功能,欢迎社区开发者认领贡献。
@Max Gekk: 主要工作包括支持纳秒级时间戳(精度 7-9)和 TIME 数据类型(精度 0-9),目标是与现有 DATE/TIMESTAMP 功能对等并符合 ANSI 标准。
@Max Gekk: 已准备好一系列独立的子任务,既有适合首次贡献者的“starter”任务,也有涉及流式处理、CBO 估算等较复杂的工作。
@Max Gekk: 鼓励开发者通过在 Jira 上评论认领任务并提交 PR 的方式参与贡献。
感兴趣的开发者可在 Jira 上认领未解决的子任务并提交 PR,Max Gekk 将协助解决开发中的阻碍。