Iceberg 社区周报 | 2026-W13

2026-03-23 ~ 2026-03-29

📢 公告 (2)

🗳️ 投票 (3)

💬 讨论 (10)

[SPEC] Add 404 response for /v1/config endpoint

3 条回复 · 4 位参与者

讨论主要围绕为 `/v1/config` 端点添加 404 响应的规范提案展开,重点在于区分路由不存在与仓库不存在的场景。经过对错误类型区分机制及路径前缀问题的澄清,社区已达成共识并准备进入投票阶段。

@Kevin Liu: 提议将已获支持的 PR 移至投票环节,并说明可通过 `IcebergErrorResponse` 区分路由缺失(404)和仓库缺失(特定异常)。

@Steven Wu: 虽然理想情况下路径应包含前缀,但鉴于当前 REST 规范结构,同意在此处使用 404 响应。

@Ryan Blue: 澄清配置端点不允许使用前缀,因此不存在前缀与仓库同时指定时的配置冲突问题。

社区对提案达成一致,下一步将发起投票流程以合并 PR。

HostnameVerificationPolicy in TLSConfigurer

1 条回复 · 2 位参与者

讨论主要围绕 TLSConfigurer 中的 HostnameVerificationPolicy 展开,Steve Loughran 分析了 Hadoop 中相关的 SSL 主机名验证代码及其历史遗留问题。Alexandre Dutra 指出社区已达成共识,决定不暴露该策略,并将据此更新代码。

@Steve Loughran: Hadoop 中的 SSLHostnameVerifier 代码源自旧项目,维护极少且包含过时选项(如 IE6 兼容),推测大多数用户仅使用 DEFAULT 模式。

@Alexandre Dutra: 社区已达成共识,不应在接口中暴露 HostnameVerificationPolicy。

初步结论是不对外暴露 HostnameVerificationPolicy,下一步 Alexandre Dutra 将按照此方向更新 PR。

GSoC 2026 idea vetting: Parallel scan task execution in Iceberg Spark readers

1 条回复 · 1 位参与者

Varun Lakhyani 提议将“Iceberg Spark readers 中的并行扫描任务执行”作为 GSoC 2026 项目,旨在通过并行处理优化大量小文件的读取性能。在提案截止日期临近之际,他紧急寻求导师支持,最终 Russell Spitzer 同意担任导师,目前正确认导师注册流程。

@Varun Lakhyani: 已针对 Spark readers 并行执行完成了 POC、设计和基准测试,证明在处理小文件时能显著提升性能。

@Varun Lakhyani: 因 GSoC 提案截止日期紧迫(4月1日前需确定导师),紧急请求社区成员担任导师。

@Russell Spitzer: 同意担任该 GSoC 项目的导师。

Russell Spitzer 已确认担任导师,下一步需确认并完成 GSoC/ASF 官方的导师注册步骤以满足申请要求。

validate-from-snapshot-id support in merge query

0 条回复 · 1 位参与者

讨论主要关注 merge query 中是否支持通过配置传递(如 validate-from-snapshot-id)来处理冲突。Somesh Dhal 询问这是否属于功能缺口,Steve Loughran 则提供了关于表更新中乐观冲突处理的相关实验参考。

@Somesh Dhal: 询问向 merge 操作传递配置是否为功能缺口,引用了 PR #7607,并表示愿意提交功能请求。

@Steve Loughran: 建议参考 Chris Douglas 关于表更新中模拟冲突的实验,指出乐观冲突最终会受到速率限制,多表更新受影响更大。

暂无明确结论,Somesh Dhal 计划提出功能请求,Steve Loughran 建议参考相关冲突处理实验以获取更多背景信息。

Signer endpoint: promotion to main spec

0 条回复 · 1 位参与者

讨论主要关于将 Signer endpoint 提升至 Iceberg 主规范的流程。此前 PR 被拆分为规范变更和代码变更两部分,目前规范变更已通过投票并合并。作者现请求社区审查相关的 Java 代码变更。

@Alexandre Dutra: 规范变更投票已通过并合并,现请求社区审查相关的 Java 代码变更(PR #15451)。

@Yufei Gu: 认为相关工作已经完成,准备好开启投票流程。

@Catalog Sync Meeting (via Alexandre Dutra): 决定将原 PR 拆分为规范变更和代码变更两个独立的 PR 分别推进。

规范变更部分已定稿,下一步行动是审查并合并 Java 代码变更。

Signer endpoint: allow extra information in request body

0 条回复 · 1 位参与者

Alexandre Dutra 提议修改 REST 规范,以规范目录服务器向签名者客户端传递任意属性的方式。他提交了 PR #15850 更新 LoadTableResult 文档,并计划在达成共识后发起正式投票。

@Alexandre Dutra: 提议修改 REST 规范以正式支持服务器向签名客户端传递属性,并为此提交了 PR #15850。

@Prashant Singh: 支持该提议,认为这对优化拥有海量文件的大表很有价值,并提到 Polaris 社区计划借此传递 RBAC 信息以减少交互开销。

目前正在征集社区反馈,若达成一致,作者将发起正式的 VOTE 流程。

Test logging improvements

0 条回复 · 1 位参与者

Alexandre Dutra 指出当前测试日志可读性差且缺乏配置灵活性,提议改进日志系统。他提出了两个方案:一是优化 slf4j-simple 默认配置,二是切换至 Logback 以获得更精细的控制。目前作者正在征求社区对这两个方案的意见。

@Alexandre Dutra: 当前测试日志输出到 stderr 导致可读性差,且无法方便地配置日志格式和级别。

@Alexandre Dutra: slf4j-simple 默认的 INFO 级别导致 MockServer 等组件产生过多冗余日志。

@Alexandre Dutra: 建议通过优化 slf4j-simple 默认配置或切换到 Logback 来解决上述问题。

尚未得出结论,目前处于征集社区意见阶段。

REST Spec: generic CatalogObjectIdentifier

0 条回复 · 1 位参与者

Steven Wu 提议在 Iceberg REST catalog 规范中引入通用的 CatalogObjectIdentifier,以解决当前 TableIdentifier 对视图语义不准确且无法扩展至函数等其他对象类型的问题。讨论指出,Events、Functions 和 Universal relation load 等多个并发开发工作均已显示出对统一通用标识符的需求,旨在避免未来类型泛滥。

@Steven Wu: 现有的 TableIdentifier 对视图语义不准确,且无法推广至函数或索引等新对象类型。

@Steven Wu: Events、Functions 和 Universal relation load 等多个并发 PR 均独立表明需要通用标识符。

@Steven Wu: 定义单一可复用模式可防止未来的类型泛滥和命名混乱。

提议已发起,尚无明确结论,需社区审阅设计文档并进行讨论。

cancel 4/8 catalog sync

0 条回复 · 1 位参与者

Kevin Liu 提议取消原定于 4 月 8 日的 Iceberg Catalog 同步会议,因其与 Iceberg Summit 时间冲突。Steven Wu 建议将会议顺延一周至 4 月 15 日,该提议获得采纳。最终,相关人员已完成日程调整及 Google 群组邀请的更新。

@Kevin Liu: 指出 4 月 8 日会议与 Iceberg Summit 冲突,提议取消该次会议。

@Steven Wu: 建议利用 4 月 15 日的空档,将会议推迟一周举行。

@Honah J.: 为保持一致性,已将旧的 Google 群组邀请移至 4 月 15 日。

会议已确认取消原定档期并改期至 4 月 15 日,相关日历和邀请已更新完毕。

v4 - One file commits

0 条回复 · 1 位参与者

Amogh Jahagirdar 发起了关于 Iceberg V4 “单文件提交” 的后续同步,回顾了之前关于合并数据文件/DV条目的共识,并安排了本周五的会议。本次会议将重点讨论文件状态检测、V4升级路径区分以及分区元组建模三个核心议题。

@Amogh Jahagirdar: 上次讨论已达成共识,将采用合并的数据文件/DV条目,并利用高效的列更新机制。

@Amogh Jahagirdar: 提议下次会议重点讨论文件状态变更检测、V4升级路径区分以及分区元组建模。

@Kevin Liu: 已完成会议视频上传并更新了 YouTube 频道权限。

计划于本周五召开同步会议深入讨论相关技术议题,Amogh 将负责更新文档,参与者可补充其他讨论点。

🎫 JIRA (0)

本周新建 0 个 Issue

本周无新建 JIRA。