SPIP: Write schema narrowing for column-level UPDATE in DSv2
本讨论旨在改进 DSv2 API,允许连接器声明 UPDATE 操作所需的列,以减少写放大并提升宽表性能。Anurag 提交了 SPIP 提案和 PR,Peter Toth 询问了 Merge-on-Read 和 Copy-on-Write 实现差异,Anurag 随后更新文档详细解释了优化器规则处理流程。
@Anurag Mantripragada: 提议允许连接器声明更新列,以优化 Iceberg 等宽表的性能并减少写放大。
@Peter Toth: 认可模式解析流程,但要求澄清 MOR 和 CoW 实现之间的具体规则差异。
@Anurag Mantripragada: 解释 MOR 通过标准优化器流水线处理裁剪,而 CoW 需在分析阶段提前处理,因为优化器规则触发时机不同。
Anurag 已根据反馈更新了 SPIP 文档以澄清技术细节,讨论目前处于等待进一步审查的阶段。