#database/olap [discuss](https://lists.apache.org/thread/tqyn1cro5ohl3c3fkjb1zvxbo03sofn7) - catalog 如果 table 从外部删除而非通过 Flink SQL DDL，Fink如何删除物理存储。 - log 和 file 集成 file storage需要存储 kafka 的 offset - change tracking batch insert 可以选择不产生变更 场景：修复过去的数据（比如10天前的），流式读取不需要（它只需要最新的） - 数据过期 是否不基于固定的 TTL 而是基于某个 time columns - PK eventual consistency mode vs checkpoint - PK changes是否会产生： - sink with PK：Flink SQL不会产生 UPDATE_BEFORE - database 如 MYSQL，会产生 UPDATE_BEFORE - Upsert-Kafka, 可能不会包含完整/正确的 UPDATE_BEFORE， 所以下游需要有一个 normailized node 来去重（基于 PK 去重） - watermark 写 watermark 到 storage，好处：loop join支持 watermark align