FutureX·数据库行业 第59期 11/11
本期要点
· ClickHouse 收购 Xata,托管 Postgres 转 GA
· QuestDB 10.2.0:多维聚合与物化视图行级保留
· PuppyGraph 获 1000 万美元 A 轮,让 agent 把数仓当图查
· Neumann:GenDB-V 22–61 倍提速属基准过拟合
· 七款云数仓横评:同一负载年成本相差近 3 倍
· Cloudflare 重构 D1 控制平面,日活库一年增 18 倍
版本与产品发布
ClickHouse 平台扩张:Managed Postgres 在 AWS 上 GA,Observability 公测、Security 私测 · oltp
ClickHouse 11 月 9 日(美东)宣布了它所说的"ClickHouse Cloud 上线以来最大一次扩张",客户数超过 5,000 家,包括 DoorDash、Ramp、Meta、Tesla、Cisco、Visa。9 月时公司披露的数字是 4,000 余家。这次的核心是 Managed Postgres 结束 beta、正式 GA。它 5 月进入公测,目前只在 AWS 上 GA,GCP 仍是私测,官方称"即将 GA"。这款服务跑的是未改动的 PostgreSQL,存储放在本地 NVMe,面向高吞吐、长期运行的生产负载。公司称过去 10 个月性能最高提升 10 倍,已有数百家生产客户,其中有多 TB 级的企业负载,这些数字均为厂商自报。
和 ClickHouse 的联动有三条路径:开源的 WalShadow 消费物理 WAL,做亚秒级复制;ClickPipes 复制不额外收费;pg_clickhouse 让应用经 Postgres 接口查询 ClickHouse。GA 后 beta 折扣取消,备份存储和公网 egress 开始计费,原生 ClickHouse 连接和 ClickPipes 复制仍包含在内。其他产品线方面,ClickHouse Observability 进入公测,ClickHouse Security 进入私测,Langfuse 一侧新增 AI Gateway,Managed Postgres 还规划了面向 agent 沙箱和 agent 记忆的独立层级,后者仍是路线图。
上周 Postgres 厂商 EDB 收购 ClickHouse 服务商 Altinity,这周 ClickHouse 反向补齐 Postgres。"Postgres 管事务、ClickHouse 管分析"的一体化栈,正在同时与 Databricks Lakebase(Neon)、Snowflake Postgres 争夺同一批应用团队。[1]
QuestDB 10.2.0:GROUPING SETS / ROLLUP / CUBE、物化视图行级保留、WAL 断电持久化 · olap
时序数据库 QuestDB 发布 10.2.0。GROUP BY 和 SAMPLE BY 都支持 ROLLUP / CUBE / GROUPING SETS 以及 GROUPING()、GROUPING_ID(),一次扫描即可同时出小计和总计。官方也写明了代价:grouping sets 没有向量化,PR 自带的基准里,串行执行比等价的 UNION ALL 慢 1.4 倍,并行时最多慢 6.9 倍。
其余改动:
· 物化视图新增 passthrough 形态,即带 WHERE、不带 SAMPLE BY 的实时过滤副本,并配合 EXPIRE ROWS 做行级保留,支持 KEEP LATEST、KEEP N HIGHEST/LOWEST 等策略。
· 新增 DEDUP SKIP 模式,保留最先写入的那一行。
· WAL 表可通过 cairo.commit.mode=adaptive 开启断电持久化,属可选项。
升级前要先读破坏性变更:10.2.0 在库上运行过之后,不支持降级再升级;用 LIMIT 或嵌套窗口函数建物化视图的语句会被拒绝。多维聚合在 ClickHouse 里早已是基础能力,Apache Pinot 上月 1.6.0 也补上了。QuestDB 这次跟进,说明时序库正在补齐通用 OLAP 的 SQL 能力。[2]
其他版本动态:Weaviate v1.40.5 / v1.39.16 / v1.38.25(schema 改动后重建索引改进、Embeddings 模块与 RBAC 修复)[3];Milvus v3.0.6(修复加载中集合新增字段后的加载提示)[4];LanceDB v0.42.0-beta.9~beta.10(计算列改按会话的 DataFusion 函数规划,属破坏性变更)[5];YugabyteDB 2026.1.4.0 / 2025.2.9.0 回补构建 [6]
数据库 × AI
Snowflake CoCoEvolve:用编码 agent 优化 AI Functions,AI_FUNCTION_OPTIMIZATION 进入公测 · ai-native
Snowflake 公布了自研的进化式优化器 CoCoEvolve,可用来迭代改进 prompt、SQL 管道中的 AI Function 和 agent 配置。GEPA、AlphaEvolve 这类同类工具的做法是:挑一个候选版本,把失败样例交给 LLM,一次调用产出改进版。CoCoEvolve 改用 Snowflake 自家的编码 agent CoCo 来做"变异"这一步,它可以检索全部搜索历史,也可以先对线上系统试探验证再提出修改,官方把这叫作"meta-reflection"。在官方构造的合成任务中,对照方法 AdaEvolve 第 34 轮达到 45/50 后就停在原地,文章借此说明只看单个父版本的失败样例,优化容易停滞。CoCoEvolve 的轻量版已经作为 SQL 函数 AI_FUNCTION_OPTIMIZATION 开放公测,用户可以直接在 SQL 里优化自己的 Cortex AI Functions。[7]
InfoQ 长文:Harness + Grep 已是强基线,"知识编译"才是 agent 原生数据库的位置 · agent
文章援引 PwC 的研究 "Is Grep All You Need?":给 agent 同时配向量检索和 Grep,Grep 常常更准。作者据此认为,一个设计良好的检索 harness,即便只配简单工具,也能接近复杂 RAG。但数据规模一大,agent 就要反复搜索才能定位答案,token 消耗和延迟都随之上升。作者的主张是参照 Karpathy 的"LLM Wiki"思路,把知识在索引时预先"编译"成可追溯的工件,作为 harness 的上下文供给层。这属于观点文章,没有给出系统实测。[8]
Reco 接入 Databricks Genie agent,纳入跨平台 agent 权限图谱 · agent
agent 安全厂商 Reco 已成为经验证的 Databricks Connected Partner,可以把 Genie agent 和另外 14 个 agent 平台、285 个以上应用的身份与权限放进同一张图,展示谁拥有某个 agent、谁能调用、它能触达哪些数据。Reco 在账户级接入,覆盖 AWS、Azure、GCP 上的全部 workspace,检查 20 个配置端点;只读元数据,不落客户数据,约 12 小时刷新一次。[9]
湖仓 · 开放表格式 · HTAP
AWS 官方给出 ClickHouse 双向读写 S3 Tables 的参考方案 · lakehouse
AWS 存储博客介绍了用 ClickHouse 直接处理 Amazon S3 Tables(托管 Iceberg)的方案。ClickHouse 通过 DataLakeCatalog 数据库引擎连接 S3 Tables 的 Iceberg REST 端点,表桶在 ClickHouse 里显示为一个数据库,可以原地查询 Iceberg 表、用 ClickHouse SQL 做转换,再把结果写回 S3 Tables,数据不另存一份副本。示例用的是自管 ClickHouse。如果需要集中治理、跨引擎细粒度权限或跨账户访问,文章建议改走 Glue Iceberg REST 端点。此前 AWS 已为 DuckDB + S3 Tables 写过同类方案,这次 ClickHouse 也进入了 AWS 官方的 Iceberg 引擎推荐清单,文中还把这种模式延伸到需要反复查询分析结果的 agent 负载。[10]
技术 · 架构 · 性能基准
Cloudflare 重构 D1 控制平面:Postgres 管元数据,ClickHouse 管分析 · cloud
基于 SQLite 的 serverless 数据库 D1 过去一年日活数据库数增长 18 倍,原有控制平面扛不住了。新架构把职责拆到三套存储:Postgres 存事务性元数据,也是"库是否存在、账户额度多少"的权威来源;ClickHouse 负责分析;Workers KV 在全网复制路由数据。查询流量留在边缘,不经过集中式元数据写入。每个 D1 Durable Object 每 30 秒向 Postgres 发一次带抖动的心跳,用来自愈创建或删除失败的残留对象;存储用量改为排队批量的异步更新,避免数百万个库同时写入冲击 Postgres。代价是一致性放宽:路由元数据可能短暂滞后,额度检查也依赖排队中的更新。D1 定价不变。[11]
DBDelve:用 Rust + GPUI 写的开源数据库客户端
Show HN 帖获 120 赞、47 条评论。作者以 Zed、Ghostty 为参照,主打性能和流畅手感,界面用 Zed 的 GPU 渲染 UI 框架 GPUI 构建。作者提到,促使他动手的原因之一是 DBeaver 这类 Java 客户端在旧机器上频繁崩溃。[12]
性能 · 基准
Thomas Neumann 质疑 GenDB-V:22–61 倍 TPC-H 提速来自针对基准的预计算 ⚠️ 基准口径
GenDB-V 论文让 AI agent 合成专用数据库引擎并做形式化验证,报告比 Umbra、DuckDB 快 22–61 倍。Umbra 作者、慕尼黑工业大学教授 Thomas Neumann 11 月 7 日发文反驳。他承认生成代码的正确性检查成立,质疑的是数字本身的含义。
他的第一个论据是硬件下限。SF10 下 22 条查询要读约 15 GB 压缩数据,在 54 GB/s 内存带宽的 Ryzen 9 9950X3D 上,光读完就需要约 280 ms。Umbra 全部跑完用 540 ms,而"快 22 倍"意味着总耗时约 25 ms,低于这条带宽下限。
他的解释有两层。一是 agent 在加载阶段为每条查询预建辅助结构,例如按 s_acctbal 降序的供应商表,让 Q2 几乎不用计算。在 SF100、单线程下,Q2 只需 0.7 ms。二是生成的代码写死了 TPC-H dbgen 的行号与主键的对应规律。代码在运行时会校验这些假设,一旦不成立就退回嵌套循环 join;官方数据不会触发这条退路,但他认为数据中间插入或删除一行,整个系统就可能落到慢路径上。GenDB-V 关闭重型预处理的"普通数组模式"约快 3 倍,Neumann 认为这个数字可信。论文作者 Jiale Lao 回应称,系统面向的是单客户专用引擎,形式化验证才是重点。[13]
CorrDyn × Estuary 七款云数仓成本横评:并发才是成本主因
咨询公司 CorrDyn 与数据管道厂商 Estuary 联合发布了一份横评,测试对象是 Snowflake、Databricks、BigQuery、Redshift、Microsoft Fabric、ClickHouse 和 MotherDuck。测试共 244 条查询,数据量从 1 GB 到 1 TB,并发最高 100 个会话,自动扩缩容全部关闭,数据经同一条 Estuary 管道灌入各系统。主要结果:
· 100 GB 数据、50 个并发用户时,最便宜的引擎约 15 万美元/年,最贵的约 42 万美元/年,报道未点名对应引擎。
· 单用户报表查询在所有数据量下,Redshift 和 MotherDuck 分列第一、第二。
· 1 TB 时,没有任何单个计算单元能在典型响应低于 5 秒的条件下支撑超过 10 个并发用户。
· 同样 1,000 条查询,费用从 0.31 美元到 7.14 美元不等,查询间隙是否停止计费影响很大。
代码、查询文件和原始结果(含失败运行)都已在 GitHub 公开,可以复核。需要注意,Estuary 卖的是多引擎数据管道,"按负载换引擎"的结论与它的商业立场一致。[14]
学界 · 研究前沿
· Retina(arXiv 2611.12169):现有湖仓只在单表上做 git 式 catalog 版本控制,变更吞吐要靠牺牲新鲜度或查询性能来换。Retina 是一个开源的数据同步框架,让湖仓支持实时、完全事务化的数据变更,直接对应 CDC 入湖的老问题。[15]
· Hybrid Product Search Without the Copy(arXiv 2611.11031):在 Apache Pinot 上加入 BM25 打分、全语料词频统计和纯 SQL 的 RRF 融合,直接在 Iceberg 表上做词法、语义和过滤混合检索。在 Amazon ESCI(120 万商品、22,458 条查询)上,nDCG@10 为 .361,与精确检索持平,省掉了单独的搜索引擎和向量库副本。[16]
· DYLAN(arXiv 2611.12539):面向带标签过滤的 ANN 的动态复合索引,支持包含、重叠两类条件及其与或组合,并支持更新,针对的是向量库在高选择性过滤下检索空间被切碎的痛点。[17]
· Agents Propose, Code Verifies, Humans Decide(arXiv 2611.11045):把杂乱的科学数据表导入关系库,LLM agent 只看文件的摘要证据、不看数据本身,产出带类型的提案;由一个含 39 类检查的确定性校验器分结构和语义两轮核对,最后由人审批 schema 和导入。[18]
融资 · 并购 · 商业化
ClickHouse|收购 Xata|金额未披露 · oltp
ClickHouse 宣布已收购"agent 原生 Postgres"公司 Xata,交易条款未披露。Xata 的强项是批量开出带类生产数据的小型短命数据库。它的 copy-on-write 分支据称能在约 3 秒内复制一个数 TB 的库,每个子分支在另一台物理节点上有独立计算;按差异计费,1 TB 库开 50 个分支,费用接近 1 TB 而不是 50 TB;空闲库自动挂起,下次连接约 1 秒唤醒。它还能为每个 PR 自动开分支,并在数据离开生产前做脱敏。Xata 称 Sapien、Enginy、David AI 等客户每周各自要创建数千个分支。以上均为 Xata 自述。
短期内 Xata 服务不变,继续接受注册;等 Managed Postgres 补齐对应功能后再迁移客户。分支、克隆和 scale-to-zero 并入 Managed Postgres 目前还是路线图。ClickHouse 此前已买下 PeerDB(CDC)和 Langfuse(LLM 可观测)。这一笔补上的是 Neon、Supabase、Databricks Lakebase 主打的"每个 agent 一个分支"能力,ClickHouse 托管 Postgres 由此从"高性能生产库"延伸到 agent 开发流程。[19]
PuppyGraph|A 轮|1000 万美元|估值未披露 · agent
图查询引擎 PuppyGraph 完成 1000 万美元 A 轮,由 Particle Future 和 defy.vc 领投,defy.vc 是第二次领投该公司。本轮紧接 1.0 正式版发布。PuppyGraph 不搬数据,直接把数仓和湖仓里已有的表当作一张图来查,与 Neo4j 这类独立图数据库走的是不同路线。公司称 agent 可以跨 3,000 张表拿到亚秒级图查询结果。设计上有几处针对 agent:
· schema 由 AI 辅助起草,人工确认后可用自然语言或 MCP 查询。
· agent 引用了未定义的关系时,查询会被直接拒绝,并返回面向 agent 的错误信息。
· 连接 Snowflake、Databricks 时使用绑定用户身份的短期凭证,行级权限在遍历的每一跳都会检查。
客户包括 AMD、Palo Alto Networks、Coinbase、Datadog、Trend Micro。公司称 ARR 一年增长 7 倍,未披露金额,属单方口径。[20]
云厂商 · 生态 · 监管
Databricks 计划三年在荷兰投资超 5 亿美元 · cloud ⚠️ 计划口径
Databricks 宣布未来三年在荷兰投资超过 5 亿美元,扩建它在欧洲最大的研发中心,本地团队计划翻倍,理由是 Lakebase、Genie 和 Unity Gateway 的需求增长。阿姆斯特丹团队负责 Genie ZeroOps(监控生产负载并给出修复建议的 agent)和 Databricks Apps 等产品。公司还提出到 2030 年在当地培训 4 万人。前一日它另发文阐述对欧洲数据主权的承诺。这笔投资是计划,不是已发生的支出。[21]
Commvault Data Activate for Databricks:备份数据经 OpenSharing 进 Unity Catalog ⚠️ 计划口径
数据保护厂商 Commvault 与 Databricks 推出联合方案:Commvault 管理的企业数据经治理和准备后,通过 OpenSharing 以受治理表的形式共享进 Databricks,由 Unity Catalog 统一管控,供分析、AI 应用和 agent 使用,不必逐个数据源重建连接。早期访问计划 2026 年 12 月在部分 Azure 区域开放。[22]
Apache Doris 适配 Graviton5,VeloDB 借 AWS Marketplace 提速 · olap ⚠️ 厂商口径
AWS 中文客户案例称,在 Doris 版本和数据规模相同的条件下,Apache Doris 跑在 Graviton5 上比 x86 最高快 78%。测试方与具体基准未披露。商业化方面,VeloDB(Doris 原始贡献者创办的商业公司)2026 年上半年在 AWS Marketplace 的订阅销售额,已比 2025 全年高出 50% 以上。两组数字均出自 AWS 与 VeloDB 的联合宣传材料。[23]
来源链接
[1] 〔4 方报道〕Business Wire;01net;news.lavx.hu;Securities.io | 11月10日 https://www.businesswire.com/news/home/20261109580526/en/ClickHouse-Unifies-Enterprise-AI-Data-Stack-with-Launch-of-Expanded-Platform https://www.securities.io/clickhouse-buys-xata-to-add-branching-to-managed-postgres/
[2] 〔来源〕QuestDB | 11月10日 https://github.com/questdb/questdb/releases/tag/10.2.0
[3] 〔来源〕Weaviate https://github.com/weaviate/weaviate/releases/tag/v1.40.5 https://github.com/weaviate/weaviate/releases/tag/v1.39.16
[4] 〔来源〕Milvus https://github.com/milvus-io/milvus/releases/tag/v3.0.6 https://github.com/milvus-io/milvus/releases/tag/pkg%2Fv3.0.6
[5] 〔来源〕LanceDB https://github.com/lancedb/lancedb/releases/tag/v0.42.0-beta.9 https://github.com/lancedb/lancedb/releases/tag/v0.42.0-beta.10
[6] 〔来源〕YugabyteDB https://github.com/yugabyte/yugabyte-db/releases/tag/2026.1.4.0-b41 https://github.com/yugabyte/yugabyte-db/releases/tag/2025.2.9.0-b73
[7] 〔来源〕Snowflake | 11月10日 https://www.snowflake.com/en/blog/engineering/optimize-cortex-ai-functions-cocoevolve/
[8] 〔来源〕InfoQ.cn | 11月9日 https://www.infoq.cn/article/49JGp1l7v97riBlPpZ1q
[9] 〔2 方报道〕Yahoo Finance;lincolnjournal.com | 11月10日 https://finance.yahoo.com/technology/ai/articles/reco-delivers-continuous-visibility-security-140300224.html
[10] 〔来源〕Amazon Web Services (AWS) | 11月11日 https://aws.amazon.com/blogs/storage/bring-high-performance-analytics-to-your-lakehouse-with-clickhouse-and-amazon-s3-tables/
[11] 〔来源〕news.lavx.hu | 11月8日 https://news.lavx.hu/zh-Hans/article/cloudflare-chong-xin-she-ji-d1-kong-zhi-ping-mian-yi-zhi-chi-shu-bai-wan-ge-shu-ju-ku
[12] 〔来源〕Hacker News | 11月10日 https://news.ycombinator.com/item?id=50427934
[13] 〔来源〕news.lavx.hu | 11月7日 https://news.lavx.hu/article/gendb-v-reports-22x-to-61x-tpc-h-speedups-critique-calls-them-benchmark-overfitting
[14] 〔来源〕IT Brief UK | 11月9日 https://itbrief.co.uk/story/benchmark-shows-cloud-warehouse-costs-can-vary-wildly
[15] 〔来源〕arXiv https://arxiv.org/abs/2611.12169
[16] 〔来源〕arXiv https://arxiv.org/abs/2611.11031
[17] 〔来源〕arXiv https://arxiv.org/abs/2611.12539
[18] 〔来源〕arXiv https://arxiv.org/abs/2611.11045
[19] 〔2 方报道〕news.lavx.hu;Securities.io | 11月10日 https://www.securities.io/clickhouse-buys-xata-to-add-branching-to-managed-postgres/
[20] 〔3 方报道〕SiliconANGLE;citybiz;Tech Funding News | 11月10日 https://siliconangle.com/2026/11/10/puppygraph-raises-10m-to-let-ai-agents-query-enterprise-data-as-a-graph/ https://www.citybiz.co/article/931919/puppygraph-raises-10-million-series-a-to-expand-enterprise-ai-data-query-platform/
[21] 〔来源〕Databricks | 11月10日 https://www.databricks.com/company/newsroom/press-releases/databricks-invest-more-500m-netherlands-accelerate-enterprise-data https://www.databricks.com/blog/databricks-commitment-european-sovereignty
[22] 〔2 方报道〕PR Newswire;Stock Titan | 11月10日 https://www.prnewswire.com/news-releases/commvault-and-databricks-unlock-trusted-enterprise-data-for-ai-302934181.html
[23] 〔来源〕Amazon Web Services (AWS) | 11月8日 https://aws.amazon.com/cn/solutions/case-studies/apache-doris/