不复制海量数据，直接查询 S3：CSIRO 重构基因组分析架构
本文由「不复制海量数据，直接查询 S3：CSIRO 重构基因组分析架构」的公开内容整理，完整内容与后续更新请点击文末链接阅读原文。
首页 AI会议 hotAI课程 hotAI应用 hot报告 HarmonyOS Snowflake new更多 写点什么 创作场景记录自己日常工作的实践、心得发表对生活和职场的感悟针对感兴趣的事件发表随笔或者杂谈 从 0 到 1 详细介绍你掌握的一门语言、一个技术，或者一个兴趣、爱好 或者，就直接把你的个人博客、公众号直接搬到这里登录/注册登录后可以：收到更感兴趣的内容关注/评论/点赞/收藏观看完整回放视频写文章/发布动态 登录解锁 企业动态行业深度AI&大模型出海后端芯片&算力架构大数据软件工程云计算大前端管理/文化不复制海量数据，直接查询 S3：CSIRO 重构基因组分析架构作者：Leela Kumili田橙2026-11-07北京本文字数：964 字 阅读完需：约 3 分钟00:001.0x 大小：471.28K时长：00:00AI摘要sBeacon 是一种符合 GA4GH Beacon 标准的无服务器基因组变异查询系统，支持原位查询 S3 中的 VCF 文件，无需数据迁移。
其核心创新在于元数据与原始基因组数据分离索引，并利用字节范围请求实现高效区域读取。
元数据独立索引并接入 Ontoserver 支持表型-基因组联合查询；
VCF 文件原地按需读取，避免全量传输；
完全基于 AWS 无服务组件构建，具备跨机构部署能力。
适合生物信息工程师、医疗健康平台架构师、基因组数据平台开发者阅读。
CSIRO 开发了 Serverless Beacon（sBeacon），这是一种用于查询基因组变异数据的无服务器架构，无须将大型基因组数据集复制到中央数据库。
该系统使用 Amazon S3、AWS Lambda、Amazon Athena 和 Amazon DynamoDB，实现了全球基因组学与健康联盟（GA4GH）的 Beacon 标准。
它可以对大型队列进行基因组查询，同时将底层数据保留在原始存储位置。
该架构将基因组数据与搜索所需的元数据分离。
变异调用格式（VCF）文件保留在 Amazon S3 中，疾病状态、年龄和位置等元数据则单独建立索引。
接入数据时，sBeacon 会为元数据创建索引和 Athena 表，并通过 CSIRO 的 Ontoserver 处理本体术语，以支持结合基因组和表型信息的查询。
sBeacon 数据接入架构对于变异查询，API Gateway 会将请求路由至 Lambda 函数，由这些函数确定相关数据集和基因组区域。
变异查询模块使用 bcftools 及其 htslib 库，通过 HTTP 字节范围请求获取 VCF 文件的特定部分。
这样，系统无须传输完整文件，即可读取所需的基因组区域。
查询结果经过汇总后，通过 Beacon API 返回。
CSIRO 前生物信息学产品解决方案架构师 Anuradha Wickramarachchi 在个人 LinkedIn 帖子中强调了数据压缩的重要性：我们认真考虑的一项关键因素，是让数据保持最高程度的压缩。
在数据仍处于压缩状态时直接进行查询，可以带来很大优势。
CSIRO 使用千人基因组计划的 1 号染色体数据对 sBeacon 进行了评估，其中包含 2504 个样本，压缩后的 VCF 文件大小为 1.1GB，并存储在 Amazon S3 中。
系统用时 18 秒、花费 0.00052 美元完成数据集接入，其间只创建索引文件，并未复制基因组数据。
一次覆盖 1 万个碱基对的查询平均耗时 1.52 秒，成本为 0.00013 美元。
CSIRO 报告称，当返回的变异数量从 4 个增加到 400 个，即增长 100 倍时，查询时间总体保持稳定。
Lambda 分发基因组查询，S3 仅提供压缩文件中所需的数据范围该设计建立在此前发表于 Nature Biotechnology 的 sBeacon 研究基础上。
该研究报告称，sBeacon 最多可以支持 4000 万个个体和 30 亿个基因组位置。
最初的 Beacon 研究描述了一种联合式模型，让组织可以在保留基因组数据控制权的同时，对外提供标准化查询接口。
GA4GH 协议旨在跨分布式数据源运行，而不规定底层存储技术。
2026 年的实现利用云服务扩展了这一模型，在将基因组文件保留在对象存储中的同时，提供弹性查询执行能力。
原文链接：https://www.infoq.com/news/2026/10/csiro-serverless-genomic-variant/划线评论复制2026-11-07 16:113416文章版权归极客邦科技InfoQ所有，未经许可不得转载。
亚马逊云科技Serverless 轻点一下，留下你的鼓励评论 发布 暂无评论延伸阅读——来自 InfoQ 精选DeepSeek 把 Harness 开源了：模型、工具、Agent Loop 全是插件DeepSeek 的 Harness 终于来了，但也意味着需要你自己去找”最优解“。
作者： Tina2026-08-14 Cloudflare详解统一数据平台：计费工作负载占查询的53%Cloudflare介绍了其内部统一数据平台Town Lake及AI分析智能体Skipper，统一访问运维、计费、安全与业务数据。
该平台在测量期间处理了约9.1万条计费查询，计费查询构成了大多数的使用量。
平台基于lakehouse架构（Trino、Iceberg、R2与DataHub），支持有治理的跨系统分析与自然语言访问。
作者：Leela Kumili2026-08-03 Microsoft Discovery 正式上线 Azure ，为 Majorana 2 量子芯片的研发提供代理式 AI 支持微软宣布正式上线基于 Azure 的平台 Microsoft Discovery ，旨在将自主 AI 代理团队部署到科学和工程研发工作流中。
作者：Steef-Jan Wiggers2026-06-15 Pinecone推出OneLake集成方案，让AI智能体直连企业数据Pinecone宣布旗下Nexus知识引擎与微软OneLake达成全新集成，旨在从根本上改变企业AI智能体调取企业数据并开展推理运算的方式。
作者：Craig Risi2026-06-17 谷歌赢了 AI 排行榜，却没赢下华尔街：Gemini 4 Carbon 登顶背后的昂贵代价技术排行榜上的胜利，并没有让谷歌免于资本市场对利润与 AI 投资回报的审视。
作者： 李冬梅2026-10-29 换一换 查看更多 电子书腾讯云云原生提质增效实践精选集2024《2024腾讯云云原生提质增效实践精选集》出炉，5大热门技术领域，13个行业精选标杆案例，痛点到解决方案全揭立即下载大厂实战PPT下载 换一换 AI + OA 的探索实践和展望顾成刚 | 麦当秀 创始人 立即下载从大模型到 Agentic AI：投资人视角看如何抓住 AI 创业机会郑刚 | 紫辉创投 创始人 立即下载从人工到 AI 驱动：快手广告流量全链路观测实践鲜嘉麒 | 快手 商业化稳定性架构负责人 立即下载促进软件开发及相关领域知识与创新的传播关于我们我要投稿合作伙伴加入我们关注我们联系我们内容投稿：editors@geekbang.com业务合作：hezuo@geekbang.com反馈投诉：feedback@geekbang.com加入我们：zhaopin@geekbang.com联系电话：010-64738142地址：北京市朝阳区望京北路9号2幢7层A701InfoQ 近期会议上海 · QCon 全球软件开发大会 2026.10.22-24北京 · AICon 全球人工智能开发与应用大会 2026.12.18-19全球 InfoQInfoQ EnInfoQ JpInfoQ FrInfoQ Br Copyright © 2026, Geekbang Technology Ltd. All rights reserved. 极客邦控股（北京）有限公司 | 京 ICP 备 16027448 号 - 5京公网安备 11010502039052号 | 产品资质
