Google打造新大数据系统Mesa

www.net130.com     日期:2014-8-19    浏览次数:
出处:CNW.com.cn

Mesa是什么

先行发布的论文摘要可以让我们对Mesa一窥究竟:

Mesa是一个高度可扩展的分析数据仓库系统,能存储与Google广告业务有关的关键测量数据。Mesa能满足复杂和具有挑战性的用户与系统需求,包括近实时数据提取和查询,同时在海量数据和查询量中保持高可用性、可靠性、容错率和扩展性。Mesa每秒能处理数百万行更新,每天进行数十亿查询抓取数万亿行数据。Mesa能进行跨数据中心复制,即使在整个数据中心故障时,也能以低延迟返回一致和可重复的查询结果。

本质上来说,Mesa是一个ACID式数据库(即,如果有人进行查询,就会得到相应数据),速度快,规模大,可靠性强。它被设计为处理与Google广告业务有关的需求(服务内部用户,以及消费者的前端查询服务),但也能作为一般数据仓库系统,供其他用途。

与其他产品有何区别

当然,Google早就拥有自己的数据系统,比如BigTable、Megastore、Spanner和F1。但BigTable无法提供必要的原子性;Megastore、Spanner和F1在跨区域数据上能保证一致性,却无法满足峰值更新吞吐量需求。当然,Mesa在元数据存储和维护上利用了之前的技术。

另外Google自身的Dremel,以及Facebook 与Twitter数据系统,一般只用作处理批量数据装载,而不是像 Mesa那样即时处理数据。而且,目前的商业产品或产品系统均不能用来管理跨数据中心的重复数据,这些系统也并非基于云技术,灵活性也不强。它们对动态条款和资源置换的适应性也很弱,无法处理数据负载波动。

不只是一个数据库

Mesa比较值得注意的一点是其硬件。之前的系统都使用价格昂贵的企业级硬件,但Mesa使用Google的标准云设施,均由自己设计和建立。

长期来看,Mesa不只是一个数据仓库系统。像Hadoop那样的社区也在密切关注Google的新动向,这可能会代表一波技术潮流。另外,从云计算角度看,这会加剧与亚马逊和微软云服务的竞争,进一步拉低市场价格。Google一直以高精尖技术闻名,这一次Mesa估计也会拉开其与同类公司的距离。

分享道
相关新闻