大数据架构演变_现有的大数据平台架构

一、传统离线大数据架构

一般在刚引入大数据架构是开始使用，比较适合做批量处理，T+1数据处理等

优点是做批量计算性能比较高，特别适合做批量数据的聚合分析计算。

缺点：这种架构不好支持实时业务数据的开发。一般这种离线数仓分层计算之间都是通过Mapreduce/SparkSQL做批量处理来实现聚合分析，除了数据落库的磁盘IO等比较慢以外，还有一点就是批处理是需要数据来了以后等待一会，聚集一批数据在处理，这样数据从头到尾下来就需要等待和处理较长的时间。而对于一些对实时性要求高的数据来说，这种滞后性是无法容忍的。

二、Lambda架构（离线处理+实时链路）-传统实时开发

从原有离线处理架构的基础上加上了实时处理链路部分，实现了实时业务数据的处理。

对于批处理任务，还是使用原有的传统离线架构不变，支持高性能的离线批处理。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/kjbd-jg/5780.html