当前位置:网站首页 > 大数据架构 > 正文

大数据架构(一)背景和概念_大数据架构详解

-系列目录-

大数据架构(一)背景和概念

大数据架构(二)大数据发展史

一、背景

1.岗位现状

大数据在一线互联网已经爆发了好多年,2015年-2020年(国内互联网爆发期)那时候的大数据开发,刚毕业能写Hive SQL配置个离线任务、整个帆软报表都20K+起步。如果做到架构师,50K跑不掉。现在市场回归理性后:

  • 普通岗:大数据/数仓开发,实际上除超一线城市之外,尚存很多大型企业转型期信息化、互联网(物联网IOT)还在发展,数据还在爆发式增长,仍大有可为。
  • 精英岗/管理岗:大数据总监/架构师,在重视数据的企业(一线互联网大厂、数据服务厂商),年包上百万也不少。

2.行业现状

数据架构在过去20年发展迅速,尤其是过去十年,几乎每年都有新概念、新产品开源出来。一些新名词爆发式展现出来:数据仓库、数据集市、大数据、离线数仓、实时数仓、时空数据库、数据中台、数据湖、流批一体、湖仓一体、实时湖仓、商业智能(BI)等等。

  • 数据精细化:从经营与分析转为数据化的精细运营,对数据要求过程化、粒度更细
  • 产品多样性:传统 BI 中的 Report、OLAP 等工具开始转向面向最终用户自助式、半自助的产品,来快速获取数据并分析得到结果。
  • 数据时效性:从 T+1 转为近乎实时的数据诉求。
  • 平台轻薄化:阿里自砍中台战略,把中台拆分到各条业务线部门独自负责。把中台变得轻薄,更贴近业务。数据只有贴近业务才能焕发活力。底层逻辑是某业务领域的中心化是推荐的,有价值的

3.本文目标

本系列文章不做源码级分析大数据框架,而是关注大数据的发展历史主流架构和原理、落地流程。可作为架构师对于大数据架构的扫盲贴。(笔者花了2月的时间阅读大量文章总结出来的,可能会有问题,欢迎留言交流。)</

到此这篇大数据架构(一)背景和概念_大数据架构详解的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!

版权声明


相关文章:

  • 软考架构案例之大数据架构_软考 大数据2024-10-30 16:10:27
  • 常用的几种大数据架构剖析_常用的几种大数据架构剖析方法2024-10-30 16:10:27
  • 【大数据架构(2)】kappa架构介绍_kappa lambda架构2024-10-30 16:10:27
  • 【系统架构师】-第19章-大数据架构设计理论与实践_大数据架构设计方案2024-10-30 16:10:27
  • 大数据架构——详细说明_大数据架构详解2024-10-30 16:10:27
  • 软考高级架构师下篇-18大数据架构理论设计与实践_大数据架构师考试2024-10-30 16:10:27
  • 【系统架构设计师】二十五、大数据架构设计理论与实践③_大数据架构设计方案2024-10-30 16:10:27
  • 深度解密 5 类大数据架构及实现_深度解密 5 类大数据架构及实现方法2024-10-30 16:10:27
  • 2024年大数据最全架构设计之大数据架构(Lambda架构、Kappa架构)(3)_架构大数据:大数据技术及算法解析2024-10-30 16:10:27
  • 大数据架构演变_现有的大数据平台架构2024-10-30 16:10:27
  • 全屏图片