大数据处理的两种方式，数据两种处理方式_大数据处理的两种方式，数据两种处理方式

大数据的处理方式有两种：基于内存的流式处理和基于硬盘的存储处理。

流式处理就好象是在经过的数据面前建一道水闸。数据流过这里，经过闸门的时候，就进行筛选过滤，分析出有价值的内容，然后丢弃，以后也不再使用。

存储处理则是建一个储水池。数据先放进入储水池存起来，需要的时候，再进到储水池里，在里面筛选分析，找到那些有价值的内容。这个过程中，因为水还在储水池里，没放掉，所以可以供下次继续使用。

存储模式的数据处理是可以重复的，用完再用，反复使用。但是因为硬盘本身的机械特性问题，导致它处理速度慢，速率不高。不过现在也还是有一些针对硬盘的优化措施。

流式处理因为数据的处理过程在内存里进行，内存的处理性能是硬盘的数个量级，所以它的处理速率比存储模式高很多。但是也因为数据驻留在内存里，内存的特性是掉电即失的，只能一次性使用。所以流式处理通常是用完即弃，象卫生巾。

大数据产品里，Spark是流式处理，Laxcus、Hadoop是存储处理。

版权声明：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符，请将相关资料发送至xkadmin@xkablog.com进行投诉反馈，一经查实，立即处理！

转载请注明出处，原文链接：https://www.xkablog.com/kjbd-skcl/5549.html