流式系统概念介绍二(摘自Stream Systems) 待续
了解流式系统(Stream System)的概念
1. 什么是流式系统?----一个设计用来处理 无限数据(infinite 表示很多,极大) 的处理引擎。
数据的两个重要维度
- cardinality 基数---可以分为有界数据(Bounded)和无限数据(Unbounded)
- constitution 物理结构、组成-----可分为Table类型(常规mysql用的就是)和Stream类型(一个元素挨着一个元素element-by-elment)---Map Reduce 系列常用
2. 流处理系统---为了取代lamda那令人诟病的双模型结构,需要两样武器
正确性Correctness
- 正确性可以让你对待batch一样进行流处理
- 正确性是一致性存储的基础
- 除非注明,网极博客文章均为原创,转载请以链接形式标明本文地址
- 本文地址:https://www.greenhtml.com/archives/stream-101.html