Spark Stream、Kafka Stream、Storm和Flink主流流处理工具的了解，简单对比

Kafka是是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：实时监控、日志收集，持久化存储、消息系统：高吞吐、用户行为分析和追踪

Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。结合插件，可以快速灵活的展示数据，支持多数据源，混合展示，通知报警等特点。

Flume 是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，通过监控整个文件目录或者某一个特定文件，用于收集数据；同时Flume也 提供数据写到各种数据接受方(可定制)的能力，用于转发数据。Flume 的易用性在于通过读取配置文件，可以自动收集日志文件，在大数据处理及各种复杂的情况下，flume 经常被用来作为数据处理的工具。

现在的系统已经离不开消息队列，我们可以用他做异步，做解耦，做流处理，做可靠传输。异步消息可以作为解耦消息的生产和处理的一种解决方案，通常会想到两种主要的消息模式——消息队列和发布/订阅模式。常被提到的就是RabbitMQ和Kafka，两者各有优势。参考