如何理解大数据平台的运维需求

大数据的基础服务，包括传输系统（Flume和Kafka），计算调度（Yarn和K8S）以及存储系统（HDFS和HBASE）。

大数据平台的配置与运维需求包括：配置管理与资产管理，可监控、可报警；可执行批量作业； 如果还有点期待就是Ai更好。

自动化运维的架构，应该足够简单，开源可修改；解决非专业运维团队的专业运维问题。投入产出比高，架构简单，一个系统迭代容易打造精品。

其中配置管理应该具备多数据中心支持，动态管理的成员关系，基于gossip协议的事件传输。基于轻量型CMDB系统，解决传统CMDB无法动态变更，自动发现，状态探测问题。

批量作业平台，要解决运维中高频的批处理任务，确保到达率很稳定，很可靠；尽量引入原生支持的组件，减少开发的工作量。

DNS一直是基础运维的核心，也是所有业务的重中之重。因此，自动化运维平台要将DNS的服务器及客户端纳入统一的管理。

自动化运维应该让产品、运营轻松掌控海量数据，就像操纵Excel那样轻松；让数据更加开放，让更多人通过数据去决策。