目录
背景
一、影响因素
(一)硬件方面
服务器硬件故障
资源不足
(二)软件方面
大数据组件故障
源数据问题
二、解决方案
(一)硬件冗余与监控
硬件冗余
(二)软件容错
1.配置高可用和分布式
HDFS (Hadoop Distributed File System) 高可用性
2. YARN (Yet Another Resource Negotiator) 高可用性
3. MapReduce 高可用性
4. HBase 高可用性
5. Kafka 高可用性
6.海豚调度器(DolphinScheduler)分布式部署和高可用
7.mysql主从复制避免单点故障
2.程序健壮性
(三)资源管理
(四)数据存储与管理
影响
解决方案
(五)配置优化
性能调优
最佳实践
(六)任务调度与优化
1.故障自愈
2.实现自动化修复和回滚
3.自动重启
在一些安全要求高的行业,例如公安行业、电力、军事,要求大数据平台、离线数仓和实时数仓都在内网环境运行,不能通过网络远程运维。