同步异步日志系统

• 一、项⽬介绍
• 二、开发环境
• 三、核心技术
• 四、环境搭建
• 五、日志系统介绍
• • 5.1 为什么需要日志系统
  • 5.2 日志系统技术实现
  • • 5.2.1 同步写日志
    • 5.2.2 异步写日志

日志系统：
日志：程序在运行过程中，用来记录程序运行状态信息。
作用：记录了程序运行状态信息，以便程序员能够随时根据状态信息，对系统程序的运行状态进行分析。

一、项⽬介绍

本项目主要实现的是一个日志系统，其支持以下功能：

• 支持多级别日志消息
• 支持同步日志和异步日志
• 支持可靠写入日志到控制台、文件以及滚动文件中
• 支持多线程程序并发写日志
• 支持扩展不同的日志落地到目标地

二、开发环境

• 操作系统 ：Ubuntu 20.04
• 编辑器： vscode / vim
• 编译器/调试器：g++ / gdb
• 项目自动化构建工具：Makefile

三、核心技术

• 类层次化设计（继承、多态的实际应用）
• C++11语法（多线程库，auto，智能指针，右值引用等）
• 双缓冲区设计
• 生产消费模型
• 多线程
• 设计模式（单例、工厂、代理、建造者等）

四、环境搭建

本项⽬不依赖其他任何第三⽅库， 只需要安装好CentOS / Ubuntu + vscode / vim环境即可开发。

五、日志系统介绍

5.1 为什么需要日志系统

• 在生产环境中的产品，为了保证其稳定性以及安全性，是不允许开发人员附加调试器去排查问题的，可以借助日志系统来打印一些日志帮助开发人员解决问题
• 上线客户端的产品出现的Bug无法复现并解决，可以借助日志系统打印日志并且上传到服务端帮助开发人员进行问题分析
• 对于一些高频操作（如定时器，心跳包等）在少量调试次数下可能无法触发我们想要的行为，通过断点暂停的方式，我们需要重复几十次甚至上百次，导致排查问题的效率非常低下，可以借助打印日志的方式排查问题
• 在分布式、多线程/多进程的代码中，出现bug非常难定位，可以借助日志系统打印日志帮助定位bug
• 帮助刚接触项目不久的开发人员理解代码的运行流程

5.2 日志系统技术实现

日志系统的技术实现主要包括三种类型：

1. 利用printf、std::cout等输出函数将日志信息打印到控制台。
2. 对于大型商业化项目，为了方便排查问题，我们一般会将日志输出到文件或者是数据库系统方便查询和分析日志，主要分为同步日志和异步日志方式。

5.2.1 同步写日志

同步日志指的是当输出日志时，必须等待日志输出语句执行完毕后，才能执行后面的业务逻辑语句，日志输出语句与程序的业务逻辑语句将在同一个线程中运行。每次调用一次打印日志API就对应一次系统调用write写日志文件。

在高并发的场景下，随着日志数量多不断增加，同步日志系统容易产生系统瓶颈：

1. 一方面，大量的日志打印陷入等量的write系统调用，具有一定的系统开销。
2. 另一方面，使得打印日志的进程附带了大量同步的磁盘IO，影响程序性能。

5.2.2 异步写日志

异步日志是指在进行日志输出时，日志输出语句与业务逻辑语句并不是在同一个线程中运行，而是有专门的线程用于进行日志输出操作，业务线程只需要将日志放到一个内存缓冲区中，不需要等待即可继续执行后续业务逻辑（作为日志的生产者），而日志的落地操作交给单独的日志线程完成（作为日志的消费者），这是一个典型的生产-消费模型。

这样的好处是即使日志没有真正的完成输出也不会影响程序的主业务，提高程序的性能

1. 主线程调用日志打印接口成为非阻塞操作
2. 同步的磁盘IO操作从主线程剥离出来交给单独的线程完成。