golang程序性能提升改进篇之文件的读写---第一篇
创始人
2025-01-07 15:33:09
0

背景:接手的项目是golang开发的(本人初次接触golang)经常出现oom。这个程序是计算和io密集型,调用流量属于明显有波峰波谷,但是因为各种原因,当前无法快速通过serverless或者动态在高峰时段调整资源,低峰释放资源的方式进行解决,因此只能通过分析内存和cpu消耗热点,然后改动代码,进而解决服务的稳定性和性能问题。

思路
通过搜索了解golang程序如何进行性能分析,当时就是使用pprof了,通过分析发现了程序有一些使用内存较多的地方,例如我们读取大量文件,通过分析发现io.ioutil.ReadAll消耗内存较多,通过查询发现io.copy可以减少一些内存消耗。

在这里插入图片描述

同时也在网上发现其他开源项目与我们遇到的情况类似。 https://github.com/elastic/beats/issues/36151是某个开源软件中将ioutil.ReadAll 更新为io.Copy的讨论,里面也有他们的对比测试 。

性能对比测试:

在本机上写了一段代码,ioutil.ReadAll和io.Copy的go benchmarktest结果如下
在这里插入图片描述

代码比较简单 main.go

package main  import ( 	"bytes" 	"fmt" 	"io" 	"io/ioutil" 	"net/http" 	"time" )  func fetchWithReadAll(url string) ([]byte, time.Duration, error) { 	// 发起HTTP GET请求 	resp, err := http.Get(url) 	if err != nil { 		return nil, 0, err 	} 	defer resp.Body.Close()  	// 使用 io.ReadAll 读取响应内容 	start := time.Now() 	data, err := ioutil.ReadAll(resp.Body) 	if err != nil { 		return nil, 0, err 	} 	duration := time.Since(start) 	return data, duration, nil }  func fetchWithCopy(url string) ([]byte, time.Duration, error) { 	// 发起HTTP GET请求 	resp, err := http.Get(url) 	if err != nil { 		return nil, 0, err 	} 	defer resp.Body.Close()  	// 使用 io.Copy 读取响应内容 	start := time.Now() 	var buffer bytes.Buffer 	_, err = io.Copy(&buffer, resp.Body) 	if err != nil { 		return nil, 0, err 	} 	duration := time.Since(start) 	return buffer.Bytes(), duration, nil }  func main() {     //  此url能下载一个大约1-2mb的文本文件 	url := "http://x.y.z/abc.txt"  	// 测试 ioutil.ReadAll 	dataReadAll, durationReadAll, err := fetchWithReadAll(url) 	if err != nil { 		fmt.Printf("Error fetching with ReadAll: %v\n", err) 		return 	} 	fmt.Printf("ReadAll took %v for %d bytes\n", durationReadAll, len(dataReadAll))  	// 测试 io.Copy 	dataCopy, durationCopy, err := fetchWithCopy(url) 	if err != nil { 		fmt.Printf("Error fetching with Copy: %v\n", err) 		return 	} 	fmt.Printf("Copy took %v for %d bytes\n", durationCopy, len(dataCopy)) } 

main_test.go

package main  import ( 	"testing" )  // 假设我们已有 fetchWithReadAll 和 fetchWithCopy 函数定义  // BenchmarkFetchWithReadAll 为 fetchWithReadAll 函数编写基准测试。 func BenchmarkFetchWithReadAll(b *testing.B) { 	//  此url能下载一个大约1-2mb的文本文件 	url := "http://x.y.z/abc.txt 	b.ReportAllocs() 	for i := 0; i < b.N; i++ { 		_, _, err := fetchWithReadAll(url) 		if err != nil { 			b.Error(err) 		} 	} }  // BenchmarkFetchWithCopy 为 fetchWithCopy 函数编写基准测试。 func BenchmarkFetchWithCopy(b *testing.B) { 	//  此url能下载一个大约1-2mb的文本文件 	url := "http://x.y.z/abc.txt" 	b.ReportAllocs() 	for i := 0; i < b.N; i++ { 		_, _, err := fetchWithCopy(url) 		if err != nil { 			b.Error(err) 		} 	} }  

最后执行
···
go test -bench=.

···

相关内容

热门资讯

推荐练习!广西友乐软件辅助,微... 推荐练习!广西友乐软件辅助,微信微乐辅助器免费安装,详细教程(有挂规律)小薇(辅助器软件下载)致您一...
详情窍门!老友广东潮汕麻雀辅助... 详情窍门!老友广东潮汕麻雀辅助,樱花之盛辅助器,详细教程(有挂实锤);运老友广东潮汕麻雀辅助辅助工具...
有挂方式!边锋斗地主插件辅助脚... 有挂方式!边锋斗地主插件辅助脚本,欢乐达人暗堡破解,详细教程(发现有挂)1、许多玩家不知道边锋斗地主...
关于方针!陕麻圈辅助开挂软件,... 关于方针!陕麻圈辅助开挂软件,小闲川南辅助工具,详细教程(有挂秘笈)1、在陕麻圈辅助开挂软件插件功能...
揭幕方式!赣湘互娱透视挂,神兽... 揭幕方式!赣湘互娱透视挂,神兽互娱辅助免费,详细教程(存在有挂)1、神兽互娱辅助免费免费辅助多个强度...
开挂举措!广东雀神麻雀控制器,... 开挂举措!广东雀神麻雀控制器,老友广东辅助器,详细教程(有挂解密)广东雀神麻雀控制器脚本下载中分为三...
关于攻略!多乐找刺激捕鱼辅助,... 您好,多乐找刺激捕鱼辅助这款游戏可以开挂的,确实是有挂的,需要了解加去威信【485275054】很多...
了解教材!九神大厅辅助,全民比... 了解教材!九神大厅辅助,全民比鸡bug,详细教程(有挂教学)所有人都在同一条线上,像星星一样排成一排...
解谜演示!微信小程序有挂吗辅助... 解谜演示!微信小程序有挂吗辅助,hhpoker辅助器,详细教程(确实有挂)1、用户打开应用后不用登录...
了解模块!途游小程序辅助器,广... 了解模块!途游小程序辅助器,广西友乐辅助app,详细教程(真实有挂)1、途游小程序辅助器免费脚本咨询...