MMLab-dataset_analysis
创始人
2025-01-07 08:33:46
0

数据分析工具

这里写目录标题

  • 数据分析工具
    • dataset_analysis.py
      • 数据可视化分析
    • benchmark.py
    • browse_coco_json.py
    • browse_dataset.py
    • Optimize_anchors

mmyolo、mmsegmentation等提供了数据集分析工具
在这里插入图片描述

dataset_analysis.py

数据采用coco格式数据
根据配置文件分析全部数据类型或指定类型的Bbox_num、bbox_wh\bbox_wh_ratio、bbox_area
在这里插入图片描述
在这里插入图片描述

示例数据采用的是讯飞X光安检物品监测数据集,通过结果可以看出Knife、wrench、powerbank等小物品的数据相对较少,Knife类别最少,存在显著的类别不平衡问题。

数据可视化分析

  • bbox_area
    在这里插入图片描述
  • bbox_ratio
    在这里插入图片描述
  • bbox_wh
    在这里插入图片描述

benchmark.py

测试模型性能:推理速度

!python /root/mmyolo/tools/analysis_tools/browse_coco_json.py --data-root /root/autodl-tmp/train --img-dir /root/autodl-tmp/train/images/ --ann-file /root/autodl-tmp/train/annotations/instances_train2014.json

browse_coco_json.py

将数据集与标签进行可视化

browse_dataset.py

-将数据可视化保存输出到文件夹下,包含两种模式
-m:‘original’, ‘transformed’, ‘pipeline’
‘original’:金输出原始图像
‘transformed’:输出变换后的图像
‘pipeline’:输出数据增流各个阶段的图像

Optimize_anchors

通过分析数据,优化先验anchor的设置,仅支持YOLOAnchorGenerator
“”"Optimize anchor settings on a specific dataset.

This script provides three methods to optimize YOLO anchors including k-means
anchor cluster, differential evolution and v5-k-means. You can use
--algorithm k-means, --algorithm differential_evolution and
--algorithm v5-k-means to switch those methods.

Example:

Use k-means anchor cluster::      python tools/analysis_tools/optimize_anchors.py ${CONFIG} \     --algorithm k-means --input-shape ${INPUT_SHAPE [WIDTH HEIGHT]} \     --out-dir ${OUT_DIR}  Use differential evolution to optimize anchors::      python tools/analysis_tools/optimize_anchors.py ${CONFIG} \     --algorithm differential_evolution \     --input-shape ${INPUT_SHAPE [WIDTH HEIGHT]} \     --out-dir ${OUT_DIR}  Use v5-k-means to optimize anchors::      python tools/analysis_tools/optimize_anchors.py ${CONFIG} \     --algorithm v5-k-means \     --input-shape ${INPUT_SHAPE [WIDTH HEIGHT]} \     --prior_match_thr ${PRIOR_MATCH_THR} \     --out-dir ${OUT_DIR} 

该工具默认调用gpu进行数据计算,算法名称还有个小bug,需要注意一下

 if args.algorithm == 'k-means':       optimizer = YOLOKMeansAnchorOptimizer(           dataset=dataset,           input_shape=input_shape,           device=args.device,           num_anchor_per_level=num_anchor_per_level,           iters=args.iters,           logger=logger,           out_dir=args.out_dir)   elif args.algorithm == 'DE':       optimizer = YOLODEAnchorOptimizer(           dataset=dataset,           input_shape=input_shape,           device=args.device,           num_anchor_per_level=num_anchor_per_level,           iters=args.iters,           logger=logger,           out_dir=args.out_dir)   elif args.algorithm == 'v5-k-means':       optimizer = YOLOV5KMeansAnchorOptimizer(           dataset=dataset,           input_shape=input_shape,           device=args.device,           num_anchor_per_level=num_anchor_per_level,           iters=args.iters,           prior_match_thr=args.prior_match_thr,           mutation_args=args.mutation_args,           augment_args=args.augment_args,           logger=logger,           out_dir=args.out_dir)   else:       raise NotImplementedError(           f'Only support k-means and differential_evolution, '           f'but get {args.algorithm}') 

相关内容

热门资讯

专业讨论!德扑之星真破解套路(... 专业讨论!德扑之星真破解套路(辅助挂)软件透明挂(有挂了解)-哔哩哔哩;人气非常高,ai更新快且高清...
每日必看!智星德州菠萝外挂检测... 每日必看!智星德州菠萝外挂检测(辅助挂)软件透明挂(有挂教学)-哔哩哔哩1、玩家可以在智星德州菠萝外...
透视透明挂!轰趴十三水有后台(... 轰趴十三水有后台赢率提升策略‌;透视透明挂!轰趴十三水有后台(辅助挂)软件透明挂(有挂详情)-哔哩哔...
发现玩家!德扑ai助手软件(辅... 发现玩家!德扑ai助手软件(辅助挂)透视辅助(有挂教学)-哔哩哔哩;玩家在德扑ai助手软件中需先进行...
一分钟了解!x-poker辅助... 一分钟了解!x-poker辅助软件(辅助挂)辅助透视(有挂攻略)-哔哩哔哩1、每一步都需要思考,不同...
一分钟揭秘!德州最新辅助器(辅... 一分钟揭秘!德州最新辅助器(辅助挂)透视辅助(有挂攻略)-哔哩哔哩;德州最新辅助器最新版本免费下载安...
玩家攻略推荐!德州辅助(辅助挂... 玩家攻略推荐!德州辅助(辅助挂)辅助透视(有挂了解)-哔哩哔哩是由北京得德州辅助黑科技有限公司精心研...
揭秘真相!pokernow德州... 《揭秘真相!pokernow德州(辅助挂)辅助透视(有挂介绍)-哔哩哔哩》 pokernow德州软件...
五分钟了解!德州之星辅助器(辅... 五分钟了解!德州之星辅助器(辅助挂)辅助透视(有挂透明)-哔哩哔哩1、很好的工具软件,可以解锁游戏的...
推荐一款!pokermaste... 1、推荐一款!pokermaster有外挂(辅助挂)透视辅助(有挂教学)-哔哩哔哩;详细教程。2、p...