MMLab-dataset_analysis
创始人
2025-01-07 08:33:46
0

数据分析工具

这里写目录标题

  • 数据分析工具
    • dataset_analysis.py
      • 数据可视化分析
    • benchmark.py
    • browse_coco_json.py
    • browse_dataset.py
    • Optimize_anchors

mmyolo、mmsegmentation等提供了数据集分析工具
在这里插入图片描述

dataset_analysis.py

数据采用coco格式数据
根据配置文件分析全部数据类型或指定类型的Bbox_num、bbox_wh\bbox_wh_ratio、bbox_area
在这里插入图片描述
在这里插入图片描述

示例数据采用的是讯飞X光安检物品监测数据集,通过结果可以看出Knife、wrench、powerbank等小物品的数据相对较少,Knife类别最少,存在显著的类别不平衡问题。

数据可视化分析

  • bbox_area
    在这里插入图片描述
  • bbox_ratio
    在这里插入图片描述
  • bbox_wh
    在这里插入图片描述

benchmark.py

测试模型性能:推理速度

!python /root/mmyolo/tools/analysis_tools/browse_coco_json.py --data-root /root/autodl-tmp/train --img-dir /root/autodl-tmp/train/images/ --ann-file /root/autodl-tmp/train/annotations/instances_train2014.json

browse_coco_json.py

将数据集与标签进行可视化

browse_dataset.py

-将数据可视化保存输出到文件夹下,包含两种模式
-m:‘original’, ‘transformed’, ‘pipeline’
‘original’:金输出原始图像
‘transformed’:输出变换后的图像
‘pipeline’:输出数据增流各个阶段的图像

Optimize_anchors

通过分析数据,优化先验anchor的设置,仅支持YOLOAnchorGenerator
“”"Optimize anchor settings on a specific dataset.

This script provides three methods to optimize YOLO anchors including k-means
anchor cluster, differential evolution and v5-k-means. You can use
--algorithm k-means, --algorithm differential_evolution and
--algorithm v5-k-means to switch those methods.

Example:

Use k-means anchor cluster::      python tools/analysis_tools/optimize_anchors.py ${CONFIG} \     --algorithm k-means --input-shape ${INPUT_SHAPE [WIDTH HEIGHT]} \     --out-dir ${OUT_DIR}  Use differential evolution to optimize anchors::      python tools/analysis_tools/optimize_anchors.py ${CONFIG} \     --algorithm differential_evolution \     --input-shape ${INPUT_SHAPE [WIDTH HEIGHT]} \     --out-dir ${OUT_DIR}  Use v5-k-means to optimize anchors::      python tools/analysis_tools/optimize_anchors.py ${CONFIG} \     --algorithm v5-k-means \     --input-shape ${INPUT_SHAPE [WIDTH HEIGHT]} \     --prior_match_thr ${PRIOR_MATCH_THR} \     --out-dir ${OUT_DIR} 

该工具默认调用gpu进行数据计算,算法名称还有个小bug,需要注意一下

 if args.algorithm == 'k-means':       optimizer = YOLOKMeansAnchorOptimizer(           dataset=dataset,           input_shape=input_shape,           device=args.device,           num_anchor_per_level=num_anchor_per_level,           iters=args.iters,           logger=logger,           out_dir=args.out_dir)   elif args.algorithm == 'DE':       optimizer = YOLODEAnchorOptimizer(           dataset=dataset,           input_shape=input_shape,           device=args.device,           num_anchor_per_level=num_anchor_per_level,           iters=args.iters,           logger=logger,           out_dir=args.out_dir)   elif args.algorithm == 'v5-k-means':       optimizer = YOLOV5KMeansAnchorOptimizer(           dataset=dataset,           input_shape=input_shape,           device=args.device,           num_anchor_per_level=num_anchor_per_level,           iters=args.iters,           prior_match_thr=args.prior_match_thr,           mutation_args=args.mutation_args,           augment_args=args.augment_args,           logger=logger,           out_dir=args.out_dir)   else:       raise NotImplementedError(           f'Only support k-means and differential_evolution, '           f'but get {args.algorithm}') 

相关内容

热门资讯

一分钟了解!微扑克辅助软件,微... 一分钟了解!微扑克辅助软件,微扑克ai代打总是是真的有挂(详细有辅助挂教程)暗藏猫腻,小编详细说明微...
德扑之星机制(德扑数据)辅助插... 德扑之星机制(德扑数据)辅助插件(辅助挂)确实真的是有挂(详细胜率计算教程)1. ai辅助创建新账号...
wpk提高胜率!扑克世界app... 1、wpk提高胜率!扑克世界app原来真的是有挂,德扑之星可以设置(详细辅助脚本教程)。2、wpk提...
十分钟科普!一起宁德麻将钓蟹输... 十分钟科普!一起宁德麻将钓蟹输赢规律,来玩德州总是真的是有挂,攻略教程(有挂软件);1)一起宁德麻将...
德扑操作(德扑之星ai代打)辅... 德扑操作(德扑之星ai代打)辅助脚本(辅助挂)都是真的是有挂(详细辅助器购买教程)1、每一步都需要思...
玩家必看教程!!德扑ai辅助教... 玩家必看教程!!德扑ai辅助教程,德扑计算本来有挂(详细ai人工智能教程);亲,关键说明,赛季回归,...
红龙扑克有挂!WPK确实有挂,... 您好,红龙扑克有挂这款游戏可以开挂的,确实是有挂的,需要了解加微【136704302】很多玩家在这款...
七分钟了解!推大石有外挂么,红... 七分钟了解!推大石有外挂么,红龙软件德州扑克都是是有挂,详细教程(有挂详情)1、推大石有外挂么系统规...
德扑之星软件(德扑线上创建房间... 1、德扑之星软件(德扑线上创建房间)辅助软件(辅助挂)一直存在有挂(详细内部教程);详细教程。2、透...
透视辅助!WPk辅助插件,WP... 透视辅助!WPk辅助插件,WPK内置一直真的是有挂(详细提高胜率教程)1、透视辅助!WPk辅助插件,...