福州大学《嵌入式系统综合设计》实验五：图像裁剪及尺寸变换

news/2024/7/21 4:56:19 标签: 嵌入式硬件, 图像处理

一、实验目的

在深度学习中，往往需要从一张大图中裁剪出一张张小图，以便适应网络输入图像的尺寸，这可以通过bmcv_image_crop函数实现。 实践中，经常需要对输入图像的尺寸进行调整，以适用于网络输入图片尺寸，这可以通过bmcv提供的resize函数实现。目标检测时需要将检测到的目标位置用矩形框出来，这可以通过bmcv_image_draw_rectangle函数实现。本实验的目的是掌握算能的BMCV函数bmcv_image_crop, bmcv_image_resize，bmcv_image_draw_rectangle的使用方法。

二、实验内容

编写bmcv代码，调用bmcv_image_crop, bmcv_image_resize函数实现图片裁剪及尺寸的变换，调用bmcv_image_draw_rectangle函数来在指定的位置上画矩形框。

三、开发环境

开发主机：Ubuntu 22.04 LTS

硬件：算能SE5

本地如果有SE5硬件，则可以PC机作为客户端，SE5作为服务器端。本地如果没有SE5硬件，只有云空间，则可以直接将客户端和服务器端都通过云空间实现，机在云空间的SE5模拟环境中实现。

四、实验器材

开发主机 + 云平台

五、实验过程与结论

本实验涉及的程序框架与实验4的图4-1一致，仅需根据具体调用的API函数配置相关参数即可，因此接下来重点介绍API函数的参数及其调用方法。

BMCV关键函数介绍-bmcv_image_crop

算能BMCV提供了bmcv_image_crop，方便根据需要裁剪所需数量、大小的图，具体函数形式如下：

bm_status_t bmcv_image_crop(bm_handle_t handle,  //句柄
    int crop_num,
    bmcv_rect_t* rects,
    bm_image input,
    bm_image* output)

函数的接口中，crop_num为需要裁剪出的小图数量，input 指针指向输入图像，即 bm_image 对象；output指向输出图像，rects指针指向bmcv_rect_t的结构体，表示裁剪相关的信息，包括起始坐标、crop 宽高。该指针指向了若干个crop 框的信息，框的个数由crop_num 决定。

返回值bm_status_t为BM_SUCCESS则表示裁剪成功，否则为失败。

bmcv_rect_t结构体的格式如下所示： 

Typedef struct bmcv_rect{
    int start_x;    // 起始横坐标
    int start_y;    // 起始纵坐标
    int crop_x;     // 输出图像宽度
    int crop_y;     // 输出图像高度
} bmcv_rect_t;

代码调用方式如下：

//配置crop矩形的相关信息
bmcv_rect_t crop_attr;
crop_attr.start_x = 0;
crop_attr.start_y = 0;
crop_attr.crop_w = 600;
crop_attr.crop_h = 600;
bm_image input, output;
//input， output的创建代码省略
//代码主要框架参考实验4
bmcv_image_crop(handle,1,&crop_attr,input,&output)

BMCV关键函数介绍bmcv_image_resize

算能BMCV提供了bmcv_image_resize，方便对输入的若干张图片进行尺寸调整，或者在一张大图上进行抠图并进行尺寸调整，具体函数形式如下：

bm_status_t bmcv_image_resize(
    bm_handle_t handle,   // bm_handle句柄
    int input_num,
    bmcv_resize_image resize_attr[4],
    bm_image* input,
    bm_image* output)

函数参数中，返回值为BM_SUCCESS表明尺寸调整成功，否则为失败；

在调用bmcv_image_resize() 之前必须确保输入的image 内存已经申请。支持最大尺寸为2048*2048，最小尺寸为16*16，最大缩放比为32。

input 和output参数为指向输入/输出 bm_image 对象的指针。每个bm_image 需要外部调用bmcv_image_create 创建。image内存可以使用bm_image_alloc_dev_ mem 或者bm_image_copy_host_to_device 来开辟新的内存，或者使用bmcv_ image_attach 来attach 已有的内存，在输出时如无分配将在api 内部自行分配。

image_num 表示输入待调整尺寸的图片数，最多支持4张，如果input_num > 1, 那么多个输入图像必须是连续存储的（可以使用bm_image_alloc_contiguous_mem 给多张图申请连续空间）；resize_attr[4]为每张图片对应的 resize 参数, 最多支持 4 张图片，其类型为bmcv_resize_image结构体。

bmcv_resize_image描述了一张图中resize 配置信息，其具体格式如下：

typedef struct bmcv_resize_image_s{
    bmcv_resize_t *resize_img_attr;
    int roi_num;
    unsigned char stretch_fit;
    unsigned char padding_b;
    unsigned char padding_g;
    unsigned char padding_r;
    unsigned int interpolation;
}bmcv_resize_image;

其中，roi_num 描述了一副图中需要进行resize 的子图总个数；stretch_fit 表示是否按照原图比例对图片进行缩放，1 表示无需按照原图比例进行缩放，0表示按照原图比例进行缩放，当采用这种方式的时候，结果图片中未进行缩放的地方将会被填充成特定值；padding_r，padding_g, padding_b 表示当stretch_fit 设成0的情况下，rgb通道上被填充的值; interpolation 表示缩图所使用的算法, 设为BMCV_INTER_NEAREST 表示最近邻算法，设为BMCV_INTER_LINEAR 表示线性插值算法。

resize_img_attr为bmcv_resize_t结构体类型的指针，其具体内容如下所示：

typedef struct bmcv_resize_s{
    int start_x;
    int start_y;
    int in_width;
    int in_height;
    int out_width;
    int out_height;
}bmcv_resize_t;

其中，start_x 描述了resize 起始横坐标(相对于原图)，常用于抠图功能， start_y 描述了resize 起始纵坐标(相对于原图)，常用于抠图功能；in_width, in_height描述了crop 图像的宽和高。out_width 和out_height描述了输出图像的宽和高。

函数调用方式如下：

int image_num = 1;
int crop_w = 400, crop_h = 400;
int resize_w = 400, resize_h = 400;
int image_w = 1000, image_h = 1000;
int img_size_i = image_w * image_h * 3;
int img_size_o = resize_w * resize_h * 3;

bmcv_resize_image resize_attr[image_num];
bmcv_resize_t resize_img_attr[image_num];

for (int img_idx = 0; img_idx < image_num; img_idx++) {
    resize_img_attr[img_idx].start_x = 0;            //抠图的起始横坐标
    resize_img_attr[img_idx].start_y = 0;            //抠图的起始纵坐标
    resize_img_attr[img_idx].in_width = crop_w;      //抠图的宽
    resize_img_attr[img_idx].in_height = crop_h;     //抠图的高
    resize_img_attr[img_idx].out_width = resize_w;   //输出的宽
    resize_img_attr[img_idx].out_height = resize_h;  //输出的高
}

for (int img_idx = 0; img_idx < image_num; img_idx++) {
    resize_attr[img_idx].resize_img_attr = &resize_img_attr[img_idx];
    resize_attr[img_idx].roi_num = 1;
    resize_attr[img_idx].stretch_fit = 1;
    resize_attr[img_idx].interpolation = BMCV_INTER_NEAREST;
}

bm_image input[image_num];
bm_image output[image_num];

cv::Mat Input,Out;
Input = cv::imread(argv[1], 0);

for (int img_idx = 0; img_idx < image_num; img_idx++) {
    //创建输入输出图像对象，并分配空间，转化为BMI格式
    bmcv_image_resize(handle, image_num, resize_attr, input, output);
}

BMCV关键函数介绍-bmcv_image_draw_rectangle

算能BMCV提供了bmcv_image_draw_rectangle，以便用矩形框出感兴趣区域。具体函数形式如下：

bm_status_t bmcv_image_draw_rectangle(bm_handle_t handle,
    bm_image image,
    int rect_num,
    * rects,
    int line_width,
    unsigned char r,
    unsigned char g,
    unsigned char b)

其中，handle为bm_handle 句柄；image是需要在其上画矩形框的bm_image 对象；rect_num为绘制矩形数量，指rects 指针中所包含的bmcv_rect_t 对象个数；rects为指向bmcv_rect_t对象（参考bm_image_resize函数参数说明）的指针，用以表示各个框所绘制的矩形数据（宽高等）；line_width表示线宽；r，g，b为所绘制线条三原色的值。

在代码中调用方式如下：

bm_image src;
//创建图像
bmcv_rect_t rect;
rect.start_x = 100;
rect.start_y = 100;
rect.crop_w = 200;
rect.crop_h = 300;

//在src对应的图像对象上，画1个框，框的信息在rect对象里描述。矩形线宽为3，颜色为红色。
bmcv_image_draw_rectangle(handle,src,1,&rect,3,255,0,0);

OpenCV函数介绍 

在OpenCV中，可以直接通过对图像长、宽维度进行操作，以实现图像剪裁的效果，如下所示

dst=src[200:2560,300:2062]

OpenCV提供resize函数，可以用于图像尺寸缩放，其函数接口如下所示

void resize (InputArray src,
    OutputArray dst,
    Size dsize,
    double fx=0, 
    double fy=0,
    int interpolation=INTER_LINEAR)

其中，src是原图，dst是输出结果图，fx表达横向的放缩倍数，fy表达纵向的放缩倍数，dsize表达放缩后的图像的横和纵向长度；interpolation为插值方式。

其调用方式如下图所示。

resize(src, dst, Size(), 0.5, 0.5, interpolation);

OpenCV提供rectangle函数，以实现在输入图像img上画出一个矩形，此时矩形通过左上角的点和右下角的点坐标pt1，pt2 表示。 函数参数含义与

void cv::rectangle(InputOutputArray img,
    Point 	pt1,                // 矩形框左上角点的坐标
    Point 	pt2,                // 矩形框右下角点的坐标
    const Scalar & 	color,      // 线的颜色
    int 	thickness = 1,      // 线的宽度
    int 	lineType = LINE_8,  // 线的类型
    int 	shift = 0           // 点坐标中小数位数。
)

执行结果

bmcv_crop：

执行make后上传到云平台或者SOC盒子中，即可实现对图片的裁剪。

root@06416e512cb7:/tmp/crop# chmod 777 bmcv_crop
root@06416e512cb7:/tmp/crop# ./bmcv_crop cutecat.jpeg
open /dev/jpu successfully,device index = 0， jpu fd = 8,vpp fd = 9

效果如下：

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls
Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpe

bmcv_resize：

按照实验1、实验2步骤，生成可执行文件并上传到算能盒子，执行：

bmcv_resize文件夹内的文件如图所示

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls

Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpeg

 Greycat.jpeg如图所示

给可执行文件赋权限并执行

root@06416e512cb7:/tmp/crop# chmod 777 bmcv_resize
root@06416e512cb7:/tmp/crop# ./bmcv_resize greycat.jpeg bmcv
Open /dev/jpu successfully,device index = 0,jpu fd = 8,vpp fd = 9

root@06416e512cb7:/tmp/crop# ./bmcv_resize greycat.jpeg opencv
Open /dev/jpu successfully,device index = 0,jpu fd = 4,vpp fd = 5

执行结果如下所示（生成out.jpg）

root@b3e319d8aoc8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_resize# ls
Makefile Readme.md bmcv_resize2 bmcv_resize2.cpp bmcv_resize2.o common.h cutecat.jpeg out.jpg 

bmcv_drawrect：

类似地，执行画矩形框的代码，可画出矩形框，具体如下：

root@06416e512cb7 : /tmp/crop# chmod 777 bmcv_ drawrect
root@06416e512cb7:/tmp/crop# ./bmcv_drawrect greycat.jpeg bmcv
Open /dev/jpu successfully,device index = 0, jpu fd = 4,vpp fd = 5

执行结果如下所示（生成out.jpg）

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_drawrect# ls
Makefile Readme.md bmcv_drawrect bmcv_drawrect.cpp bmcv_drawrect.o  common.h cutecat.jpeg greycat.jpeg out.jpg

root@b3e319d8a0c8:~/bmnnsdk2-bm1684_v2.7.0/examples/bmcv_drawrect# 

生成的结果out.jpg如上图所示。


http://www.niftyadmin.cn/n/5206614.html

相关文章

从入门到精通！Python数据分析畅销书《利用Python进行数据分析》第三版中文版助你成为数据分析师！

从入门到精通！Python数据分析畅销书《利用Python进行数据分析》第三版中文版助你成为数据分析师！

Python数据分析畅销书《利用Python进行数据分析》第三版中文版助你成为数据分析师&#xff01; 个人简介什么是数据分析如何自学数据分析书籍推荐作译者简介作者简介译者简介 主要变动导读视频&#xff1a;购书链接&#xff1a;参与方式往期赠书回顾 个人简介 &#x1f3d8;️&…
阅读更多...
深度学习之六（自编码器--Autoencoder）

深度学习之六（自编码器--Autoencoder）

概念 自编码器（Autoencoder）是一种神经网络架构，用于无监督学习和数据的降维表示。它由两部分组成：编码器（Encoder）和解码器（Decoder）。 结构： 编码器（Encoder）： 接收输入数据并将其压缩为潜在表示（latent representation），通常比输入数据的维度要低。编码器的…
阅读更多...
jquery中父子页面之间获取元素（比如iframe页面）

jquery中父子页面之间获取元素（比如iframe页面）

当前端主页面需要嵌套一个子页面&#xff0c;比如iframe页面&#xff0c;当在父页面执行子页面的操作时&#xff0c;用$(#元素id)就没有效果。这时就需要用到以下知识点&#xff0c;来实现父子页面的相互操作。 1.父页面获取子页面元素&#xff1a; $("#iframe的ID"…
阅读更多...
【GUI】-- 13 贪吃蛇小游戏之食物及成绩判断

【GUI】-- 13 贪吃蛇小游戏之食物及成绩判断

GUI编程 04 贪吃蛇小游戏 4.4 第四步&#xff1a;食物及成绩判断 首先&#xff0c;添加食物与分数的数据定义&#xff1a; //食物的坐标int foodX;int foodY;Random random new Random();//积分面板数据结构int score;在初始化方法中&#xff0c;添加(画出)食物与分数&…
阅读更多...
SM6225 usb3.0眼图测试

SM6225 usb3.0眼图测试

项目场景： 由于客户soc+hub+u盘出现概率性识别失败的情况。 问题描述 从log看，可能是硬件方面原因导致的。如usb3眼图不行，因为软件限制usb2没复现问题。 usb usb2-port1: connect-debounce failed //这里出现了一次hub connect debounce fail. 一般设置的debounce 时间2s…
阅读更多...
【2021集创赛】Diligent杯一等奖：基于Cortex-M3软核的智能识别称量平台

【2021集创赛】Diligent杯一等奖：基于Cortex-M3软核的智能识别称量平台

本作品参与极术社区组织的有奖征集|秀出你的集创赛作品风采,免费电子产品等你拿~活动。 杯赛题目&#xff1a;Diligent杯&#xff1a;基于FPGA开源软核的硬件加速智能平台 参赛组别&#xff1a;A组 设计任务&#xff1a; 利用业界主流软核处理器(仅限于Cortex-M系列及 RISC-V系…
阅读更多...
MATLAB - text的两种使用方法

MATLAB - text的两种使用方法

text小技巧 1. 常规使用&#xff08;Method 1&#xff09;2. 在显示画面的相对位置&#xff08;Method 2&#xff09;3. 举个例子 1. 常规使用&#xff08;Method 1&#xff09; text(x,y,txt)2. 在显示画面的相对位置&#xff08;Method 2&#xff09; text(string,‘ABC’,…
阅读更多...
【坑】JDK21虚拟线程不支持run方法

【坑】JDK21虚拟线程不支持run方法

【坑】JDK21虚拟线程不支持run方法 run // do nothing java.lang.VirtualThread Overridepublic void start() {start(ThreadContainers.root());}Overridepublic void run() {// do nothing}
阅读更多...
最新文章

Copyright @ 2022~2023