기술나눔

C# CvDnn은 회전된 이미지 수정을 구현하기 위해 CoupledTPS를 배포합니다.

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

C# CvDnn은 CoupledTPS를 배포하여 회전을 구현합니다.이미지 보정

목차

설명하다

효과

모델 정보

프로젝트

암호

다운로드

설명하다

TPAMI2024 - 회전 수정 및 그 이상을 위한 반지도 결합 박판 스플라인 모델

깃허브주소:https://github.com/nie-lang/커플드TPS

코드 구현 참조:https://github.com/hpc203/CoupledTPS-opencv-dnn

효과

모델 정보

기능 추출기.onnx

모델 속성
-------------------------
---------------------------------------------------------------

입력
-------------------------
이름：입력
텐서：Float[1, 3, 384, 512]
---------------------------------------------------------------

출력
-------------------------
이름：특징
텐서：Float[1, 256, 24, 32]
---------------------------------------------------------------

회귀넷.onnx

모델 속성
-------------------------
---------------------------------------------------------------

입력
-------------------------
이름：특징
텐서：Float[1, 256, 24, 32]
---------------------------------------------------------------

출력
-------------------------
이름: mesh_motion
텐서：Float[1, 7, 9, 2]
---------------------------------------------------------------

프로젝트

암호

폼1.cs

OpenCvSharp를 사용하여
시스템 사용;
System.Drawing을 사용하여
System.Drawing.Imaging을 사용합니다.
System.Windows.Forms를 사용하여;

네임스페이스 Onnx_Demo
{
public partial class Form1 : Form
    {
공개 Form1()
        {
구성요소 초기화();
        }

문자열 파일 필터 = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
문자열 이미지 경로 = "";
DateTime dt1 = DateTime.Now;
DateTime dt2 = DateTime.Now;
매트 이미지;

커플드TPS_RotationNet 회전넷;
int 반복 횟수 = 3;

private void button1_Click(개체 발신자, EventArgs e)
        {
OpenFileDialog ofd = 새 OpenFileDialog();
ofd.InitialDirectory = 응용 프로그램.시작 경로+"\test_img\";
ofd.필터 = 파일필터;
            
ofd.ShowDialog() != DialogResult.OK이면 반환합니다.
pictureBox1.Image = null;
image_path = ofd.파일 이름;
pictureBox1.Image = 새로운 비트맵(이미지 경로);
textBox1.텍스트 = "";
이미지 = 새로운 Mat(이미지 경로);
pictureBox2.Image = null;
        }

private void button2_Click(개체 발신자, EventArgs e)
        {
if (이미지 경로 == "")
            {
반품;
            }
버튼2.활성화 = 거짓;
pictureBox2.Image = null;
textBox1.텍스트 = "";
응용프로그램.DoEvents();
//사진 읽기
이미지 = 새로운 Mat(이미지 경로);
dt1 = 날짜시간.지금;
Mat result_image = rotationNet.detect(이미지, iter_num);
dt2 = 날짜시간.지금;
Cv2.CvtColor(결과 이미지, 결과 이미지, ColorConversionCodes.BGR2RGB);
pictureBox2.Image = new Bitmap(결과_이미지.ToMemoryStream());
textBox1.Text = "추론 시간 소비:" + (dt2 - dt1).TotalMilliseconds + "ms";
버튼2.활성화 = true;
        }

private void Form1_Load(개체 발신자, EventArgs e)
        {
rotationNet = new CoupledTPS_RotationNet("모델/특징_추출기.onnx", "모델/회귀넷.onnx");
이미지 경로 = "테스트_img/00150_-8.4.jpg";
pictureBox1.Image = 새로운 비트맵(이미지 경로);
이미지 = 새로운 Mat(이미지 경로);
        }

private void pictureBox1_DoubleClick(개체 발신자, EventArgs e)
        {
Common.ShowNormalImg(pictureBox1.Image);
        }

private void pictureBox2_DoubleClick(개체 발신자, EventArgs e)
        {
Common.ShowNormalImg(pictureBox2.Image);
        }

SaveFileDialog sdf = 새 SaveFileDialog();
private void button3_Click(개체 발신자, EventArgs e)
        {
(pictureBox2.Image == null인 경우)
            {
반품;
            }
비트맵 출력 = new Bitmap(pictureBox2.Image);
sdf.Title = "저장";
sdf.Filter = "이미지 (*.jpg)|*.jpg|이미지 (*.png)|*.png|이미지 (*.bmp)|*.bmp|이미지 (*.emf)|*.emf|이미지 (*.exif)|*.exif|이미지 (*.gif)|*.gif|이미지 (*.ico)|*.ico|이미지 (*.tiff)|*.tiff|이미지 (*.wmf)|*.wmf";
if (sdf.ShowDialog() == DialogResult.OK)
            {
스위치(sdf.FilterIndex)
                {
사례 1:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Jpeg);
부서지다;
                        }
사례 2:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Png);
부서지다;
                        }
사례 3:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Bmp);
부서지다;
                        }
사례 4:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Emf);
부서지다;
                        }
사례 5:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Exif);
부서지다;
                        }
사례 6:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Gif);
부서지다;
                        }
사례 7:
                        {
출력.Save(sdf.파일 이름, 이미지 형식.아이콘);
부서지다;
                        }

사례 8:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Tiff);
부서지다;
                        }
사례 9:
                        {
출력.Save(sdf.파일 이름, ImageFormat.Wmf);
부서지다;
                        }
                }
MessageBox.Show("저장 성공, 위치: " + sdf.FileName);
            }
        }
    }
}

  1. using OpenCvSharp;
  2. using System;
  3. using System.Drawing;
  4. using System.Drawing.Imaging;
  5. using System.Windows.Forms;
  6.  
  7. namespace Onnx_Demo
  8. {
  9.     public partial class Form1 : Form
  10.     {
  11.         public Form1()
  12.         {
  13.             InitializeComponent();
  14.         }
  15.  
  16.         string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
  17.         string image_path = "";
  18.         DateTime dt1 = DateTime.Now;
  19.         DateTime dt2 = DateTime.Now;
  20.         Mat image;
  21.  
  22.         CoupledTPS_RotationNet rotationNet;
  23.         int iter_num = 3;
  24.  
  25.         private void button1_Click(object sender, EventArgs e)
  26.         {
  27.             OpenFileDialog ofd = new OpenFileDialog();
  28.             ofd.InitialDirectory =Application.StartupPath+"\test_img\";
  29.             ofd.Filter = fileFilter;
  30.             
  31.             if (ofd.ShowDialog() != DialogResult.OK) return;
  32.             pictureBox1.Image = null;
  33.             image_path = ofd.FileName;
  34.             pictureBox1.Image = new Bitmap(image_path);
  35.             textBox1.Text = "";
  36.             image = new Mat(image_path);
  37.             pictureBox2.Image = null;
  38.         }
  39.  
  40.         private void button2_Click(object sender, EventArgs e)
  41.         {
  42.             if (image_path == "")
  43.             {
  44.                 return;
  45.             }
  46.             button2.Enabled = false;
  47.             pictureBox2.Image = null;
  48.             textBox1.Text = "";
  49.             Application.DoEvents();
  50.             //读图片
  51.             image = new Mat(image_path);
  52.             dt1 = DateTime.Now;
  53.             Mat result_image = rotationNet.detect(image, iter_num);
  54.             dt2 = DateTime.Now;
  55.             Cv2.CvtColor(result_image, result_image, ColorConversionCodes.BGR2RGB);
  56.             pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
  57.             textBox1.Text = "推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms";
  58.             button2.Enabled = true;
  59.         }
  60.  
  61.         private void Form1_Load(object sender, EventArgs e)
  62.         {
  63.             rotationNet = new CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
  64.             image_path = "test_img/00150_-8.4.jpg";
  65.             pictureBox1.Image = new Bitmap(image_path);
  66.             image = new Mat(image_path);
  67.         }
  68.  
  69.         private void pictureBox1_DoubleClick(object sender, EventArgs e)
  70.         {
  71.             Common.ShowNormalImg(pictureBox1.Image);
  72.         }
  73.  
  74.         private void pictureBox2_DoubleClick(object sender, EventArgs e)
  75.         {
  76.             Common.ShowNormalImg(pictureBox2.Image);
  77.         }
  78.  
  79.         SaveFileDialog sdf = new SaveFileDialog();
  80.         private void button3_Click(object sender, EventArgs e)
  81.         {
  82.             if (pictureBox2.Image == null)
  83.             {
  84.                 return;
  85.             }
  86.             Bitmap output = new Bitmap(pictureBox2.Image);
  87.             sdf.Title = "保存";
  88.             sdf.Filter = "Images (*.jpg)|*.jpg|Images (*.png)|*.png|Images (*.bmp)|*.bmp|Images (*.emf)|*.emf|Images (*.exif)|*.exif|Images (*.gif)|*.gif|Images (*.ico)|*.ico|Images (*.tiff)|*.tiff|Images (*.wmf)|*.wmf";
  89.             if (sdf.ShowDialog() == DialogResult.OK)
  90.             {
  91.                 switch (sdf.FilterIndex)
  92.                 {
  93.                     case 1:
  94.                         {
  95.                             output.Save(sdf.FileName, ImageFormat.Jpeg);
  96.                             break;
  97.                         }
  98.                     case 2:
  99.                         {
  100.                             output.Save(sdf.FileName, ImageFormat.Png);
  101.                             break;
  102.                         }
  103.                     case 3:
  104.                         {
  105.                             output.Save(sdf.FileName, ImageFormat.Bmp);
  106.                             break;
  107.                         }
  108.                     case 4:
  109.                         {
  110.                             output.Save(sdf.FileName, ImageFormat.Emf);
  111.                             break;
  112.                         }
  113.                     case 5:
  114.                         {
  115.                             output.Save(sdf.FileName, ImageFormat.Exif);
  116.                             break;
  117.                         }
  118.                     case 6:
  119.                         {
  120.                             output.Save(sdf.FileName, ImageFormat.Gif);
  121.                             break;
  122.                         }
  123.                     case 7:
  124.                         {
  125.                             output.Save(sdf.FileName, ImageFormat.Icon);
  126.                             break;
  127.                         }
  128.  
  129.                     case 8:
  130.                         {
  131.                             output.Save(sdf.FileName, ImageFormat.Tiff);
  132.                             break;
  133.                         }
  134.                     case 9:
  135.                         {
  136.                             output.Save(sdf.FileName, ImageFormat.Wmf);
  137.                             break;
  138.                         }
  139.                 }
  140.                 MessageBox.Show("保存成功，位置：" + sdf.FileName);
  141.             }
  142.         }
  143.     }
  144. }

커플드TPS_회전넷.cs

  1. using OpenCvSharp;
  2. using OpenCvSharp.Dnn;
  3. using System.Collections.Generic;
  4. using System.Linq;
  5.  
  6. namespace Onnx_Demo
  7. {
  8.     public class CoupledTPS_RotationNet
  9.     {
  10.  
  11.         int input_height = 384;
  12.         int input_width = 512;
  13.         int grid_h = 6;
  14.         int grid_w = 8;
  15.         Mat grid = new Mat();
  16.         Mat W_inv = new Mat();
  17.  
  18.         Net feature_extractor;
  19.         Net regressNet;
  20.  
  21.         public CoupledTPS_RotationNet(string modelpatha, string modelpathb)
  22.         {
  23.             feature_extractor = CvDnn.ReadNet(modelpatha);
  24.             regressNet = CvDnn.ReadNet(modelpathb);
  25.             tps2flow.get_norm_rigid_mesh_inv_grid(ref grid, ref W_inv, input_height, input_width, grid_h, grid_w);
  26.         }
  27.  
  28.         unsafe public Mat detect(Mat srcimg, int iter_num)
  29.         {
  30.             Mat img = new Mat();
  31.             Cv2.Resize(srcimg, img, new Size(input_width, input_height));
  32.             img.ConvertTo(img, MatType.CV_32FC3, 1.0 / 127.5d, -1.0d);
  33.  
  34.             Mat input_tensor = CvDnn.BlobFromImage(img);
  35.  
  36.             feature_extractor.SetInput(input_tensor);
  37.  
  38.             Mat[] feature_oris = new Mat[1] { new Mat() };
  39.             string[] outBlobNames = feature_extractor.GetUnconnectedOutLayersNames().ToArray();
  40.             feature_extractor.Forward(feature_oris, outBlobNames);
  41.             Mat feature = feature_oris[0].Clone();
  42.  
  43.             int[] shape = { 1, 2, input_height, input_width };
  44.             Mat flow = Mat.Zeros(MatType.CV_32FC1, shape);
  45.  
  46.             List<Mat> flow_list = new List<Mat>();
  47.             for (int i = 0; i < iter_num; i++)
  48.             {
  49.                 regressNet.SetInput(feature);
  50.                 Mat[] mesh_motions = new Mat[1] { new Mat() };
  51.                 regressNet.Forward(mesh_motions, regressNet.GetUnconnectedOutLayersNames().ToArray());
  52.  
  53.                 float* offset = (float*)mesh_motions[0].Data;
  54.  
  55.                 Mat tp = new Mat();
  56.  
  57.                 tps2flow.get_ori_rigid_mesh_tp(ref tp, offset, input_height, input_width, grid_h, grid_w);
  58.  
  59.                 Mat T = W_inv * tp;   //_solve_system
  60.                 T = T.T();    //舍弃batchsize
  61.  
  62.                 Mat T_g = T * grid;
  63.  
  64.                 Mat delta_flow = new Mat();
  65.  
  66.                 tps2flow._transform(T_g, grid, input_height, input_width, ref delta_flow);
  67.  
  68.                 if (i == 0)
  69.                 {
  70.                     flow += delta_flow;
  71.  
  72.                 }
  73.                 else
  74.                 {
  75.                     Mat warped_flow = new Mat();
  76.                     grid_sample.warp_with_flow(flow, delta_flow, ref warped_flow);
  77.  
  78.                     flow = delta_flow + warped_flow;
  79.                 }
  80.                 flow_list.Add(flow.Clone());
  81.  
  82.                 if (i < (iter_num - 1))
  83.                 {
  84.                     int fea_h = feature.Size(2);
  85.                     int fea_w = feature.Size(3);
  86.                     float scale_h = (float)fea_h / flow.Size(2);
  87.                     float scale_w = (float)fea_w / flow.Size(3);
  88.  
  89.                     Mat down_flow = new Mat();
  90.                     upsample.UpSamplingBilinear(flow, ref down_flow, fea_h, fea_w, true, scale_h, scale_w);
  91.  
  92.                     for (int h = 0; h < fea_h; h++)
  93.                     {
  94.                         for (int w = 0; w < fea_w; w++)
  95.                         {
  96.                             float* p_w = (float*)down_flow.Ptr(0, 0, h);
  97.                             float temp_w = p_w[w];
  98.                             temp_w = temp_w * scale_w;
  99.                             p_w[w] = temp_w;
  100.  
  101.                             float* p_h = (float*)down_flow.Ptr(0, 1, h);
  102.                             float temp_h = p_h[w];
  103.                             temp_h = temp_h * scale_h;
  104.                             p_h[w] = temp_h;
  105.  
  106.                         }
  107.                     }
  108.                     feature.Release();
  109.                     feature = new Mat();
  110.                     grid_sample.warp_with_flow(feature_oris[0], down_flow, ref feature);
  111.                 }
  112.             }
  113.             Mat correction_final = new Mat();
  114.  
  115.             grid_sample.warp_with_flow(input_tensor, flow_list[iter_num - 1], ref correction_final);
  116.  
  117.             Mat correction_img = grid_sample.convert4dtoimage(correction_final);
  118.  
  119.             return correction_img;
  120.  
  121.         }
  122.     }
  123. }

다운로드

소스코드 다운로드

개인 프로필

그는 30년 넘게 기술 연구에 전념해 왔으며, java, linux, javascript, php, css 등 다양한 언어에 능숙하며, 오픈소스 분야에 많은 공헌을 해왔습니다. 나중에 참조할 수 있도록 기술 개발의 일부 문제를 공유하는 개발자 문서 스테이션입니다.

내 연락처 정보

우편