Compartir tecnología

C# CvDnn implementa CoupledTPS para implementar la corrección de imagen rotada

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

C# CvDnn implementa CoupledTPS para implementar la rotacióncorrección de imagen

Tabla de contenido

ilustrar

Efecto

Información del modelo

proyecto

código

descargar

ilustrar

TPAMI2024 - Modelo de spline de placa delgada acoplado semisupervisado para corrección de rotación y más

GithubDIRECCIÓN:https://github.com/nie-lang/TPS acoplado

Referencia de implementación del código:https://github.com/hpc203/TPS acoplado-opencv-dnn

Efecto

Información del modelo

Extractor de funciones.onnx

Propiedades del modelo
-------------------------
---------------------------------------------------------------

Entradas
-------------------------
nombre:entrada
tensor：Flotante[1, 3, 384, 512]
---------------------------------------------------------------

Salidas
-------------------------
nombre：característica
tensor：Float[1, 256, 24, 32]
---------------------------------------------------------------

Regressnet.onnx

Propiedades del modelo
-------------------------
---------------------------------------------------------------

Entradas
-------------------------
nombre：característica
tensor：Float[1, 256, 24, 32]
---------------------------------------------------------------

Salidas
-------------------------
nombre:mesh_motion
tensor：Float[1, 7, 9, 2]
---------------------------------------------------------------

proyecto

código

Formulario1.cs

utilizando OpenCvSharp;
utilizando Sistema;
utilizando System.Drawing;
utilizando System.Drawing.Imaging;
utilizando System.Windows.Forms;

espacio de nombres Onnx_Demo
{
clase pública parcial Form1 : Formulario
    {
Formulario público1()
        {
InicializarComponente();
        }

cadena fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
cadena ruta_de_imagen = "";
Fecha y hora dt1 = Fecha y hora.Ahora;
FechaHora dt2 = FechaHora.Ahora;
Imagen de tapete;

rotaciónNet acopladaTPS_RotationNet;
int iter_num = 3;

botón privado void1_Click(objeto remitente, EventArgs e)
        {
OpenFileDialog ofd = nuevo OpenFileDialog();
ofd.DirectorioInicial =Aplicación.RutaDeInicio+"\test_img\";
ofd.Filter = archivoFilter;
            
si (ofd.ShowDialog() != DialogResult.OK) retorna;
pictureBox1.Image = nulo;
ruta_de_imagen = ofd.NombreArchivo;
pictureBox1.Image = nuevo Bitmap(ruta_de_imagen);
cuadro de texto1.Texto = "";
imagen = new Mat(ruta_de_imagen);
pictureBox2.Image = nulo;
        }

botón privado void2_Click(objeto remitente, EventArgs e)
        {
si (ruta_de_imagen == "")
            {
devolver;
            }
botón2.Habilitado = falso;
pictureBox2.Image = nulo;
cuadro de texto1.Texto = "";
Aplicación.DoEvents();
//Leer imágenes
imagen = new Mat(ruta_de_imagen);
dt1 = FechaHora.Ahora;
Mat resultado_imagen = rotationNet.detect(imagen, iter_num);
dt2 = FechaHora.Ahora;
Cv2.CvtColor(imagen_resultado, imagen_resultado, ColorConversionCodes.BGR2RGB);
pictureBox2.Image = nuevo Bitmap(result_image.ToMemoryStream());
textBox1.Text = "Consumo de tiempo de inferencia:" + (dt2 - dt1).TotalMillisegundos + "ms";
botón2.Habilitado = verdadero;
        }

void privado Form1_Load(objeto remitente, EventArgs e)
        {
rotationNet = nuevo CoupledTPS_RotationNet("modelo/extractor_de_características.onnx", "modelo/regressnet.onnx");
ruta_de_imagen = "prueba_img/00150_-8.4.jpg";
pictureBox1.Image = nuevo Bitmap(ruta_de_imagen);
imagen = new Mat(ruta_de_imagen);
        }

void privado pictureBox1_DoubleClick(objeto remitente, EventArgs e)
        {
Común.ShowNormalImg(cuadroDeImagen1.Imagen);
        }

void privado pictureBox2_DoubleClick(objeto remitente, EventArgs e)
        {
Común.ShowNormalImg(cuadroDeImagen2.Imagen);
        }

SaveFileDialog sdf = nuevo SaveFileDialog();
botón privado void3_Click(objeto remitente, EventArgs e)
        {
si (pictureBox2.Image == null)
            {
devolver;
            }
Salida de mapa de bits = new Bitmap(pictureBox2.Image);
sdf.Title = "Guardar";
sdf.Filter = "Imágenes (*.jpg)|*.jpg|Imágenes (*.png)|*.png|Imágenes (*.bmp)|*.bmp|Imágenes (*.emf)|*.emf|Imágenes (*.exif)|*.exif|Imágenes (*.gif)|*.gif|Imágenes (*.ico)|*.ico|Imágenes (*.tiff)|*.tiff|Imágenes (*.wmf)|*.wmf";
si (sdf.ShowDialog() == DialogResult.OK)
            {
interruptor (sdf.FilterIndex)
                {
caso 1:
                        {
salida.Guardar(sdf.FileName, ImageFormat.Jpeg);
romper;
                        }
caso 2:
                        {
salida.Guardar(sdf.FileName, ImageFormat.Png);
romper;
                        }
caso 3:
                        {
salida.Guardar(sdf.NombreArchivo, FormatoImagen.Bmp);
romper;
                        }
caso 4:
                        {
salida.Guardar(sdf.NombreArchivo, FormatoImagen.Emf);
romper;
                        }
caso 5:
                        {
salida.Guardar(sdf.FileName, ImageFormat.Exif);
romper;
                        }
caso 6:
                        {
salida.Guardar(sdf.FileName, ImageFormat.Gif);
romper;
                        }
caso 7:
                        {
salida.Guardar(sdf.FileName, ImageFormat.Icon);
romper;
                        }

caso 8:
                        {
salida.Guardar(sdf.FileName, ImageFormat.Tiff);
romper;
                        }
caso 9:
                        {
salida.Guardar(sdf.FileName, ImageFormat.Wmf);
romper;
                        }
                }
MessageBox.Show("Guardado correctamente, ubicación: " + sdf.FileName);
            }
        }
    }
}

  1. using OpenCvSharp;
  2. using System;
  3. using System.Drawing;
  4. using System.Drawing.Imaging;
  5. using System.Windows.Forms;
  6.  
  7. namespace Onnx_Demo
  8. {
  9.     public partial class Form1 : Form
  10.     {
  11.         public Form1()
  12.         {
  13.             InitializeComponent();
  14.         }
  15.  
  16.         string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
  17.         string image_path = "";
  18.         DateTime dt1 = DateTime.Now;
  19.         DateTime dt2 = DateTime.Now;
  20.         Mat image;
  21.  
  22.         CoupledTPS_RotationNet rotationNet;
  23.         int iter_num = 3;
  24.  
  25.         private void button1_Click(object sender, EventArgs e)
  26.         {
  27.             OpenFileDialog ofd = new OpenFileDialog();
  28.             ofd.InitialDirectory =Application.StartupPath+"\test_img\";
  29.             ofd.Filter = fileFilter;
  30.             
  31.             if (ofd.ShowDialog() != DialogResult.OK) return;
  32.             pictureBox1.Image = null;
  33.             image_path = ofd.FileName;
  34.             pictureBox1.Image = new Bitmap(image_path);
  35.             textBox1.Text = "";
  36.             image = new Mat(image_path);
  37.             pictureBox2.Image = null;
  38.         }
  39.  
  40.         private void button2_Click(object sender, EventArgs e)
  41.         {
  42.             if (image_path == "")
  43.             {
  44.                 return;
  45.             }
  46.             button2.Enabled = false;
  47.             pictureBox2.Image = null;
  48.             textBox1.Text = "";
  49.             Application.DoEvents();
  50.             //读图片
  51.             image = new Mat(image_path);
  52.             dt1 = DateTime.Now;
  53.             Mat result_image = rotationNet.detect(image, iter_num);
  54.             dt2 = DateTime.Now;
  55.             Cv2.CvtColor(result_image, result_image, ColorConversionCodes.BGR2RGB);
  56.             pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
  57.             textBox1.Text = "推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms";
  58.             button2.Enabled = true;
  59.         }
  60.  
  61.         private void Form1_Load(object sender, EventArgs e)
  62.         {
  63.             rotationNet = new CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
  64.             image_path = "test_img/00150_-8.4.jpg";
  65.             pictureBox1.Image = new Bitmap(image_path);
  66.             image = new Mat(image_path);
  67.         }
  68.  
  69.         private void pictureBox1_DoubleClick(object sender, EventArgs e)
  70.         {
  71.             Common.ShowNormalImg(pictureBox1.Image);
  72.         }
  73.  
  74.         private void pictureBox2_DoubleClick(object sender, EventArgs e)
  75.         {
  76.             Common.ShowNormalImg(pictureBox2.Image);
  77.         }
  78.  
  79.         SaveFileDialog sdf = new SaveFileDialog();
  80.         private void button3_Click(object sender, EventArgs e)
  81.         {
  82.             if (pictureBox2.Image == null)
  83.             {
  84.                 return;
  85.             }
  86.             Bitmap output = new Bitmap(pictureBox2.Image);
  87.             sdf.Title = "保存";
  88.             sdf.Filter = "Images (*.jpg)|*.jpg|Images (*.png)|*.png|Images (*.bmp)|*.bmp|Images (*.emf)|*.emf|Images (*.exif)|*.exif|Images (*.gif)|*.gif|Images (*.ico)|*.ico|Images (*.tiff)|*.tiff|Images (*.wmf)|*.wmf";
  89.             if (sdf.ShowDialog() == DialogResult.OK)
  90.             {
  91.                 switch (sdf.FilterIndex)
  92.                 {
  93.                     case 1:
  94.                         {
  95.                             output.Save(sdf.FileName, ImageFormat.Jpeg);
  96.                             break;
  97.                         }
  98.                     case 2:
  99.                         {
  100.                             output.Save(sdf.FileName, ImageFormat.Png);
  101.                             break;
  102.                         }
  103.                     case 3:
  104.                         {
  105.                             output.Save(sdf.FileName, ImageFormat.Bmp);
  106.                             break;
  107.                         }
  108.                     case 4:
  109.                         {
  110.                             output.Save(sdf.FileName, ImageFormat.Emf);
  111.                             break;
  112.                         }
  113.                     case 5:
  114.                         {
  115.                             output.Save(sdf.FileName, ImageFormat.Exif);
  116.                             break;
  117.                         }
  118.                     case 6:
  119.                         {
  120.                             output.Save(sdf.FileName, ImageFormat.Gif);
  121.                             break;
  122.                         }
  123.                     case 7:
  124.                         {
  125.                             output.Save(sdf.FileName, ImageFormat.Icon);
  126.                             break;
  127.                         }
  128.  
  129.                     case 8:
  130.                         {
  131.                             output.Save(sdf.FileName, ImageFormat.Tiff);
  132.                             break;
  133.                         }
  134.                     case 9:
  135.                         {
  136.                             output.Save(sdf.FileName, ImageFormat.Wmf);
  137.                             break;
  138.                         }
  139.                 }
  140.                 MessageBox.Show("保存成功，位置：" + sdf.FileName);
  141.             }
  142.         }
  143.     }
  144. }

TPS acoplado_RotationNet.cs

  1. using OpenCvSharp;
  2. using OpenCvSharp.Dnn;
  3. using System.Collections.Generic;
  4. using System.Linq;
  5.  
  6. namespace Onnx_Demo
  7. {
  8.     public class CoupledTPS_RotationNet
  9.     {
  10.  
  11.         int input_height = 384;
  12.         int input_width = 512;
  13.         int grid_h = 6;
  14.         int grid_w = 8;
  15.         Mat grid = new Mat();
  16.         Mat W_inv = new Mat();
  17.  
  18.         Net feature_extractor;
  19.         Net regressNet;
  20.  
  21.         public CoupledTPS_RotationNet(string modelpatha, string modelpathb)
  22.         {
  23.             feature_extractor = CvDnn.ReadNet(modelpatha);
  24.             regressNet = CvDnn.ReadNet(modelpathb);
  25.             tps2flow.get_norm_rigid_mesh_inv_grid(ref grid, ref W_inv, input_height, input_width, grid_h, grid_w);
  26.         }
  27.  
  28.         unsafe public Mat detect(Mat srcimg, int iter_num)
  29.         {
  30.             Mat img = new Mat();
  31.             Cv2.Resize(srcimg, img, new Size(input_width, input_height));
  32.             img.ConvertTo(img, MatType.CV_32FC3, 1.0 / 127.5d, -1.0d);
  33.  
  34.             Mat input_tensor = CvDnn.BlobFromImage(img);
  35.  
  36.             feature_extractor.SetInput(input_tensor);
  37.  
  38.             Mat[] feature_oris = new Mat[1] { new Mat() };
  39.             string[] outBlobNames = feature_extractor.GetUnconnectedOutLayersNames().ToArray();
  40.             feature_extractor.Forward(feature_oris, outBlobNames);
  41.             Mat feature = feature_oris[0].Clone();
  42.  
  43.             int[] shape = { 1, 2, input_height, input_width };
  44.             Mat flow = Mat.Zeros(MatType.CV_32FC1, shape);
  45.  
  46.             List<Mat> flow_list = new List<Mat>();
  47.             for (int i = 0; i < iter_num; i++)
  48.             {
  49.                 regressNet.SetInput(feature);
  50.                 Mat[] mesh_motions = new Mat[1] { new Mat() };
  51.                 regressNet.Forward(mesh_motions, regressNet.GetUnconnectedOutLayersNames().ToArray());
  52.  
  53.                 float* offset = (float*)mesh_motions[0].Data;
  54.  
  55.                 Mat tp = new Mat();
  56.  
  57.                 tps2flow.get_ori_rigid_mesh_tp(ref tp, offset, input_height, input_width, grid_h, grid_w);
  58.  
  59.                 Mat T = W_inv * tp;   //_solve_system
  60.                 T = T.T();    //舍弃batchsize
  61.  
  62.                 Mat T_g = T * grid;
  63.  
  64.                 Mat delta_flow = new Mat();
  65.  
  66.                 tps2flow._transform(T_g, grid, input_height, input_width, ref delta_flow);
  67.  
  68.                 if (i == 0)
  69.                 {
  70.                     flow += delta_flow;
  71.  
  72.                 }
  73.                 else
  74.                 {
  75.                     Mat warped_flow = new Mat();
  76.                     grid_sample.warp_with_flow(flow, delta_flow, ref warped_flow);
  77.  
  78.                     flow = delta_flow + warped_flow;
  79.                 }
  80.                 flow_list.Add(flow.Clone());
  81.  
  82.                 if (i < (iter_num - 1))
  83.                 {
  84.                     int fea_h = feature.Size(2);
  85.                     int fea_w = feature.Size(3);
  86.                     float scale_h = (float)fea_h / flow.Size(2);
  87.                     float scale_w = (float)fea_w / flow.Size(3);
  88.  
  89.                     Mat down_flow = new Mat();
  90.                     upsample.UpSamplingBilinear(flow, ref down_flow, fea_h, fea_w, true, scale_h, scale_w);
  91.  
  92.                     for (int h = 0; h < fea_h; h++)
  93.                     {
  94.                         for (int w = 0; w < fea_w; w++)
  95.                         {
  96.                             float* p_w = (float*)down_flow.Ptr(0, 0, h);
  97.                             float temp_w = p_w[w];
  98.                             temp_w = temp_w * scale_w;
  99.                             p_w[w] = temp_w;
  100.  
  101.                             float* p_h = (float*)down_flow.Ptr(0, 1, h);
  102.                             float temp_h = p_h[w];
  103.                             temp_h = temp_h * scale_h;
  104.                             p_h[w] = temp_h;
  105.  
  106.                         }
  107.                     }
  108.                     feature.Release();
  109.                     feature = new Mat();
  110.                     grid_sample.warp_with_flow(feature_oris[0], down_flow, ref feature);
  111.                 }
  112.             }
  113.             Mat correction_final = new Mat();
  114.  
  115.             grid_sample.warp_with_flow(input_tensor, flow_list[iter_num - 1], ref correction_final);
  116.  
  117.             Mat correction_img = grid_sample.convert4dtoimage(correction_final);
  118.  
  119.             return correction_img;
  120.  
  121.         }
  122.     }
  123. }

descargar

Descarga del código fuente

Perfil personal

Se ha dedicado a la investigación de tecnología durante más de 30 años y domina varios lenguajes como java, linux, javascript, php, css, etc. Ha realizado muchas contribuciones en el campo del código abierto. Estación de documentación para desarrolladores para compartir algunos problemas en el desarrollo de tecnología para referencia futura.

Mi informacion de contacto

Correo