Condivisione della tecnologia

C# CvDnn distribuisce CoupledTPS per implementare la correzione dell'immagine ruotata

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

C# CvDnn distribuisce CoupledTPS per implementare la rotazionecorrezione dell'immagine

Sommario

illustrare

Effetto

Informazioni sul modello

progetto

codice

scaricamento

illustrare

TPAMI2024 - Modello spline a piastra sottile accoppiato semi-supervisionato per la correzione della rotazione e oltre

Guidaindirizzo:Italiano: Italiano: https://github.com/nie-lang/CoupledTPS

Riferimento all'implementazione del codice:Italiano: Italiano: https://github.com/hpc203/CoupledTPS-opencv-dnn

Effetto

Informazioni sul modello

estrattore_di_caratteristiche.onnx

Proprietà del modello
-------------------------
---------------------------------------------------------------

Ingressi
-------------------------
nome: ingresso
tensore：Flotta[1, 3, 384, 512]
---------------------------------------------------------------

Risultati
-------------------------
nome: caratteristica
tensore: Float[1, 256, 24, 32]
---------------------------------------------------------------

regressnet.onnx

Proprietà del modello
-------------------------
---------------------------------------------------------------

Ingressi
-------------------------
nome: caratteristica
tensore: Float[1, 256, 24, 32]
---------------------------------------------------------------

Risultati
-------------------------
nome: mesh_motion
tensore: Float[1, 7, 9, 2]
---------------------------------------------------------------

progetto

codice

Modulo1.cs

utilizzando OpenCvSharp;
utilizzando il sistema;
utilizzando System.Drawing;
utilizzando System.Drawing.Imaging;
utilizzando System.Windows.Forms;

spazio dei nomi Onnx_Demo
{
classe parziale pubblica Form1 : Form
    {
Modulo pubblico1()
        {
InizializzaComponente();
        }

stringa fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
stringa image_path = "";
DateTime dt1 = DateTime.Adesso;
DateTime dt2 = DateTime.Adesso;
Immagine del tappetino;

Rotazione di CoupledTPS_RotationNet
int iter_num = 3;

private void button1_Click(oggetto mittente, EventArgs e)
        {
ApriFileDialog ofd = nuovo OpenFileDialog();
ofd.InitialDirectory =Application.StartupPath+"\test_img\";
ofd.Filter = fileFilter;
            
se (ofd.ShowDialog() != DialogResult.OK) ritorna;
pictureBox1.Immagine = null;
image_path = ofd.FileName;
pictureBox1.Image = new Bitmap(image_path);
textBox1.Testo = "";
immagine = nuovo Mat(percorso_immagine);
pictureBox2.Immagine = null;
        }

private void button2_Click(oggetto mittente, EventArgs e)
        {
se (percorso_immagine == "")
            {
ritorno;
            }
button2.Enabled = falso;
pictureBox2.Immagine = null;
textBox1.Testo = "";
Applicazione.DoEvents();
//Leggi le immagini
immagine = nuovo Mat(percorso_immagine);
dt1 = DateTime.Now;
Risultato risultato_immagine = rotationNet.detect(immagine, iter_num);
dt2 = DateTime.Now;
Cv2.CvtColor(immagine_risultato, immagine_risultato, ColorConversionCodes.BGR2RGB);
pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
textBox1.Text = "Consumo di tempo di inferenza:" + (dt2 - dt1).TotalMilliseconds + "ms";
button2.Enabled = vero;
        }

private void Form1_Load(oggetto mittente, EventArgs e)
        {
rotationNet = new CoupledTPS_RotationNet("modello/feature_extractor.onnx", "modello/regressnet.onnx");
percorso_immagine = "test_img/00150_-8.4.jpg";
pictureBox1.Image = new Bitmap(image_path);
immagine = nuovo Mat(percorso_immagine);
        }

private void pictureBox1_DoubleClick(oggetto mittente, EventArgs e)
        {
Comune.ShowNormalImg(pictureBox1.Immagine);
        }

private void pictureBox2_DoubleClick(oggetto mittente, EventArgs e)
        {
Comune.ShowNormalImg(pictureBox2.Immagine);
        }

SalvaFileDialogo sdf = nuovo SalvaFileDialogo();
private void button3_Click(oggetto mittente, EventArgs e)
        {
se (pictureBox2.Immagine == null)
            {
ritorno;
            }
Output bitmap = nuovo Bitmap(pictureBox2.Image);
sdf.Titolo = "Salva";
sdf.Filter = "Immagini (*.jpg)|*.jpg|Immagini (*.png)|*.png|Immagini (*.bmp)|*.bmp|Immagini (*.emf)|*.emf|Immagini (*.exif)|*.exif|Immagini (*.gif)|*.gif|Immagini (*.ico)|*.ico|Immagini (*.tiff)|*.tiff|Immagini (*.wmf)|*.wmf";
se (sdf.ShowDialog() == DialogResult.OK)
            {
interruttore (sdf.FilterIndex)
                {
caso 1:
                        {
output.Save(sdf.FileName, ImageFormat.Jpeg);
rottura;
                        }
caso 2:
                        {
output.Save(sdf.FileName, ImageFormat.Png);
rottura;
                        }
caso 3:
                        {
output.Save(sdf.FileName, ImageFormat.Bmp);
rottura;
                        }
caso 4:
                        {
output.Save(sdf.FileName, ImageFormat.Emf);
rottura;
                        }
caso 5:
                        {
output.Save(sdf.FileName, ImageFormat.Exif);
rottura;
                        }
caso 6:
                        {
output.Save(sdf.FileName, ImageFormat.Gif);
rottura;
                        }
caso 7:
                        {
output.Save(sdf.FileName, ImageFormat.Icon);
rottura;
                        }

caso 8:
                        {
output.Save(sdf.FileName, ImageFormat.Tiff);
rottura;
                        }
caso 9:
                        {
output.Save(sdf.FileName, ImageFormat.Wmf);
rottura;
                        }
                }
MessageBox.Show("Salvataggio riuscito, percorso: " + sdf.FileName);
            }
        }
    }
}

  1. using OpenCvSharp;
  2. using System;
  3. using System.Drawing;
  4. using System.Drawing.Imaging;
  5. using System.Windows.Forms;
  6.  
  7. namespace Onnx_Demo
  8. {
  9.     public partial class Form1 : Form
  10.     {
  11.         public Form1()
  12.         {
  13.             InitializeComponent();
  14.         }
  15.  
  16.         string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
  17.         string image_path = "";
  18.         DateTime dt1 = DateTime.Now;
  19.         DateTime dt2 = DateTime.Now;
  20.         Mat image;
  21.  
  22.         CoupledTPS_RotationNet rotationNet;
  23.         int iter_num = 3;
  24.  
  25.         private void button1_Click(object sender, EventArgs e)
  26.         {
  27.             OpenFileDialog ofd = new OpenFileDialog();
  28.             ofd.InitialDirectory =Application.StartupPath+"\test_img\";
  29.             ofd.Filter = fileFilter;
  30.             
  31.             if (ofd.ShowDialog() != DialogResult.OK) return;
  32.             pictureBox1.Image = null;
  33.             image_path = ofd.FileName;
  34.             pictureBox1.Image = new Bitmap(image_path);
  35.             textBox1.Text = "";
  36.             image = new Mat(image_path);
  37.             pictureBox2.Image = null;
  38.         }
  39.  
  40.         private void button2_Click(object sender, EventArgs e)
  41.         {
  42.             if (image_path == "")
  43.             {
  44.                 return;
  45.             }
  46.             button2.Enabled = false;
  47.             pictureBox2.Image = null;
  48.             textBox1.Text = "";
  49.             Application.DoEvents();
  50.             //读图片
  51.             image = new Mat(image_path);
  52.             dt1 = DateTime.Now;
  53.             Mat result_image = rotationNet.detect(image, iter_num);
  54.             dt2 = DateTime.Now;
  55.             Cv2.CvtColor(result_image, result_image, ColorConversionCodes.BGR2RGB);
  56.             pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
  57.             textBox1.Text = "推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms";
  58.             button2.Enabled = true;
  59.         }
  60.  
  61.         private void Form1_Load(object sender, EventArgs e)
  62.         {
  63.             rotationNet = new CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
  64.             image_path = "test_img/00150_-8.4.jpg";
  65.             pictureBox1.Image = new Bitmap(image_path);
  66.             image = new Mat(image_path);
  67.         }
  68.  
  69.         private void pictureBox1_DoubleClick(object sender, EventArgs e)
  70.         {
  71.             Common.ShowNormalImg(pictureBox1.Image);
  72.         }
  73.  
  74.         private void pictureBox2_DoubleClick(object sender, EventArgs e)
  75.         {
  76.             Common.ShowNormalImg(pictureBox2.Image);
  77.         }
  78.  
  79.         SaveFileDialog sdf = new SaveFileDialog();
  80.         private void button3_Click(object sender, EventArgs e)
  81.         {
  82.             if (pictureBox2.Image == null)
  83.             {
  84.                 return;
  85.             }
  86.             Bitmap output = new Bitmap(pictureBox2.Image);
  87.             sdf.Title = "保存";
  88.             sdf.Filter = "Images (*.jpg)|*.jpg|Images (*.png)|*.png|Images (*.bmp)|*.bmp|Images (*.emf)|*.emf|Images (*.exif)|*.exif|Images (*.gif)|*.gif|Images (*.ico)|*.ico|Images (*.tiff)|*.tiff|Images (*.wmf)|*.wmf";
  89.             if (sdf.ShowDialog() == DialogResult.OK)
  90.             {
  91.                 switch (sdf.FilterIndex)
  92.                 {
  93.                     case 1:
  94.                         {
  95.                             output.Save(sdf.FileName, ImageFormat.Jpeg);
  96.                             break;
  97.                         }
  98.                     case 2:
  99.                         {
  100.                             output.Save(sdf.FileName, ImageFormat.Png);
  101.                             break;
  102.                         }
  103.                     case 3:
  104.                         {
  105.                             output.Save(sdf.FileName, ImageFormat.Bmp);
  106.                             break;
  107.                         }
  108.                     case 4:
  109.                         {
  110.                             output.Save(sdf.FileName, ImageFormat.Emf);
  111.                             break;
  112.                         }
  113.                     case 5:
  114.                         {
  115.                             output.Save(sdf.FileName, ImageFormat.Exif);
  116.                             break;
  117.                         }
  118.                     case 6:
  119.                         {
  120.                             output.Save(sdf.FileName, ImageFormat.Gif);
  121.                             break;
  122.                         }
  123.                     case 7:
  124.                         {
  125.                             output.Save(sdf.FileName, ImageFormat.Icon);
  126.                             break;
  127.                         }
  128.  
  129.                     case 8:
  130.                         {
  131.                             output.Save(sdf.FileName, ImageFormat.Tiff);
  132.                             break;
  133.                         }
  134.                     case 9:
  135.                         {
  136.                             output.Save(sdf.FileName, ImageFormat.Wmf);
  137.                             break;
  138.                         }
  139.                 }
  140.                 MessageBox.Show("保存成功，位置：" + sdf.FileName);
  141.             }
  142.         }
  143.     }
  144. }

AccoppiatoTPS_RotationNet.cs

  1. using OpenCvSharp;
  2. using OpenCvSharp.Dnn;
  3. using System.Collections.Generic;
  4. using System.Linq;
  5.  
  6. namespace Onnx_Demo
  7. {
  8.     public class CoupledTPS_RotationNet
  9.     {
  10.  
  11.         int input_height = 384;
  12.         int input_width = 512;
  13.         int grid_h = 6;
  14.         int grid_w = 8;
  15.         Mat grid = new Mat();
  16.         Mat W_inv = new Mat();
  17.  
  18.         Net feature_extractor;
  19.         Net regressNet;
  20.  
  21.         public CoupledTPS_RotationNet(string modelpatha, string modelpathb)
  22.         {
  23.             feature_extractor = CvDnn.ReadNet(modelpatha);
  24.             regressNet = CvDnn.ReadNet(modelpathb);
  25.             tps2flow.get_norm_rigid_mesh_inv_grid(ref grid, ref W_inv, input_height, input_width, grid_h, grid_w);
  26.         }
  27.  
  28.         unsafe public Mat detect(Mat srcimg, int iter_num)
  29.         {
  30.             Mat img = new Mat();
  31.             Cv2.Resize(srcimg, img, new Size(input_width, input_height));
  32.             img.ConvertTo(img, MatType.CV_32FC3, 1.0 / 127.5d, -1.0d);
  33.  
  34.             Mat input_tensor = CvDnn.BlobFromImage(img);
  35.  
  36.             feature_extractor.SetInput(input_tensor);
  37.  
  38.             Mat[] feature_oris = new Mat[1] { new Mat() };
  39.             string[] outBlobNames = feature_extractor.GetUnconnectedOutLayersNames().ToArray();
  40.             feature_extractor.Forward(feature_oris, outBlobNames);
  41.             Mat feature = feature_oris[0].Clone();
  42.  
  43.             int[] shape = { 1, 2, input_height, input_width };
  44.             Mat flow = Mat.Zeros(MatType.CV_32FC1, shape);
  45.  
  46.             List<Mat> flow_list = new List<Mat>();
  47.             for (int i = 0; i < iter_num; i++)
  48.             {
  49.                 regressNet.SetInput(feature);
  50.                 Mat[] mesh_motions = new Mat[1] { new Mat() };
  51.                 regressNet.Forward(mesh_motions, regressNet.GetUnconnectedOutLayersNames().ToArray());
  52.  
  53.                 float* offset = (float*)mesh_motions[0].Data;
  54.  
  55.                 Mat tp = new Mat();
  56.  
  57.                 tps2flow.get_ori_rigid_mesh_tp(ref tp, offset, input_height, input_width, grid_h, grid_w);
  58.  
  59.                 Mat T = W_inv * tp;   //_solve_system
  60.                 T = T.T();    //舍弃batchsize
  61.  
  62.                 Mat T_g = T * grid;
  63.  
  64.                 Mat delta_flow = new Mat();
  65.  
  66.                 tps2flow._transform(T_g, grid, input_height, input_width, ref delta_flow);
  67.  
  68.                 if (i == 0)
  69.                 {
  70.                     flow += delta_flow;
  71.  
  72.                 }
  73.                 else
  74.                 {
  75.                     Mat warped_flow = new Mat();
  76.                     grid_sample.warp_with_flow(flow, delta_flow, ref warped_flow);
  77.  
  78.                     flow = delta_flow + warped_flow;
  79.                 }
  80.                 flow_list.Add(flow.Clone());
  81.  
  82.                 if (i < (iter_num - 1))
  83.                 {
  84.                     int fea_h = feature.Size(2);
  85.                     int fea_w = feature.Size(3);
  86.                     float scale_h = (float)fea_h / flow.Size(2);
  87.                     float scale_w = (float)fea_w / flow.Size(3);
  88.  
  89.                     Mat down_flow = new Mat();
  90.                     upsample.UpSamplingBilinear(flow, ref down_flow, fea_h, fea_w, true, scale_h, scale_w);
  91.  
  92.                     for (int h = 0; h < fea_h; h++)
  93.                     {
  94.                         for (int w = 0; w < fea_w; w++)
  95.                         {
  96.                             float* p_w = (float*)down_flow.Ptr(0, 0, h);
  97.                             float temp_w = p_w[w];
  98.                             temp_w = temp_w * scale_w;
  99.                             p_w[w] = temp_w;
  100.  
  101.                             float* p_h = (float*)down_flow.Ptr(0, 1, h);
  102.                             float temp_h = p_h[w];
  103.                             temp_h = temp_h * scale_h;
  104.                             p_h[w] = temp_h;
  105.  
  106.                         }
  107.                     }
  108.                     feature.Release();
  109.                     feature = new Mat();
  110.                     grid_sample.warp_with_flow(feature_oris[0], down_flow, ref feature);
  111.                 }
  112.             }
  113.             Mat correction_final = new Mat();
  114.  
  115.             grid_sample.warp_with_flow(input_tensor, flow_list[iter_num - 1], ref correction_final);
  116.  
  117.             Mat correction_img = grid_sample.convert4dtoimage(correction_final);
  118.  
  119.             return correction_img;
  120.  
  121.         }
  122.     }
  123. }

scaricamento

Scaricamento del codice sorgente

Profilo personale

Si dedica alla ricerca tecnologica da più di 30 anni ed è esperto in vari linguaggi come Java, Linux, Javascript, php, css, ecc. Ha dato numerosi contributi nel campo dell'open source stazione di documentazione per gli sviluppatori per condividere alcuni problemi nello sviluppo della tecnologia per riferimento futuro

le mie informazioni di contatto

Posta