Partage de technologie

C# CvDnn déploie CoupledTPS pour implémenter la correction d'image pivotée

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

C# CvDnn déploie CoupledTPS pour implémenter la rotationcorrection d'images

Table des matières

illustrer

Effet

Informations sur le modèle

projet

code

télécharger

illustrer

TPAMI2024 - Modèle de spline à plaque mince couplé semi-supervisé pour la correction de rotation et au-delà

GitHubadresse:https://github.com/nie-lang/CoupledTPS

Référence d'implémentation du code :https://github.com/hpc203/CoupledTPS-opencv-dnn

Effet

Informations sur le modèle

extracteur_de_fonctionnalités.onnx

Propriétés du modèle
-------------------------
---------------------------------------------------------------

Contributions
-------------------------
nom : entrée
tenseur：Flotteur[1, 3, 384, 512]
---------------------------------------------------------------

Les sorties
-------------------------
nom : fonctionnalité
tenseur : Float[1, 256, 24, 32]
---------------------------------------------------------------

régressnet.onnx

Propriétés du modèle
-------------------------
---------------------------------------------------------------

Contributions
-------------------------
nom : fonctionnalité
tenseur : Float[1, 256, 24, 32]
---------------------------------------------------------------

Les sorties
-------------------------
nom : mesh_motion
tenseur : Float[1, 7, 9, 2]
---------------------------------------------------------------

projet

code

Formulaire1.cs

en utilisant OpenCvSharp;
en utilisant le système;
en utilisant System.Drawing;
en utilisant System.Drawing.Imaging;
en utilisant System.Windows.Forms;

espace de noms Onnx_Demo
{
classe partielle publique Form1 : Formulaire
    {
formulaire public1()
        {
InitialiserComposant();
        }

chaîne fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
chaîne image_path = "";
DateTime dt1 = DateTime.Maintenant;
DateTime dt2 = DateTime.Maintenant;
Image du tapis;

CoupledTPS_RotationNet rotationNet ;
int iter_num = 3;

bouton privé void1_Click(objet expéditeur, EventArgs e)
        {
OpenFileDialog ofd = nouveau OpenFileDialog();
ofd.InitialDirectory =Application.StartupPath+"\test_img\";
ofd.Filter = fichierFilter;
            
si (ofd.ShowDialog() != DialogResult.OK) renvoie ;
imageBox1.Image = null;
image_path = ofd.FileName;
pictureBox1.Image = nouveau Bitmap(image_path);
textBox1.Text = "";
image = nouveau Mat(image_path);
imageBox2.Image = null;
        }

bouton privé void2_Click(objet expéditeur, EventArgs e)
        {
si (image_path == "")
            {
retour;
            }
bouton2.Activé = faux;
imageBox2.Image = null;
textBox1.Text = "";
Application.DoEvents();
//Lire les images
image = nouveau Mat(image_path);
dt1 = DateHeure.Maintenant;
Mat result_image = rotationNet.detect(image, iter_num);
dt2 = DateHeure.Maintenant;
Cv2.CvtColor(image_résultat, image_résultat, ColorConversionCodes.BGR2RGB);
pictureBox2.Image = nouveau Bitmap(result_image.ToMemoryStream());
textBox1.Text = "Consommation du temps d'inférence :" + (dt2 - dt1).TotalMilliseconds + "ms" ;
bouton2.Activé = vrai;
        }

privé void Form1_Load(expéditeur d'objet, EventArgs e)
        {
rotationNet = nouveau CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
image_path = "test_img/00150_-8.4.jpg";
pictureBox1.Image = nouveau Bitmap(image_path);
image = nouveau Mat(image_path);
        }

privé void pictureBox1_DoubleClick(expéditeur d'objet, EventArgs e)
        {
Commun.ShowNormalImg(pictureBox1.Image);
        }

privé void pictureBox2_DoubleClick(expéditeur d'objet, EventArgs e)
        {
Commun.ShowNormalImg(pictureBox2.Image);
        }

EnregistrerFileDialog sdf = new EnregistrerFileDialog();
bouton privé void3_Click(objet expéditeur, EventArgs e)
        {
si (pictureBox2.Image == null)
            {
retour;
            }
Sortie bitmap = nouveau Bitmap(pictureBox2.Image);
sdf.Titre = "Enregistrer" ;
sdf.Filter = "Images (*.jpg)|*.jpg|Images (*.png)|*.png|Images (*.bmp)|*.bmp|Images (*.emf)|*.emf|Images (*.exif)|*.exif|Images (*.gif)|*.gif|Images (*.ico)|*.ico|Images (*.tiff)|*.tiff|Images (*.wmf)|*.wmf";
si (sdf.ShowDialog() == DialogResult.OK)
            {
commutateur (sdf.FilterIndex)
                {
cas 1:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Jpeg);
casser;
                        }
cas 2:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Png);
casser;
                        }
cas 3:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Bmp);
casser;
                        }
cas 4:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Emf);
casser;
                        }
cas 5:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Exif);
casser;
                        }
cas 6:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Gif);
casser;
                        }
cas 7:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Icon);
casser;
                        }

cas 8:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Tiff);
casser;
                        }
cas 9:
                        {
sortie.Enregistrer(sdf.NomFichier, ImageFormat.Wmf);
casser;
                        }
                }
MessageBox.Show("Enregistrement réussi, emplacement : " + sdf.FileName);
            }
        }
    }
}

  1. using OpenCvSharp;
  2. using System;
  3. using System.Drawing;
  4. using System.Drawing.Imaging;
  5. using System.Windows.Forms;
  6.  
  7. namespace Onnx_Demo
  8. {
  9.     public partial class Form1 : Form
  10.     {
  11.         public Form1()
  12.         {
  13.             InitializeComponent();
  14.         }
  15.  
  16.         string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
  17.         string image_path = "";
  18.         DateTime dt1 = DateTime.Now;
  19.         DateTime dt2 = DateTime.Now;
  20.         Mat image;
  21.  
  22.         CoupledTPS_RotationNet rotationNet;
  23.         int iter_num = 3;
  24.  
  25.         private void button1_Click(object sender, EventArgs e)
  26.         {
  27.             OpenFileDialog ofd = new OpenFileDialog();
  28.             ofd.InitialDirectory =Application.StartupPath+"\test_img\";
  29.             ofd.Filter = fileFilter;
  30.             
  31.             if (ofd.ShowDialog() != DialogResult.OK) return;
  32.             pictureBox1.Image = null;
  33.             image_path = ofd.FileName;
  34.             pictureBox1.Image = new Bitmap(image_path);
  35.             textBox1.Text = "";
  36.             image = new Mat(image_path);
  37.             pictureBox2.Image = null;
  38.         }
  39.  
  40.         private void button2_Click(object sender, EventArgs e)
  41.         {
  42.             if (image_path == "")
  43.             {
  44.                 return;
  45.             }
  46.             button2.Enabled = false;
  47.             pictureBox2.Image = null;
  48.             textBox1.Text = "";
  49.             Application.DoEvents();
  50.             //读图片
  51.             image = new Mat(image_path);
  52.             dt1 = DateTime.Now;
  53.             Mat result_image = rotationNet.detect(image, iter_num);
  54.             dt2 = DateTime.Now;
  55.             Cv2.CvtColor(result_image, result_image, ColorConversionCodes.BGR2RGB);
  56.             pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
  57.             textBox1.Text = "推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms";
  58.             button2.Enabled = true;
  59.         }
  60.  
  61.         private void Form1_Load(object sender, EventArgs e)
  62.         {
  63.             rotationNet = new CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
  64.             image_path = "test_img/00150_-8.4.jpg";
  65.             pictureBox1.Image = new Bitmap(image_path);
  66.             image = new Mat(image_path);
  67.         }
  68.  
  69.         private void pictureBox1_DoubleClick(object sender, EventArgs e)
  70.         {
  71.             Common.ShowNormalImg(pictureBox1.Image);
  72.         }
  73.  
  74.         private void pictureBox2_DoubleClick(object sender, EventArgs e)
  75.         {
  76.             Common.ShowNormalImg(pictureBox2.Image);
  77.         }
  78.  
  79.         SaveFileDialog sdf = new SaveFileDialog();
  80.         private void button3_Click(object sender, EventArgs e)
  81.         {
  82.             if (pictureBox2.Image == null)
  83.             {
  84.                 return;
  85.             }
  86.             Bitmap output = new Bitmap(pictureBox2.Image);
  87.             sdf.Title = "保存";
  88.             sdf.Filter = "Images (*.jpg)|*.jpg|Images (*.png)|*.png|Images (*.bmp)|*.bmp|Images (*.emf)|*.emf|Images (*.exif)|*.exif|Images (*.gif)|*.gif|Images (*.ico)|*.ico|Images (*.tiff)|*.tiff|Images (*.wmf)|*.wmf";
  89.             if (sdf.ShowDialog() == DialogResult.OK)
  90.             {
  91.                 switch (sdf.FilterIndex)
  92.                 {
  93.                     case 1:
  94.                         {
  95.                             output.Save(sdf.FileName, ImageFormat.Jpeg);
  96.                             break;
  97.                         }
  98.                     case 2:
  99.                         {
  100.                             output.Save(sdf.FileName, ImageFormat.Png);
  101.                             break;
  102.                         }
  103.                     case 3:
  104.                         {
  105.                             output.Save(sdf.FileName, ImageFormat.Bmp);
  106.                             break;
  107.                         }
  108.                     case 4:
  109.                         {
  110.                             output.Save(sdf.FileName, ImageFormat.Emf);
  111.                             break;
  112.                         }
  113.                     case 5:
  114.                         {
  115.                             output.Save(sdf.FileName, ImageFormat.Exif);
  116.                             break;
  117.                         }
  118.                     case 6:
  119.                         {
  120.                             output.Save(sdf.FileName, ImageFormat.Gif);
  121.                             break;
  122.                         }
  123.                     case 7:
  124.                         {
  125.                             output.Save(sdf.FileName, ImageFormat.Icon);
  126.                             break;
  127.                         }
  128.  
  129.                     case 8:
  130.                         {
  131.                             output.Save(sdf.FileName, ImageFormat.Tiff);
  132.                             break;
  133.                         }
  134.                     case 9:
  135.                         {
  136.                             output.Save(sdf.FileName, ImageFormat.Wmf);
  137.                             break;
  138.                         }
  139.                 }
  140.                 MessageBox.Show("保存成功，位置：" + sdf.FileName);
  141.             }
  142.         }
  143.     }
  144. }

CoupledTPS_RotationNet.cs

  1. using OpenCvSharp;
  2. using OpenCvSharp.Dnn;
  3. using System.Collections.Generic;
  4. using System.Linq;
  5.  
  6. namespace Onnx_Demo
  7. {
  8.     public class CoupledTPS_RotationNet
  9.     {
  10.  
  11.         int input_height = 384;
  12.         int input_width = 512;
  13.         int grid_h = 6;
  14.         int grid_w = 8;
  15.         Mat grid = new Mat();
  16.         Mat W_inv = new Mat();
  17.  
  18.         Net feature_extractor;
  19.         Net regressNet;
  20.  
  21.         public CoupledTPS_RotationNet(string modelpatha, string modelpathb)
  22.         {
  23.             feature_extractor = CvDnn.ReadNet(modelpatha);
  24.             regressNet = CvDnn.ReadNet(modelpathb);
  25.             tps2flow.get_norm_rigid_mesh_inv_grid(ref grid, ref W_inv, input_height, input_width, grid_h, grid_w);
  26.         }
  27.  
  28.         unsafe public Mat detect(Mat srcimg, int iter_num)
  29.         {
  30.             Mat img = new Mat();
  31.             Cv2.Resize(srcimg, img, new Size(input_width, input_height));
  32.             img.ConvertTo(img, MatType.CV_32FC3, 1.0 / 127.5d, -1.0d);
  33.  
  34.             Mat input_tensor = CvDnn.BlobFromImage(img);
  35.  
  36.             feature_extractor.SetInput(input_tensor);
  37.  
  38.             Mat[] feature_oris = new Mat[1] { new Mat() };
  39.             string[] outBlobNames = feature_extractor.GetUnconnectedOutLayersNames().ToArray();
  40.             feature_extractor.Forward(feature_oris, outBlobNames);
  41.             Mat feature = feature_oris[0].Clone();
  42.  
  43.             int[] shape = { 1, 2, input_height, input_width };
  44.             Mat flow = Mat.Zeros(MatType.CV_32FC1, shape);
  45.  
  46.             List<Mat> flow_list = new List<Mat>();
  47.             for (int i = 0; i < iter_num; i++)
  48.             {
  49.                 regressNet.SetInput(feature);
  50.                 Mat[] mesh_motions = new Mat[1] { new Mat() };
  51.                 regressNet.Forward(mesh_motions, regressNet.GetUnconnectedOutLayersNames().ToArray());
  52.  
  53.                 float* offset = (float*)mesh_motions[0].Data;
  54.  
  55.                 Mat tp = new Mat();
  56.  
  57.                 tps2flow.get_ori_rigid_mesh_tp(ref tp, offset, input_height, input_width, grid_h, grid_w);
  58.  
  59.                 Mat T = W_inv * tp;   //_solve_system
  60.                 T = T.T();    //舍弃batchsize
  61.  
  62.                 Mat T_g = T * grid;
  63.  
  64.                 Mat delta_flow = new Mat();
  65.  
  66.                 tps2flow._transform(T_g, grid, input_height, input_width, ref delta_flow);
  67.  
  68.                 if (i == 0)
  69.                 {
  70.                     flow += delta_flow;
  71.  
  72.                 }
  73.                 else
  74.                 {
  75.                     Mat warped_flow = new Mat();
  76.                     grid_sample.warp_with_flow(flow, delta_flow, ref warped_flow);
  77.  
  78.                     flow = delta_flow + warped_flow;
  79.                 }
  80.                 flow_list.Add(flow.Clone());
  81.  
  82.                 if (i < (iter_num - 1))
  83.                 {
  84.                     int fea_h = feature.Size(2);
  85.                     int fea_w = feature.Size(3);
  86.                     float scale_h = (float)fea_h / flow.Size(2);
  87.                     float scale_w = (float)fea_w / flow.Size(3);
  88.  
  89.                     Mat down_flow = new Mat();
  90.                     upsample.UpSamplingBilinear(flow, ref down_flow, fea_h, fea_w, true, scale_h, scale_w);
  91.  
  92.                     for (int h = 0; h < fea_h; h++)
  93.                     {
  94.                         for (int w = 0; w < fea_w; w++)
  95.                         {
  96.                             float* p_w = (float*)down_flow.Ptr(0, 0, h);
  97.                             float temp_w = p_w[w];
  98.                             temp_w = temp_w * scale_w;
  99.                             p_w[w] = temp_w;
  100.  
  101.                             float* p_h = (float*)down_flow.Ptr(0, 1, h);
  102.                             float temp_h = p_h[w];
  103.                             temp_h = temp_h * scale_h;
  104.                             p_h[w] = temp_h;
  105.  
  106.                         }
  107.                     }
  108.                     feature.Release();
  109.                     feature = new Mat();
  110.                     grid_sample.warp_with_flow(feature_oris[0], down_flow, ref feature);
  111.                 }
  112.             }
  113.             Mat correction_final = new Mat();
  114.  
  115.             grid_sample.warp_with_flow(input_tensor, flow_list[iter_num - 1], ref correction_final);
  116.  
  117.             Mat correction_img = grid_sample.convert4dtoimage(correction_final);
  118.  
  119.             return correction_img;
  120.  
  121.         }
  122.     }
  123. }

télécharger

Téléchargement du code source

Profil personnel

Il se consacre à la recherche technologique depuis plus de 30 ans et maîtrise divers langages tels que java, linux, javascript, php, css, etc. Il a apporté de nombreuses contributions dans le domaine de l'open source. station de documentation pour les développeurs pour partager certains problèmes de développement technologique pour référence future.

mes coordonnées

Mail