Обмен технологиями

C# CvDnn развертывает CoupedTPS для реализации коррекции повернутого изображения.

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

C# CvDnn развертывает CoupedTPS для реализации ротации.коррекция изображения

Оглавление

иллюстрировать

Эффект

Информация о модели

проект

код

скачать

иллюстрировать

TPAMI2024 — модель тонкопластинчатого сплайна с полуконтролем для коррекции вращения и не только

гитхабадрес:https://github.com/nie-lang/CoupledTPS

Ссылка на реализацию кода:https://github.com/hpc203/CoupledTPS-opencv-dnn

Эффект

Информация о модели

feature_extractor.onnx

Свойства модели
-------------------------
---------------------------------------------------------------

Входы
-------------------------
имя：вход
тензор：Плавающее число[1, 3, 384, 512]
---------------------------------------------------------------

Выходы
-------------------------
имя：особенность
тензор: Плавающий[1, 256, 24, 32]
---------------------------------------------------------------

regressnet.onnx

Свойства модели
-------------------------
---------------------------------------------------------------

Входы
-------------------------
имя：особенность
тензор: Плавающий[1, 256, 24, 32]
---------------------------------------------------------------

Выходы
-------------------------
имя：mesh_motion
тензор: Плавающий[1, 7, 9, 2]
---------------------------------------------------------------

проект

код

Форма1.cs

с использованием OpenCvSharp;
с использованием Системы;
с использованием System.Drawing;
с использованием System.Drawing.Imaging;
с использованием System.Windows.Forms;

пространство имен Onnx_Demo
{
открытый частичный класс Form1 : Форма
    {
публичная Форма1()
        {
ИнициализироватьКомпонент();
        }

string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
строка image_path = "";
ДатаВремя dt1 = ДатаВремя.Сейчас;
ДатаВремя dt2 = ДатаВремя.Сейчас;
Матовое изображение;

CoupledTPS_RotationNet сеть вращения;
int iter_num = 3;

private void button1_Click(объект отправитель, EventArgs e)
        {
OpenFileDialog ofd = new OpenFileDialog();
ofd.InitialDirectory = Application.StartupPath+"\test_img\";
ofd.Filter = fileFilter;
            
если (ofd.ShowDialog() != DialogResult.OK) вернуть;
pictureBox1.Image = null;
image_path = ofd.Имя_файла;
pictureBox1.Image = new Bitmap(image_path);
textBox1.Текст = "";
изображение = новый Mat(image_path);
pictureBox2.Image = null;
        }

private void button2_Click(объект отправитель, EventArgs e)
        {
если (путь_к_изображению == "")
            {
возвращаться;
            }
кнопка2.Включено = ложь;
pictureBox2.Image = null;
textBox1.Текст = "";
Приложение.DoEvents();
//Читаем картинки
изображение = новый Mat(image_path);
dt1 = ДатаВремя.Сейчас;
Mat result_image = rotationNet.detect(image, iter_num);
dt2 = ДатаВремя.Сейчас;
Cv2.CvtColor(результирующее_изображение, результирующее_изображение, ColorConversionCodes.BGR2RGB);
pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
textBox1.Text = "Затраты времени на вывод:" + (dt2 - dt1).TotalMilliсекунды + "мс";
кнопка2.Включено = правда;
        }

private void Form1_Load(отправитель объекта, EventArgs e)
        {
rotationNet = new CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
путь_к_изображению = "test_img/00150_-8.4.jpg";
pictureBox1.Image = new Bitmap(image_path);
изображение = новый Mat(image_path);
        }

private void pictureBox1_DoubleClick(отправитель объекта, EventArgs e)
        {
Common.ShowNormalImg(pictureBox1.Image);
        }

private void pictureBox2_DoubleClick(отправитель объекта, EventArgs e)
        {
Common.ShowNormalImg(pictureBox2.Image);
        }

SaveFileDialog sdf = new SaveFileDialog();
private void button3_Click(объект отправитель, EventArgs e)
        {
если (pictureBox2.Image == null)
            {
возвращаться;
            }
Вывод растрового изображения = new Bitmap(pictureBox2.Image);
sdf.Title = "Сохранить";
sdf.Filter = "Изображения (*.jpg)|*.jpg|Изображения (*.png)|*.png|Изображения (*.bmp)|*.bmp|Изображения (*.emf)|*.emf|Изображения (*.exif)|*.exif|Изображения (*.gif)|*.gif|Изображения (*.ico)|*.ico|Изображения (*.tiff)|*.tiff|Изображения (*.wmf)|*.wmf";
если (sdf.ShowDialog() == DialogResult.OK)
            {
переключатель (sdf.FilterIndex)
                {
Дело 1:
                        {
output.Save(sdf.FileName, ImageFormat.Jpeg);
перерыв;
                        }
случай 2:
                        {
output.Save(sdf.FileName, ImageFormat.Png);
перерыв;
                        }
случай 3:
                        {
output.Save(sdf.FileName, ImageFormat.Bmp);
перерыв;
                        }
случай 4:
                        {
output.Save(sdf.FileName, ImageFormat.Emf);
перерыв;
                        }
случай 5:
                        {
output.Save(sdf.FileName, ImageFormat.Exif);
перерыв;
                        }
случай 6:
                        {
output.Save(sdf.FileName, ImageFormat.Gif);
перерыв;
                        }
случай 7:
                        {
output.Save(sdf.FileName, ImageFormat.Icon);
перерыв;
                        }

случай 8:
                        {
output.Save(sdf.FileName, ImageFormat.Tiff);
перерыв;
                        }
случай 9:
                        {
output.Save(sdf.FileName, ImageFormat.Wmf);
перерыв;
                        }
                }
MessageBox.Show("Сохранение успешно, местоположение: " + sdf.FileName);
            }
        }
    }
}

  1. using OpenCvSharp;
  2. using System;
  3. using System.Drawing;
  4. using System.Drawing.Imaging;
  5. using System.Windows.Forms;
  6.  
  7. namespace Onnx_Demo
  8. {
  9.     public partial class Form1 : Form
  10.     {
  11.         public Form1()
  12.         {
  13.             InitializeComponent();
  14.         }
  15.  
  16.         string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
  17.         string image_path = "";
  18.         DateTime dt1 = DateTime.Now;
  19.         DateTime dt2 = DateTime.Now;
  20.         Mat image;
  21.  
  22.         CoupledTPS_RotationNet rotationNet;
  23.         int iter_num = 3;
  24.  
  25.         private void button1_Click(object sender, EventArgs e)
  26.         {
  27.             OpenFileDialog ofd = new OpenFileDialog();
  28.             ofd.InitialDirectory =Application.StartupPath+"\test_img\";
  29.             ofd.Filter = fileFilter;
  30.             
  31.             if (ofd.ShowDialog() != DialogResult.OK) return;
  32.             pictureBox1.Image = null;
  33.             image_path = ofd.FileName;
  34.             pictureBox1.Image = new Bitmap(image_path);
  35.             textBox1.Text = "";
  36.             image = new Mat(image_path);
  37.             pictureBox2.Image = null;
  38.         }
  39.  
  40.         private void button2_Click(object sender, EventArgs e)
  41.         {
  42.             if (image_path == "")
  43.             {
  44.                 return;
  45.             }
  46.             button2.Enabled = false;
  47.             pictureBox2.Image = null;
  48.             textBox1.Text = "";
  49.             Application.DoEvents();
  50.             //读图片
  51.             image = new Mat(image_path);
  52.             dt1 = DateTime.Now;
  53.             Mat result_image = rotationNet.detect(image, iter_num);
  54.             dt2 = DateTime.Now;
  55.             Cv2.CvtColor(result_image, result_image, ColorConversionCodes.BGR2RGB);
  56.             pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
  57.             textBox1.Text = "推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms";
  58.             button2.Enabled = true;
  59.         }
  60.  
  61.         private void Form1_Load(object sender, EventArgs e)
  62.         {
  63.             rotationNet = new CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
  64.             image_path = "test_img/00150_-8.4.jpg";
  65.             pictureBox1.Image = new Bitmap(image_path);
  66.             image = new Mat(image_path);
  67.         }
  68.  
  69.         private void pictureBox1_DoubleClick(object sender, EventArgs e)
  70.         {
  71.             Common.ShowNormalImg(pictureBox1.Image);
  72.         }
  73.  
  74.         private void pictureBox2_DoubleClick(object sender, EventArgs e)
  75.         {
  76.             Common.ShowNormalImg(pictureBox2.Image);
  77.         }
  78.  
  79.         SaveFileDialog sdf = new SaveFileDialog();
  80.         private void button3_Click(object sender, EventArgs e)
  81.         {
  82.             if (pictureBox2.Image == null)
  83.             {
  84.                 return;
  85.             }
  86.             Bitmap output = new Bitmap(pictureBox2.Image);
  87.             sdf.Title = "保存";
  88.             sdf.Filter = "Images (*.jpg)|*.jpg|Images (*.png)|*.png|Images (*.bmp)|*.bmp|Images (*.emf)|*.emf|Images (*.exif)|*.exif|Images (*.gif)|*.gif|Images (*.ico)|*.ico|Images (*.tiff)|*.tiff|Images (*.wmf)|*.wmf";
  89.             if (sdf.ShowDialog() == DialogResult.OK)
  90.             {
  91.                 switch (sdf.FilterIndex)
  92.                 {
  93.                     case 1:
  94.                         {
  95.                             output.Save(sdf.FileName, ImageFormat.Jpeg);
  96.                             break;
  97.                         }
  98.                     case 2:
  99.                         {
  100.                             output.Save(sdf.FileName, ImageFormat.Png);
  101.                             break;
  102.                         }
  103.                     case 3:
  104.                         {
  105.                             output.Save(sdf.FileName, ImageFormat.Bmp);
  106.                             break;
  107.                         }
  108.                     case 4:
  109.                         {
  110.                             output.Save(sdf.FileName, ImageFormat.Emf);
  111.                             break;
  112.                         }
  113.                     case 5:
  114.                         {
  115.                             output.Save(sdf.FileName, ImageFormat.Exif);
  116.                             break;
  117.                         }
  118.                     case 6:
  119.                         {
  120.                             output.Save(sdf.FileName, ImageFormat.Gif);
  121.                             break;
  122.                         }
  123.                     case 7:
  124.                         {
  125.                             output.Save(sdf.FileName, ImageFormat.Icon);
  126.                             break;
  127.                         }
  128.  
  129.                     case 8:
  130.                         {
  131.                             output.Save(sdf.FileName, ImageFormat.Tiff);
  132.                             break;
  133.                         }
  134.                     case 9:
  135.                         {
  136.                             output.Save(sdf.FileName, ImageFormat.Wmf);
  137.                             break;
  138.                         }
  139.                 }
  140.                 MessageBox.Show("保存成功，位置：" + sdf.FileName);
  141.             }
  142.         }
  143.     }
  144. }

CoupledTPS_RotationNet.cs

  1. using OpenCvSharp;
  2. using OpenCvSharp.Dnn;
  3. using System.Collections.Generic;
  4. using System.Linq;
  5.  
  6. namespace Onnx_Demo
  7. {
  8.     public class CoupledTPS_RotationNet
  9.     {
  10.  
  11.         int input_height = 384;
  12.         int input_width = 512;
  13.         int grid_h = 6;
  14.         int grid_w = 8;
  15.         Mat grid = new Mat();
  16.         Mat W_inv = new Mat();
  17.  
  18.         Net feature_extractor;
  19.         Net regressNet;
  20.  
  21.         public CoupledTPS_RotationNet(string modelpatha, string modelpathb)
  22.         {
  23.             feature_extractor = CvDnn.ReadNet(modelpatha);
  24.             regressNet = CvDnn.ReadNet(modelpathb);
  25.             tps2flow.get_norm_rigid_mesh_inv_grid(ref grid, ref W_inv, input_height, input_width, grid_h, grid_w);
  26.         }
  27.  
  28.         unsafe public Mat detect(Mat srcimg, int iter_num)
  29.         {
  30.             Mat img = new Mat();
  31.             Cv2.Resize(srcimg, img, new Size(input_width, input_height));
  32.             img.ConvertTo(img, MatType.CV_32FC3, 1.0 / 127.5d, -1.0d);
  33.  
  34.             Mat input_tensor = CvDnn.BlobFromImage(img);
  35.  
  36.             feature_extractor.SetInput(input_tensor);
  37.  
  38.             Mat[] feature_oris = new Mat[1] { new Mat() };
  39.             string[] outBlobNames = feature_extractor.GetUnconnectedOutLayersNames().ToArray();
  40.             feature_extractor.Forward(feature_oris, outBlobNames);
  41.             Mat feature = feature_oris[0].Clone();
  42.  
  43.             int[] shape = { 1, 2, input_height, input_width };
  44.             Mat flow = Mat.Zeros(MatType.CV_32FC1, shape);
  45.  
  46.             List<Mat> flow_list = new List<Mat>();
  47.             for (int i = 0; i < iter_num; i++)
  48.             {
  49.                 regressNet.SetInput(feature);
  50.                 Mat[] mesh_motions = new Mat[1] { new Mat() };
  51.                 regressNet.Forward(mesh_motions, regressNet.GetUnconnectedOutLayersNames().ToArray());
  52.  
  53.                 float* offset = (float*)mesh_motions[0].Data;
  54.  
  55.                 Mat tp = new Mat();
  56.  
  57.                 tps2flow.get_ori_rigid_mesh_tp(ref tp, offset, input_height, input_width, grid_h, grid_w);
  58.  
  59.                 Mat T = W_inv * tp;   //_solve_system
  60.                 T = T.T();    //舍弃batchsize
  61.  
  62.                 Mat T_g = T * grid;
  63.  
  64.                 Mat delta_flow = new Mat();
  65.  
  66.                 tps2flow._transform(T_g, grid, input_height, input_width, ref delta_flow);
  67.  
  68.                 if (i == 0)
  69.                 {
  70.                     flow += delta_flow;
  71.  
  72.                 }
  73.                 else
  74.                 {
  75.                     Mat warped_flow = new Mat();
  76.                     grid_sample.warp_with_flow(flow, delta_flow, ref warped_flow);
  77.  
  78.                     flow = delta_flow + warped_flow;
  79.                 }
  80.                 flow_list.Add(flow.Clone());
  81.  
  82.                 if (i < (iter_num - 1))
  83.                 {
  84.                     int fea_h = feature.Size(2);
  85.                     int fea_w = feature.Size(3);
  86.                     float scale_h = (float)fea_h / flow.Size(2);
  87.                     float scale_w = (float)fea_w / flow.Size(3);
  88.  
  89.                     Mat down_flow = new Mat();
  90.                     upsample.UpSamplingBilinear(flow, ref down_flow, fea_h, fea_w, true, scale_h, scale_w);
  91.  
  92.                     for (int h = 0; h < fea_h; h++)
  93.                     {
  94.                         for (int w = 0; w < fea_w; w++)
  95.                         {
  96.                             float* p_w = (float*)down_flow.Ptr(0, 0, h);
  97.                             float temp_w = p_w[w];
  98.                             temp_w = temp_w * scale_w;
  99.                             p_w[w] = temp_w;
  100.  
  101.                             float* p_h = (float*)down_flow.Ptr(0, 1, h);
  102.                             float temp_h = p_h[w];
  103.                             temp_h = temp_h * scale_h;
  104.                             p_h[w] = temp_h;
  105.  
  106.                         }
  107.                     }
  108.                     feature.Release();
  109.                     feature = new Mat();
  110.                     grid_sample.warp_with_flow(feature_oris[0], down_flow, ref feature);
  111.                 }
  112.             }
  113.             Mat correction_final = new Mat();
  114.  
  115.             grid_sample.warp_with_flow(input_tensor, flow_list[iter_num - 1], ref correction_final);
  116.  
  117.             Mat correction_img = grid_sample.convert4dtoimage(correction_final);
  118.  
  119.             return correction_img;
  120.  
  121.         }
  122.     }
  123. }

скачать

Загрузка исходного кода

Личный профиль

Он посвятил себя исследованию технологий более 30 лет и владеет различными языками, такими как Java, Linux, Javascript, php, css и т. д. Он внес большой вклад в область открытого исходного кода. Станция документации для разработчиков, где можно поделиться некоторыми проблемами в разработке технологий для дальнейшего использования. Все ознакомьтесь.

моя контактная информация

Почта