技術共有

C# CvDnn は、CoupledTPS をデプロイして回転画像補正を実装します

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

C# CvDnn は、CoupledTPS をデプロイしてローテーションを実装します画像補正

目次

説明する

効果

機種情報

プロジェクト

コード

ダウンロード

説明する

TPAMI2024 - 回転補正とそれ以降の半教師付き結合薄板スプラインモデル

ギットハブ住所：https://github.com/nie-lang/CoupledTPS

コード実装リファレンス:https://github.com/hpc203/CoupledTPS-opencv-dnn

効果

機種情報

機能抽出ツール.onnx

モデルのプロパティ
-------------------------
---------------------------------------------------------------

入力
-------------------------
名前：入力
テンソル：浮動小数点数[1, 3, 384, 512]
---------------------------------------------------------------

出力
-------------------------
名前：特徴
テンソル：浮動小数点数[1, 256, 24, 32]
---------------------------------------------------------------

再帰ネット

モデルのプロパティ
-------------------------
---------------------------------------------------------------

入力
-------------------------
名前：特徴
テンソル：浮動小数点数[1, 256, 24, 32]
---------------------------------------------------------------

出力
-------------------------
名前：メッシュモーション
テンソル：浮動小数点数[1, 7, 9, 2]
---------------------------------------------------------------

プロジェクト

コード

フォーム1.cs

OpenCvSharp を使用します。
システムの使用;
System.Drawing を使用します。
System.Drawing.Imaging を使用します。
System.Windows.Forms を使用します。

名前空間 Onnx_Demo
{
パブリック部分クラス Form1 : Form
    {
パブリックForm1()
        {
コンポーネントを初期化します。
        }

文字列ファイルフィルター = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
文字列 image_path = "";
日付時刻 dt1 = DateTime.Now;
日付時刻 dt2 = DateTime.Now;
マット画像;

結合TPS_RotationNet回転ネット;
反復番号 = 3;

プライベート void button1_Click(オブジェクト送信者、EventArgs e)
        {
OpenFileDialog ofd = 新しい OpenFileDialog();
ofd.InitialDirectory =Application.StartupPath+"\test_img\";
ofd.Filter = ファイルフィルタ;
            
if (ofd.ShowDialog() != DialogResult.OK) を返す;
pictureBox1.Image = null;
イメージパス = ofd.FileName;
pictureBox1.Image = 新しいビットマップ(image_path);
テキストボックス1.テキスト = "";
画像 = 新しい Mat(image_path);
pictureBox2.Image = null;
        }

プライベート void button2_Click(オブジェクト送信者、EventArgs e)
        {
if (image_path == "")
            {
戻る;
            }
ボタン2.Enabled = false;
pictureBox2.Image = null;
テキストボックス1.テキスト = "";
アプリケーション.DoEvents();
//画像を読み込む
画像 = 新しい Mat(image_path);
dt1 = DateTime.Now;
Mat result_image = rotationNet.detect(image, iter_num);
dt2 = DateTime.Now;
Cv2.CvtColor(結果イメージ、結果イメージ、ColorConversionCodes.BGR2RGB);
pictureBox2.Image = 新しいビットマップ(result_image.ToMemoryStream());
textBox1.Text = "推論消費時間:" + (dt2 - dt1).TotalMilliseconds + "ms";
ボタン2が有効 = true;
        }

プライベート void Form1_Load(オブジェクト送信者、EventArgs e)
        {
rotationNet = 新しい CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
イメージパス = "test_img/00150_-8.4.jpg";
pictureBox1.Image = 新しいビットマップ(image_path);
画像 = 新しい Mat(image_path);
        }

プライベート void pictureBox1_DoubleClick(オブジェクト送信者、EventArgs e)
        {
Common.ShowNormalImg(pictureBox1.Image);
        }

プライベート void pictureBox2_DoubleClick(オブジェクト送信者、EventArgs e)
        {
Common.ShowNormalImg(pictureBox2.Image);
        }

SaveFileDialog sdf = 新しい SaveFileDialog();
プライベート void button3_Click(オブジェクト送信者、EventArgs e)
        {
(pictureBox2.Image == null)の場合
            {
戻る;
            }
ビットマップ出力 = new Bitmap(pictureBox2.Image);
sdf.Title = "保存";
sdf.Filter = "画像 (*.jpg)|*.jpg|画像 (*.png)|*.png|画像 (*.bmp)|*.bmp|画像 (*.emf)|*.emf|画像 (*.exif)|*.exif|画像 (*.gif)|*.gif|画像 (*.ico)|*.ico|画像 (*.tiff)|*.tiff|画像 (*.wmf)|*.wmf";
（sdf.ShowDialog() == DialogResult.OK）の場合
            {
スイッチ (sdf.FilterIndex)
                {
ケース1:
                        {
出力を保存します(sdf.FileName、ImageFormat.Jpeg);
壊す;
                        }
ケース2:
                        {
出力を保存します(sdf.FileName、ImageFormat.Png);
壊す;
                        }
ケース3:
                        {
出力を保存します(sdf.FileName、ImageFormat.Bmp);
壊す;
                        }
ケース4:
                        {
出力を保存します(sdf.FileName、ImageFormat.Emf);
壊す;
                        }
ケース5:
                        {
出力を保存します(sdf.FileName、ImageFormat.Exif);
壊す;
                        }
ケース6:
                        {
出力を保存します(sdf.FileName、ImageFormat.Gif);
壊す;
                        }
ケース7:
                        {
出力を保存します(sdf.FileName、ImageFormat.Icon);
壊す;
                        }

ケース8:
                        {
出力を保存します(sdf.FileName、ImageFormat.Tiff);
壊す;
                        }
ケース9:
                        {
出力を保存します(sdf.FileName、ImageFormat.Wmf);
壊す;
                        }
                }
MessageBox.Show("正常に保存されました。場所: " + sdf.FileName);
            }
        }
    }
}

  1. using OpenCvSharp;
  2. using System;
  3. using System.Drawing;
  4. using System.Drawing.Imaging;
  5. using System.Windows.Forms;
  6.  
  7. namespace Onnx_Demo
  8. {
  9.     public partial class Form1 : Form
  10.     {
  11.         public Form1()
  12.         {
  13.             InitializeComponent();
  14.         }
  15.  
  16.         string fileFilter = "*.*|*.bmp;*.jpg;*.jpeg;*.tiff;*.tiff;*.png";
  17.         string image_path = "";
  18.         DateTime dt1 = DateTime.Now;
  19.         DateTime dt2 = DateTime.Now;
  20.         Mat image;
  21.  
  22.         CoupledTPS_RotationNet rotationNet;
  23.         int iter_num = 3;
  24.  
  25.         private void button1_Click(object sender, EventArgs e)
  26.         {
  27.             OpenFileDialog ofd = new OpenFileDialog();
  28.             ofd.InitialDirectory =Application.StartupPath+"\test_img\";
  29.             ofd.Filter = fileFilter;
  30.             
  31.             if (ofd.ShowDialog() != DialogResult.OK) return;
  32.             pictureBox1.Image = null;
  33.             image_path = ofd.FileName;
  34.             pictureBox1.Image = new Bitmap(image_path);
  35.             textBox1.Text = "";
  36.             image = new Mat(image_path);
  37.             pictureBox2.Image = null;
  38.         }
  39.  
  40.         private void button2_Click(object sender, EventArgs e)
  41.         {
  42.             if (image_path == "")
  43.             {
  44.                 return;
  45.             }
  46.             button2.Enabled = false;
  47.             pictureBox2.Image = null;
  48.             textBox1.Text = "";
  49.             Application.DoEvents();
  50.             //读图片
  51.             image = new Mat(image_path);
  52.             dt1 = DateTime.Now;
  53.             Mat result_image = rotationNet.detect(image, iter_num);
  54.             dt2 = DateTime.Now;
  55.             Cv2.CvtColor(result_image, result_image, ColorConversionCodes.BGR2RGB);
  56.             pictureBox2.Image = new Bitmap(result_image.ToMemoryStream());
  57.             textBox1.Text = "推理耗时:" + (dt2 - dt1).TotalMilliseconds + "ms";
  58.             button2.Enabled = true;
  59.         }
  60.  
  61.         private void Form1_Load(object sender, EventArgs e)
  62.         {
  63.             rotationNet = new CoupledTPS_RotationNet("model/feature_extractor.onnx", "model/regressnet.onnx");
  64.             image_path = "test_img/00150_-8.4.jpg";
  65.             pictureBox1.Image = new Bitmap(image_path);
  66.             image = new Mat(image_path);
  67.         }
  68.  
  69.         private void pictureBox1_DoubleClick(object sender, EventArgs e)
  70.         {
  71.             Common.ShowNormalImg(pictureBox1.Image);
  72.         }
  73.  
  74.         private void pictureBox2_DoubleClick(object sender, EventArgs e)
  75.         {
  76.             Common.ShowNormalImg(pictureBox2.Image);
  77.         }
  78.  
  79.         SaveFileDialog sdf = new SaveFileDialog();
  80.         private void button3_Click(object sender, EventArgs e)
  81.         {
  82.             if (pictureBox2.Image == null)
  83.             {
  84.                 return;
  85.             }
  86.             Bitmap output = new Bitmap(pictureBox2.Image);
  87.             sdf.Title = "保存";
  88.             sdf.Filter = "Images (*.jpg)|*.jpg|Images (*.png)|*.png|Images (*.bmp)|*.bmp|Images (*.emf)|*.emf|Images (*.exif)|*.exif|Images (*.gif)|*.gif|Images (*.ico)|*.ico|Images (*.tiff)|*.tiff|Images (*.wmf)|*.wmf";
  89.             if (sdf.ShowDialog() == DialogResult.OK)
  90.             {
  91.                 switch (sdf.FilterIndex)
  92.                 {
  93.                     case 1:
  94.                         {
  95.                             output.Save(sdf.FileName, ImageFormat.Jpeg);
  96.                             break;
  97.                         }
  98.                     case 2:
  99.                         {
  100.                             output.Save(sdf.FileName, ImageFormat.Png);
  101.                             break;
  102.                         }
  103.                     case 3:
  104.                         {
  105.                             output.Save(sdf.FileName, ImageFormat.Bmp);
  106.                             break;
  107.                         }
  108.                     case 4:
  109.                         {
  110.                             output.Save(sdf.FileName, ImageFormat.Emf);
  111.                             break;
  112.                         }
  113.                     case 5:
  114.                         {
  115.                             output.Save(sdf.FileName, ImageFormat.Exif);
  116.                             break;
  117.                         }
  118.                     case 6:
  119.                         {
  120.                             output.Save(sdf.FileName, ImageFormat.Gif);
  121.                             break;
  122.                         }
  123.                     case 7:
  124.                         {
  125.                             output.Save(sdf.FileName, ImageFormat.Icon);
  126.                             break;
  127.                         }
  128.  
  129.                     case 8:
  130.                         {
  131.                             output.Save(sdf.FileName, ImageFormat.Tiff);
  132.                             break;
  133.                         }
  134.                     case 9:
  135.                         {
  136.                             output.Save(sdf.FileName, ImageFormat.Wmf);
  137.                             break;
  138.                         }
  139.                 }
  140.                 MessageBox.Show("保存成功，位置：" + sdf.FileName);
  141.             }
  142.         }
  143.     }
  144. }

結合TPS_回転ネット.cs

  1. using OpenCvSharp;
  2. using OpenCvSharp.Dnn;
  3. using System.Collections.Generic;
  4. using System.Linq;
  5.  
  6. namespace Onnx_Demo
  7. {
  8.     public class CoupledTPS_RotationNet
  9.     {
  10.  
  11.         int input_height = 384;
  12.         int input_width = 512;
  13.         int grid_h = 6;
  14.         int grid_w = 8;
  15.         Mat grid = new Mat();
  16.         Mat W_inv = new Mat();
  17.  
  18.         Net feature_extractor;
  19.         Net regressNet;
  20.  
  21.         public CoupledTPS_RotationNet(string modelpatha, string modelpathb)
  22.         {
  23.             feature_extractor = CvDnn.ReadNet(modelpatha);
  24.             regressNet = CvDnn.ReadNet(modelpathb);
  25.             tps2flow.get_norm_rigid_mesh_inv_grid(ref grid, ref W_inv, input_height, input_width, grid_h, grid_w);
  26.         }
  27.  
  28.         unsafe public Mat detect(Mat srcimg, int iter_num)
  29.         {
  30.             Mat img = new Mat();
  31.             Cv2.Resize(srcimg, img, new Size(input_width, input_height));
  32.             img.ConvertTo(img, MatType.CV_32FC3, 1.0 / 127.5d, -1.0d);
  33.  
  34.             Mat input_tensor = CvDnn.BlobFromImage(img);
  35.  
  36.             feature_extractor.SetInput(input_tensor);
  37.  
  38.             Mat[] feature_oris = new Mat[1] { new Mat() };
  39.             string[] outBlobNames = feature_extractor.GetUnconnectedOutLayersNames().ToArray();
  40.             feature_extractor.Forward(feature_oris, outBlobNames);
  41.             Mat feature = feature_oris[0].Clone();
  42.  
  43.             int[] shape = { 1, 2, input_height, input_width };
  44.             Mat flow = Mat.Zeros(MatType.CV_32FC1, shape);
  45.  
  46.             List<Mat> flow_list = new List<Mat>();
  47.             for (int i = 0; i < iter_num; i++)
  48.             {
  49.                 regressNet.SetInput(feature);
  50.                 Mat[] mesh_motions = new Mat[1] { new Mat() };
  51.                 regressNet.Forward(mesh_motions, regressNet.GetUnconnectedOutLayersNames().ToArray());
  52.  
  53.                 float* offset = (float*)mesh_motions[0].Data;
  54.  
  55.                 Mat tp = new Mat();
  56.  
  57.                 tps2flow.get_ori_rigid_mesh_tp(ref tp, offset, input_height, input_width, grid_h, grid_w);
  58.  
  59.                 Mat T = W_inv * tp;   //_solve_system
  60.                 T = T.T();    //舍弃batchsize
  61.  
  62.                 Mat T_g = T * grid;
  63.  
  64.                 Mat delta_flow = new Mat();
  65.  
  66.                 tps2flow._transform(T_g, grid, input_height, input_width, ref delta_flow);
  67.  
  68.                 if (i == 0)
  69.                 {
  70.                     flow += delta_flow;
  71.  
  72.                 }
  73.                 else
  74.                 {
  75.                     Mat warped_flow = new Mat();
  76.                     grid_sample.warp_with_flow(flow, delta_flow, ref warped_flow);
  77.  
  78.                     flow = delta_flow + warped_flow;
  79.                 }
  80.                 flow_list.Add(flow.Clone());
  81.  
  82.                 if (i < (iter_num - 1))
  83.                 {
  84.                     int fea_h = feature.Size(2);
  85.                     int fea_w = feature.Size(3);
  86.                     float scale_h = (float)fea_h / flow.Size(2);
  87.                     float scale_w = (float)fea_w / flow.Size(3);
  88.  
  89.                     Mat down_flow = new Mat();
  90.                     upsample.UpSamplingBilinear(flow, ref down_flow, fea_h, fea_w, true, scale_h, scale_w);
  91.  
  92.                     for (int h = 0; h < fea_h; h++)
  93.                     {
  94.                         for (int w = 0; w < fea_w; w++)
  95.                         {
  96.                             float* p_w = (float*)down_flow.Ptr(0, 0, h);
  97.                             float temp_w = p_w[w];
  98.                             temp_w = temp_w * scale_w;
  99.                             p_w[w] = temp_w;
  100.  
  101.                             float* p_h = (float*)down_flow.Ptr(0, 1, h);
  102.                             float temp_h = p_h[w];
  103.                             temp_h = temp_h * scale_h;
  104.                             p_h[w] = temp_h;
  105.  
  106.                         }
  107.                     }
  108.                     feature.Release();
  109.                     feature = new Mat();
  110.                     grid_sample.warp_with_flow(feature_oris[0], down_flow, ref feature);
  111.                 }
  112.             }
  113.             Mat correction_final = new Mat();
  114.  
  115.             grid_sample.warp_with_flow(input_tensor, flow_list[iter_num - 1], ref correction_final);
  116.  
  117.             Mat correction_img = grid_sample.convert4dtoimage(correction_final);
  118.  
  119.             return correction_img;
  120.  
  121.         }
  122.     }
  123. }

ダウンロード

ソースコードのダウンロード

個人プロフィール

彼は 30 年以上テクノロジーの研究に専念しており、java、linux、javascript、php、css などのさまざまな言語に堪能であり、オープンソース分野で多くの貢献を行っています。将来の参考のために技術開発におけるいくつかの問題を共有する開発者ドキュメント ステーション。

私の連絡先情報

郵便