Κοινή χρήση τεχνολογίας

Εγχώριο πλαίσιο PaddleClas σε συνδυασμό με Swanlab για ταξινόμηση ζιζανίων

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Εισαγωγή έργου

Τα ζιζάνια είναι ένα από τα σημαντικότερα προβλήματα στη γεωργία, που αποτελούν σοβαρή απειλή για την ανάπτυξη και την απόδοση των καλλιεργειών. Οι παραδοσιακές χειροκίνητες μέθοδοι αναγνώρισης και διαχείρισης είναι αναποτελεσματικές και ανακριβείς, επομένως απαιτείται προηγμένη τεχνολογία υπολογιστικής όρασης για τη βελτίωση της αποτελεσματικότητας και της ποιότητας της γεωργικής παραγωγής. Ως μοντέλο βαθιάς μάθησης, το ResNet έχει καλή απόδοση στο χειρισμό σύνθετων εργασιών ταξινόμησης εικόνων. Μπορεί όχι μόνο να λύσει αποτελεσματικά το πρόβλημα των διαφορετικών και πολύπλοκων ζιζανίων σε γεωργικές εκτάσεις, αλλά και να προωθήσει την ανάπτυξη έξυπνης γεωργίας και να μειώσει την εξάρτηση από τα χημικά φυτοφάρμακα αειφόρου αγροτικής ανάπτυξης. Χρησιμοποιώντας το ResNet για ταξινόμηση ζιζανίων, μπορούμε να παρέχουμε στους αγρότες πιο έξυπνες και ακριβείς λύσεις γεωργικής διαχείρισης, να προωθήσουμε τη βελτίωση της αποδοτικότητας της γεωργικής παραγωγής και τον εκσυγχρονισμό της γεωργικής βιομηχανίας. Επομένως, αυτό το έργο χρησιμοποιεί το τοπικό πλαίσιο PaddleClas+Swanlab+Gradio+Swanhub για τη διεξαγωγή πειραμάτων ταξινόμησης ζιζανίων.

Το PaddlePaddle είναι μια πλατφόρμα βαθιάς μάθησης σε επίπεδο επιχείρησης που αναπτύχθηκε από την Baidu, σχεδιασμένη για να υποστηρίζει εφαρμογές βαθιάς μάθησης πλήρους διαδικασίας από την ανάπτυξη μοντέλων έως την ανάπτυξη. Παρέχει πληθώρα εργαλείων και βιβλιοθηκών για την υποστήριξη μιας ποικιλίας εργασιών βαθιάς μάθησης, συμπεριλαμβανομένης της επεξεργασίας εικόνας, της επεξεργασίας φυσικής γλώσσας, της αναγνώρισης ομιλίας κ.λπ.PaddlePaddle

Το PaddleClas είναι μια βιβλιοθήκη εργαλείων που χρησιμοποιείται ειδικά για εργασίες ταξινόμησης εικόνων στο πλαίσιο Paddle. Παρέχει ένα πλήρες σύνολο λύσεων από άκρο σε άκρο, συμπεριλαμβανομένης της επεξεργασίας δεδομένων, του ορισμού μοντέλου, της εκπαίδευσης, της αξιολόγησης και της ανάπτυξης, που έχουν σχεδιαστεί για να βοηθούν τους προγραμματιστές να δημιουργήσουν και να αναπτύξουν γρήγορα αποτελεσματικά μοντέλα ταξινόμησης εικόνων.PaddleClas

Το SwanLab είναι ένα ανοιχτού κώδικα, ελαφρύ εργαλείο παρακολούθησης πειράματος τεχνητής νοημοσύνης που βελτιώνει την παρακολούθηση πειράματος ML και την εμπειρία συνεργασίας παρέχοντας ένα φιλικό API και συνδυάζοντας παρακολούθηση υπερπαραμέτρων, καταγραφή δεικτών, διαδικτυακή συνεργασία και άλλες λειτουργίες.Καλώς ήρθατε στην επίσημη τεκμηρίωση SwanLab |

Το Swanhub είναι μια κοινότητα συνεργασίας και κοινής χρήσης μοντέλου ανοιχτού κώδικα που αναπτύχθηκε από το Geek Studio. Παρέχει στους προγραμματιστές τεχνητής νοημοσύνης λειτουργίες όπως φιλοξενία μοντέλων τεχνητής νοημοσύνης, αρχεία εκπαίδευσης, εμφάνιση αποτελεσμάτων μοντέλων και ταχεία ανάπτυξη API.Καλώς ήρθατε στο Swanhub

Η Gradio είναι μια βιβλιοθήκη Python ανοιχτού κώδικα που έχει σχεδιαστεί για να βοηθά τους επιστήμονες δεδομένων, τους ερευνητές και τους προγραμματιστές που εργάζονται στον τομέα της μηχανικής μάθησης να δημιουργούν γρήγορα και να μοιράζονται διεπαφές χρήστη για μοντέλα μηχανικής μάθησης.Gradio

2. Μέρος προετοιμασίας

2.1 Εγκατάσταση περιβάλλοντος

Εγκαταστήστε τις ακόλουθες 3 βιβλιοθήκες:

  1. paddle
  2. swanlab
  3. gradio

Εντολή εγκατάστασης:

pip install paddle swanlab gradio

2.2 Λήψη συνόλου δεδομένων

Δεδομένα ταξινόμησης ζιζανίων: DeepWeeds

  1. DeepWeeds
  2. --images
  3. ----1.jpg
  4. ----2.jpg
  5. --train.txt
  6. --val.txt
  7. --test.txt
  8. --classnames.txt

Οι αντίστοιχες λειτουργίες και η σημασία τους:

1. Φάκελος DeepWeeds: Αυτός ο φάκελος χρησιμοποιείται για την αποθήκευση εικόνων φακέλων εικόνων, αρχείων συνόλου επικύρωσης δοκιμαστικών συνόλων εκπαίδευσης και αρχείων ετικετών

2. φάκελος εικόνων: Αυτός ο φάκελος χρησιμοποιείται για την αποθήκευση φακέλων εικόνων εκπαίδευσης, δοκιμών και επαλήθευσης.

3. Αρχεία train.txt, val.txt, test.txt: Αυτό το αρχείο χρησιμοποιείται για την αποθήκευση των διαδρομών εικόνας και των κατηγοριών συνόλων εκπαίδευσης, δοκιμών και επικύρωσης.

4. Αρχείο ονομάτων κλάσεων: χρησιμοποιείται για την αποθήκευση ετικετών κατηγοριών

2.3 Κάντε λήψη του πλαισίου PaddleClas

Σύνδεσμος μοντέλου:Μοντέλο PaddleClas

Μετά την αποσυμπίεση, θα λάβετε τον φάκελο PaddleClas.

2.4 Δημιουργία καταλόγου αρχείων

Δημιουργήστε το app.py στο φάκελο PaddleClas.

Αυτό που κάνει είναι: εκτελέστε το σενάριο που εκτελεί το Gradio Demo

3. Εκπαίδευση μοντέλου ResNet

3.1 Τροποποίηση διαμόρφωσης

Βρείτε πρώτα ppcls-->configs-->ImageNet-->Res2Net-->Res2Net50_14w_8s.yaml στον φάκελο PaddleClas.

Τροποποιήστε τις εποχές σε 100, την κατηγορία class_num σε 9, τη διαδρομή εικόνας εκπαίδευσης, τη διαδρομή εικόνας επαλήθευσης και το αρχείο ετικέτας αντίστοιχα. Συνολικά έγιναν 7 αλλαγές.

  1. # global configs
  2. Global:
  3.   checkpoints: null
  4.   pretrained_model: null
  5.   output_dir: ./output/
  6.   device: gpu
  7.   save_interval: 1
  8.   eval_during_train: True
  9.   eval_interval: 1
  10.   epochs: 100###########################1##############################
  11.   print_batch_step: 10
  12.   use_visualdl: False
  13.   # used for static mode and model export
  14.   image_shape: [3, 224, 224]
  15.   save_inference_dir: ./inference
  16.  
  17. # model architecture
  18. Arch:
  19.   name: Res2Net50_14w_8s
  20.   class_num: 9############################2##############################
  21.  
  22. # loss function config for traing/eval process
  23. Loss:
  24.   Train:
  25.     - CELoss:
  26.         weight: 1.0
  27.         epsilon: 0.1
  28.   Eval:
  29.     - CELoss:
  30.         weight: 1.0
  31.  
  32.  
  33. Optimizer:
  34.   name: Momentum
  35.   momentum: 0.9
  36.   lr:
  37.     name: Cosine
  38.     learning_rate: 0.1
  39.   regularizer:
  40.     name: 'L2'
  41.     coeff: 0.0001
  42.  
  43.  
  44. # data loader for train and eval
  45. DataLoader:
  46.   Train:
  47.     dataset:
  48.       name: ImageNetDataset
  49.       image_root: ./weeds/images/#################3#######################
  50.       cls_label_path: ./weeds/train.txt###########4########################
  51.       transform_ops:
  52.         - DecodeImage:
  53.             to_rgb: True
  54.             channel_first: False
  55.         - RandCropImage:
  56.             size: 224
  57.         - RandFlipImage:
  58.             flip_code: 1
  59.         - NormalizeImage:
  60.             scale: 1.0/255.0
  61.             mean: [0.485, 0.456, 0.406]
  62.             std: [0.229, 0.224, 0.225]
  63.             order: ''
  64.       batch_transform_ops:
  65.         - MixupOperator:
  66.             alpha: 0.2
  67.  
  68.     sampler:
  69.       name: DistributedBatchSampler
  70.       batch_size: 64
  71.       drop_last: False
  72.       shuffle: True
  73.     loader:
  74.       num_workers: 4
  75.       use_shared_memory: True
  76.  
  77.   Eval:
  78.     dataset: 
  79.       name: ImageNetDataset
  80.       image_root: ./DeepWeeds/images/###############5#######################
  81.       cls_label_path: ./DeepWeeds/val.txt###########6########################
  82.       transform_ops:
  83.         - DecodeImage:
  84.             to_rgb: True
  85.             channel_first: False
  86.         - ResizeImage:
  87.             resize_short: 256
  88.         - CropImage:
  89.             size: 224
  90.         - NormalizeImage:
  91.             scale: 1.0/255.0
  92.             mean: [0.485, 0.456, 0.406]
  93.             std: [0.229, 0.224, 0.225]
  94.             order: ''
  95.     sampler:
  96.       name: DistributedBatchSampler
  97.       batch_size: 64
  98.       drop_last: False
  99.       shuffle: False
  100.     loader:
  101.       num_workers: 4
  102.       use_shared_memory: True
  103.  
  104. Infer:
  105.   infer_imgs: docs/images/inference_deployment/whl_demo.jpg
  106.   batch_size: 10
  107.   transforms:
  108.     - DecodeImage:
  109.         to_rgb: True
  110.         channel_first: False
  111.     - ResizeImage:
  112.         resize_short: 256
  113.     - CropImage:
  114.         size: 224
  115.     - NormalizeImage:
  116.         scale: 1.0/255.0
  117.         mean: [0.485, 0.456, 0.406]
  118.         std: [0.229, 0.224, 0.225]
  119.         order: ''
  120.     - ToCHWImage:
  121.   PostProcess:
  122.     name: Topk
  123.     topk: 5
  124.     class_id_map_file: ./DeepWeeds/classnaems.txt###########7##################
  125.  
  126. Metric:
  127.   Train:
  128.   Eval:
  129.     - TopkAcc:
  130.         topk: [1, 5]

3.2 Χρήση Swanlab

Βρείτε εργαλεία-->train.py στο φάκελο PaddleClas. Αρχικοποιήστε το swanlab

  1. # Copyright (c) 2021 PaddlePaddle Authors. All Rights Reserved.
  2.  #
  3.  # Licensed under the Apache License, Version 2.0 (the "License");
  4.  # you may not use this file except in compliance with the License.
  5.  # You may obtain a copy of the License at
  6.  #
  7.  #     http://www.apache.org/licenses/LICENSE-2.0
  8.  #
  9.  # Unless required by applicable law or agreed to in writing, software
  10.  # distributed under the License is distributed on an "AS IS" BASIS,
  11.  # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12.  # See the License for the specific language governing permissions and
  13.  # limitations under the License.
  14.  
  15. from __future__ import absolute_import
  16. from __future__ import division
  17. from __future__ import print_function
  18. import os
  19. import sys
  20.  
  21.  __dir__ = os.path.dirname(os.path.abspath(__file__))
  22.  sys.path.append(os.path.abspath(os.path.join(__dir__, '../')))
  23.  
  24. from ppcls.utils import config
  25. from ppcls.engine.engine import Engine
  26. import swanlab
  27. # -*- coding: utf-8 -*-
  28.  
  29. if __name__ == "__main__":
  30.     args = config.parse_args()
  31.     config = config.get_config(
  32.         args.config, overrides=args.override, show=False)
  33.     config.profiler_options = args.profiler_options
  34.     engine = Engine(config, mode="train")
  35.     
  36.     ## 初始化swanlab
  37.     swanlab.init(
  38.         experiment_name="Swanlab_ResNet50_PaddleClas",
  39.         description="Train ResNet50 for weeds classification.",
  40.         project="Swanhub_Weeds_Classification",
  41.         config={
  42.             "model": "ResNet50",
  43.             "optim": "Adam",
  44.             "lr": 0.001,
  45.             "batch_size": 64,
  46.             "num_epochs": 100,
  47.             "num_class": 9,
  48.         }
  49.     )
  50.     engine.train()

Βρείτε το ppcls-->engine-->train-->utils.py στο PaddleClas και προσθέστε τον ακόλουθο κώδικα:

  1. swanlab.log({"train_lr_msg": lr_msg.split(": ")[1]})  #
  2. swanlab.log({"train_CELoss": metric_msg.split(",")[0].split(': ')[1]})  ##
  3. swanlab.log({'train_loss': metric_msg.split(",")[1].split(': ')[1]})

Βρείτε το ppcls-->engine-->engine.py στο φάκελο PaddleClas και προσθέστε τον ακόλουθο κώδικα:

swanlab.log({'best_metric': best_metric.get('metric')})

3.3 Πρότυπη εκπαίδευση

Εισαγάγετε την ακόλουθη εντολή στην κονσόλα:

python -m paddle.distributed.launch tools/train.py -c ./ppcls/configs/ImageNet/Res2Net/Res2Net50_14w_8s.yaml

Δείτε λεπτομέρειες πειράματος στο swanlab

Τα πειραματικά αποτελέσματα έχουν ως εξής:

Δείτε πειραματικά αποτελέσματα στο swanlab

3.4 Υπόδειγμα συλλογισμού

Εισαγάγετε τον ακόλουθο κωδικό στην κονσόλα:

python tools/infer.py -c ./ppcls/configs/ImageNet/Res2Net/Res2Net50_14w_8s.yaml -o Infer.infer_imgs=./DeepWeeds/infer/01.jpg -o Global.pretrained_model=./output/Res2Net50_14w_8s/best_model

4. Εκπαίδευση μοντέλου DarkNet53

4.1 Τροποποίηση διαμόρφωσης

Βρείτε πρώτα το ppcls-->configs-->ImageNet-->DarkNet-->DarkNet53.yaml στον φάκελο PaddleClas.

Τροποποιήστε τις εποχές σε 100, την κατηγορία class_num σε 9, τη διαδρομή εικόνας εκπαίδευσης, τη διαδρομή εικόνας επαλήθευσης και το αρχείο ετικέτας αντίστοιχα. Συνολικά έγιναν 7 αλλαγές.

  1. # global configs
  2. Global:
  3.   checkpoints: null
  4.   pretrained_model: null
  5.   output_dir: ./output/
  6.   device: gpu
  7.   save_interval: 1
  8.   eval_during_train: True
  9.   eval_interval: 1
  10.   epochs: 100
  11.   print_batch_step: 10
  12.   use_visualdl: False
  13.   # used for static mode and model export
  14.   image_shape: [3, 256, 256]
  15.   save_inference_dir: ./inference
  16.  
  17. # model architecture
  18. Arch:
  19.   name: DarkNet53
  20.   class_num: 9
  21.  
  22. # loss function config for traing/eval process
  23. Loss:
  24.   Train:
  25.     - CELoss:
  26.         weight: 1.0
  27.         epsilon: 0.1
  28.   Eval:
  29.     - CELoss:
  30.         weight: 1.0
  31.  
  32.  
  33. Optimizer:
  34.   name: Momentum
  35.   momentum: 0.9
  36.   lr:
  37.     name: Cosine
  38.     learning_rate: 0.1
  39.   regularizer:
  40.     name: 'L2'
  41.     coeff: 0.0001
  42.  
  43.  
  44. # data loader for train and eval
  45. DataLoader:
  46.   Train:
  47.     dataset:
  48.       name: ImageNetDataset
  49.       image_root: F:/datasets/DeepWeeds/images
  50.       cls_label_path: F:/datasets/DeepWeeds/train.txt
  51.       transform_ops:
  52.         - DecodeImage:
  53.             to_rgb: True
  54.             channel_first: False
  55.         - RandCropImage:
  56.             size: 256
  57.         - RandFlipImage:
  58.             flip_code: 1
  59.         - NormalizeImage:
  60.             scale: 1.0/255.0
  61.             mean: [0.485, 0.456, 0.406]
  62.             std: [0.229, 0.224, 0.225]
  63.             order: ''
  64.       batch_transform_ops:
  65.         - MixupOperator:
  66.             alpha: 0.2
  67.  
  68.     sampler:
  69.       name: DistributedBatchSampler
  70.       batch_size: 64
  71.       drop_last: False
  72.       shuffle: True
  73.     loader:
  74.       num_workers: 4
  75.       use_shared_memory: True
  76.  
  77.   Eval:
  78.     dataset: 
  79.       name: ImageNetDataset
  80.       image_root: F:/datasets/DeepWeeds/images
  81.       cls_label_path: F:/datasets/DeepWeeds/val.txt
  82.       transform_ops:
  83.         - DecodeImage:
  84.             to_rgb: True
  85.             channel_first: False
  86.         - ResizeImage:
  87.             resize_short: 292
  88.         - CropImage:
  89.             size: 256
  90.         - NormalizeImage:
  91.             scale: 1.0/255.0
  92.             mean: [0.485, 0.456, 0.406]
  93.             std: [0.229, 0.224, 0.225]
  94.             order: ''
  95.     sampler:
  96.       name: DistributedBatchSampler
  97.       batch_size: 64
  98.       drop_last: False
  99.       shuffle: False
  100.     loader:
  101.       num_workers: 4
  102.       use_shared_memory: True
  103.  
  104. Infer:
  105.   infer_imgs: docs/images/inference_deployment/whl_demo.jpg
  106.   batch_size: 10
  107.   transforms:
  108.     - DecodeImage:
  109.         to_rgb: True
  110.         channel_first: False
  111.     - ResizeImage:
  112.         resize_short: 292
  113.     - CropImage:
  114.         size: 256
  115.     - NormalizeImage:
  116.         scale: 1.0/255.0
  117.         mean: [0.485, 0.456, 0.406]
  118.         std: [0.229, 0.224, 0.225]
  119.         order: ''
  120.     - ToCHWImage:
  121.   PostProcess:
  122.     name: Topk
  123.     topk: 5
  124.     class_id_map_file: F:/datasets/DeepWeeds/classnames
  125.  
  126. Metric:
  127.   Train:
  128.   Eval:
  129.     - TopkAcc:
  130.         topk: [1, 5]

4.2 Χρήση του Swanlab

Βρείτε εργαλεία-->train.py στο φάκελο PaddleClas. Τροποποίηση αρχικοποίησης swanlab

  1. # Copyright (c) 2021 PaddlePaddle Authors. All Rights Reserved.
  2.  #
  3.  # Licensed under the Apache License, Version 2.0 (the "License");
  4.  # you may not use this file except in compliance with the License.
  5.  # You may obtain a copy of the License at
  6.  #
  7.  #     http://www.apache.org/licenses/LICENSE-2.0
  8.  #
  9.  # Unless required by applicable law or agreed to in writing, software
  10.  # distributed under the License is distributed on an "AS IS" BASIS,
  11.  # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12.  # See the License for the specific language governing permissions and
  13.  # limitations under the License.
  14.  
  15. from __future__ import absolute_import
  16. from __future__ import division
  17. from __future__ import print_function
  18. import os
  19. import sys
  20.  
  21.  __dir__ = os.path.dirname(os.path.abspath(__file__))
  22.  sys.path.append(os.path.abspath(os.path.join(__dir__, '../')))
  23.  
  24. from ppcls.utils import config
  25. from ppcls.engine.engine import Engine
  26. import swanlab
  27. # -*- coding: utf-8 -*-
  28.  
  29. if __name__ == "__main__":
  30.     args = config.parse_args()
  31.     config = config.get_config(
  32.         args.config, overrides=args.override, show=False)
  33.     config.profiler_options = args.profiler_options
  34.     engine = Engine(config, mode="train")
  35.     
  36.     ## 初始化swanlab
  37.     swanlab.init(
  38.         experiment_name="Swanlab_DrakNet53_PaddleClas",
  39.         description="Train DarkNet53 for weeds classification.",
  40.         project="Swanhub_Weeds_Classification",
  41.         config={
  42.             "model": "DarkNet53",
  43.             "optim": "Adam",
  44.             "lr": 0.001,
  45.             "batch_size": 64,
  46.             "num_epochs": 100,
  47.             "num_class": 9,
  48.         }
  49.     )
  50.     engine.train()

4.3 Πρότυπη εκπαίδευση

Εισαγάγετε την ακόλουθη εντολή στην κονσόλα:

python -m paddle.distributed.launch tools/train.py -c ./ppcls/configs/ImageNet/DarkNet/DarknetNet53.yaml

Δείτε λεπτομέρειες πειράματος στο swanlab

Τα πειραματικά αποτελέσματα έχουν ως εξής:

4.4 Υπόδειγμα συλλογισμού

Εισαγάγετε τον ακόλουθο κωδικό στην κονσόλα:

python tools/infer.py -c ./ppcls/configs/ImageNet/DarkNet/DarkNet53.yaml -o Infer.infer_imgs=./DeepWeeds/infer/01.jpg -o Global.pretrained_model=./output/DarkNet53/best_model

4.5 Εμφάνιση αποτελεσμάτων Swanlab

Όπως φαίνεται από το σχήμα, το μοντέλο ResNet50 αποδίδει καλύτερα από το μοντέλο DarkNet53 και το swanlab παρέχει μια βολική λειτουργία γραφήματος σύγκρισης.

5. Επίδειξη Gradio

Συνεχίζεται. . .

6. Το Swanhub ανεβάζει και επιδεικνύει την επίδειξη

Συνεχίζεται. . .

Προσωπικό προφίλ

Έχει αφοσιωθεί στην έρευνα της τεχνολογίας για περισσότερα από 30 χρόνια και είναι ικανός σε διάφορες γλώσσες όπως java, linux, javascript, php, css κ.λπ. Έχει κάνει πολλές συνεισφορές στον τομέα του ανοιχτού κώδικα σταθμός τεκμηρίωσης προγραμματιστή για να μοιραστείτε ορισμένα ζητήματα στην ανάπτυξη τεχνολογίας για μελλοντική αναφορά

τα στοιχεία επικοινωνίας μου

Ταχυδρομείο