Teknologian jakaminen

Kotimainen runko PaddleClas yhdistettynä Swanlabiin rikkakasvien luokitukseen

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Projektin esittely

Rikkaruohot ovat yksi suurimmista ongelmista maataloudessa, ja ne uhkaavat vakavasti sadon kasvua ja satoa. Perinteiset manuaaliset tunnistus- ja hallintamenetelmät ovat tehottomia ja epätarkkoja, joten maatalouden tuotannon tehokkuuden ja laadun parantamiseksi tarvitaan kehittynyttä tietokonenäkötekniikkaa. Syväoppimismallina ResNet hoitaa hyvin monimutkaisia ​​kuvaluokitustehtäviä. Se ei ainoastaan ​​ratkaise tehokkaasti monimuotoisten ja monimutkaisten rikkakasvien ongelmaa viljelysmailla, vaan myös edistää älykkään maatalouden kehitystä ja vähentää riippuvuutta kemiallisista torjunta-aineista kestävää maatalouden kehitystä. Käyttämällä ResNetiä rikkakasvien luokittelussa voimme tarjota viljelijöille älykkäämpiä ja tarkempia maatalouden hallintaratkaisuja, edistää maataloustuotannon tehokkuutta ja maatalousteollisuuden modernisointia. Siksi tämä projekti käyttää paikallistettua viitekehystä PaddleClas+Swanlab+Gradio+Swanhub rikkakasvien luokituskokeiden suorittamiseen.

PaddlePaddle on Baidun kehittämä yritystason syväoppimisalusta, joka on suunniteltu tukemaan koko prosessin syväoppimissovelluksia mallinkehityksestä käyttöönottoon. Se tarjoaa runsaasti työkaluja ja kirjastoja tukemaan erilaisia ​​syvällisiä oppimistehtäviä, kuten kuvankäsittelyä, luonnollisen kielen käsittelyä, puheentunnistusta jne.Mela Mela

PaddleClas on työkalukirjasto, jota käytetään erityisesti kuvan luokittelutehtäviin Paddle-kehyksessä. Se tarjoaa täydellisen joukon päästä päähän -ratkaisuja, mukaan lukien tietojenkäsittelyn, mallin määrittelyn, koulutuksen, arvioinnin ja käyttöönoton, jotka on suunniteltu auttamaan kehittäjiä nopeasti rakentamaan ja ottamaan käyttöön tehokkaita kuvien luokitusmalleja.PaddleClas

SwanLab on avoimen lähdekoodin kevyt tekoälykokeilujen seurantatyökalu, joka parantaa ML-kokeilujen seurantaa ja yhteistyökokemusta tarjoamalla ystävällisen API:n ja yhdistämällä hyperparametrien seurannan, indikaattorien tallennuksen, online-yhteistyön ja muita toimintoja.Tervetuloa SwanLabin viralliseen dokumentaatioon

Swanhub on Geek Studion kehittämä avoimen lähdekoodin yhteistyö- ja jakamisyhteisö. Se tarjoaa tekoälykehittäjille toimintoja, kuten tekoälymallin isännöinnin, koulutustiedot, mallitulosten näyttämisen ja nopean API-käyttöönoton.Tervetuloa Swanhubiin

Gradio on avoimen lähdekoodin Python-kirjasto, joka on suunniteltu auttamaan koneoppimisen parissa työskenteleviä datatieteilijöitä, tutkijoita ja kehittäjiä luomaan ja jakamaan nopeasti käyttöliittymiä koneoppimismalleille.Gradio

2. Valmisteluosa

2.1 Ympäristöasennus

Asenna seuraavat 3 kirjastoa:

  1. paddle
  2. swanlab
  3. gradio

Asennuskomento:

pip install paddle swanlab gradio

2.2 Lataa tietojoukko

Rikkakasvien luokitusaineisto: DeepWeeds

  1. DeepWeeds
  2. --images
  3. ----1.jpg
  4. ----2.jpg
  5. --train.txt
  6. --val.txt
  7. --test.txt
  8. --classnames.txt

Niiden tehtävät ja merkitys:

1. DeepWeeds-kansio: tähän kansioon tallennetaan kuvakansiokuvia, harjoitussarjan testisarjan vahvistussarjatiedostoja ja tarratiedostoja

2. Images-kansio: Tätä kansiota käytetään koulutus-, testaus- ja vahvistuskuvakansioiden tallentamiseen.

3. train.txt-, val.txt-, test.txt-tiedostot: Tätä tiedostoa käytetään koulutus-, testaus- ja vahvistusjoukkojen kuvapolkujen ja luokat tallentamiseen.

4. luokkanimitiedosto: käytetään luokkatarrojen tallentamiseen

2.3 Lataa PaddleClas-kehys

Mallin linkki:PaddleClas malli

Purkamisen jälkeen saat PaddleClas-kansion.

2.4 Luo tiedostohakemisto

Luo app.py PaddleClas-kansioon.

Mitä se tekee: Suorita skripti, joka suorittaa Gradio Demon

3. ResNet mallikoulutus

3.1 Muokkaa kokoonpanoa

Etsi ensin ppcls-->configs-->ImageNet-->Res2Net-->Res2Net50_14w_8s.yaml PaddleClas-kansiosta.

Muuta epookit arvoon 100, kategorian luokan_numero arvoon 9, koulutuskuvapolkua, vahvistuskuvapolkua ja tarratiedostoa. Muutoksia tehtiin yhteensä 7 kappaletta.

  1. # global configs
  2. Global:
  3.   checkpoints: null
  4.   pretrained_model: null
  5.   output_dir: ./output/
  6.   device: gpu
  7.   save_interval: 1
  8.   eval_during_train: True
  9.   eval_interval: 1
  10.   epochs: 100###########################1##############################
  11.   print_batch_step: 10
  12.   use_visualdl: False
  13.   # used for static mode and model export
  14.   image_shape: [3, 224, 224]
  15.   save_inference_dir: ./inference
  16.  
  17. # model architecture
  18. Arch:
  19.   name: Res2Net50_14w_8s
  20.   class_num: 9############################2##############################
  21.  
  22. # loss function config for traing/eval process
  23. Loss:
  24.   Train:
  25.     - CELoss:
  26.         weight: 1.0
  27.         epsilon: 0.1
  28.   Eval:
  29.     - CELoss:
  30.         weight: 1.0
  31.  
  32.  
  33. Optimizer:
  34.   name: Momentum
  35.   momentum: 0.9
  36.   lr:
  37.     name: Cosine
  38.     learning_rate: 0.1
  39.   regularizer:
  40.     name: 'L2'
  41.     coeff: 0.0001
  42.  
  43.  
  44. # data loader for train and eval
  45. DataLoader:
  46.   Train:
  47.     dataset:
  48.       name: ImageNetDataset
  49.       image_root: ./weeds/images/#################3#######################
  50.       cls_label_path: ./weeds/train.txt###########4########################
  51.       transform_ops:
  52.         - DecodeImage:
  53.             to_rgb: True
  54.             channel_first: False
  55.         - RandCropImage:
  56.             size: 224
  57.         - RandFlipImage:
  58.             flip_code: 1
  59.         - NormalizeImage:
  60.             scale: 1.0/255.0
  61.             mean: [0.485, 0.456, 0.406]
  62.             std: [0.229, 0.224, 0.225]
  63.             order: ''
  64.       batch_transform_ops:
  65.         - MixupOperator:
  66.             alpha: 0.2
  67.  
  68.     sampler:
  69.       name: DistributedBatchSampler
  70.       batch_size: 64
  71.       drop_last: False
  72.       shuffle: True
  73.     loader:
  74.       num_workers: 4
  75.       use_shared_memory: True
  76.  
  77.   Eval:
  78.     dataset: 
  79.       name: ImageNetDataset
  80.       image_root: ./DeepWeeds/images/###############5#######################
  81.       cls_label_path: ./DeepWeeds/val.txt###########6########################
  82.       transform_ops:
  83.         - DecodeImage:
  84.             to_rgb: True
  85.             channel_first: False
  86.         - ResizeImage:
  87.             resize_short: 256
  88.         - CropImage:
  89.             size: 224
  90.         - NormalizeImage:
  91.             scale: 1.0/255.0
  92.             mean: [0.485, 0.456, 0.406]
  93.             std: [0.229, 0.224, 0.225]
  94.             order: ''
  95.     sampler:
  96.       name: DistributedBatchSampler
  97.       batch_size: 64
  98.       drop_last: False
  99.       shuffle: False
  100.     loader:
  101.       num_workers: 4
  102.       use_shared_memory: True
  103.  
  104. Infer:
  105.   infer_imgs: docs/images/inference_deployment/whl_demo.jpg
  106.   batch_size: 10
  107.   transforms:
  108.     - DecodeImage:
  109.         to_rgb: True
  110.         channel_first: False
  111.     - ResizeImage:
  112.         resize_short: 256
  113.     - CropImage:
  114.         size: 224
  115.     - NormalizeImage:
  116.         scale: 1.0/255.0
  117.         mean: [0.485, 0.456, 0.406]
  118.         std: [0.229, 0.224, 0.225]
  119.         order: ''
  120.     - ToCHWImage:
  121.   PostProcess:
  122.     name: Topk
  123.     topk: 5
  124.     class_id_map_file: ./DeepWeeds/classnaems.txt###########7##################
  125.  
  126. Metric:
  127.   Train:
  128.   Eval:
  129.     - TopkAcc:
  130.         topk: [1, 5]

3.2 Swanlabin käyttö

Etsi työkalut-->train.py PaddleClas-kansiosta. Alusta swanlab

  1. # Copyright (c) 2021 PaddlePaddle Authors. All Rights Reserved.
  2.  #
  3.  # Licensed under the Apache License, Version 2.0 (the "License");
  4.  # you may not use this file except in compliance with the License.
  5.  # You may obtain a copy of the License at
  6.  #
  7.  #     http://www.apache.org/licenses/LICENSE-2.0
  8.  #
  9.  # Unless required by applicable law or agreed to in writing, software
  10.  # distributed under the License is distributed on an "AS IS" BASIS,
  11.  # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12.  # See the License for the specific language governing permissions and
  13.  # limitations under the License.
  14.  
  15. from __future__ import absolute_import
  16. from __future__ import division
  17. from __future__ import print_function
  18. import os
  19. import sys
  20.  
  21.  __dir__ = os.path.dirname(os.path.abspath(__file__))
  22.  sys.path.append(os.path.abspath(os.path.join(__dir__, '../')))
  23.  
  24. from ppcls.utils import config
  25. from ppcls.engine.engine import Engine
  26. import swanlab
  27. # -*- coding: utf-8 -*-
  28.  
  29. if __name__ == "__main__":
  30.     args = config.parse_args()
  31.     config = config.get_config(
  32.         args.config, overrides=args.override, show=False)
  33.     config.profiler_options = args.profiler_options
  34.     engine = Engine(config, mode="train")
  35.     
  36.     ## 初始化swanlab
  37.     swanlab.init(
  38.         experiment_name="Swanlab_ResNet50_PaddleClas",
  39.         description="Train ResNet50 for weeds classification.",
  40.         project="Swanhub_Weeds_Classification",
  41.         config={
  42.             "model": "ResNet50",
  43.             "optim": "Adam",
  44.             "lr": 0.001,
  45.             "batch_size": 64,
  46.             "num_epochs": 100,
  47.             "num_class": 9,
  48.         }
  49.     )
  50.     engine.train()

Etsi ppcls-->engine-->train-->utils.py PaddleClasista ja lisää seuraava koodi:

  1. swanlab.log({"train_lr_msg": lr_msg.split(": ")[1]})  #
  2. swanlab.log({"train_CELoss": metric_msg.split(",")[0].split(': ')[1]})  ##
  3. swanlab.log({'train_loss': metric_msg.split(",")[1].split(': ')[1]})

Etsi ppcls-->engine-->engine.py PaddleClas-kansiosta ja lisää seuraava koodi:

swanlab.log({'best_metric': best_metric.get('metric')})

3.3 Mallikoulutus

Kirjoita konsoliin seuraava komento:

python -m paddle.distributed.launch tools/train.py -c ./ppcls/configs/ImageNet/Res2Net/Res2Net50_14w_8s.yaml

Katso kokeen tiedot swanlabissa

Kokeen tulokset ovat seuraavat:

Katso kokeelliset tulokset swanlabissa

3.4 Mallin päättely

Syötä seuraava koodi konsoliin:

python tools/infer.py -c ./ppcls/configs/ImageNet/Res2Net/Res2Net50_14w_8s.yaml -o Infer.infer_imgs=./DeepWeeds/infer/01.jpg -o Global.pretrained_model=./output/Res2Net50_14w_8s/best_model

4. DarkNet53 mallikoulutus

4.1 Muokkaa asetuksia

Etsi ensin ppcls-->configs-->ImageNet-->DarkNet-->DarkNet53.yaml PaddleClas-kansiosta.

Muuta epookit arvoon 100, kategorian luokan_numero arvoon 9, koulutuskuvapolkua, vahvistuskuvapolkua ja tarratiedostoa. Muutoksia tehtiin yhteensä 7 kappaletta.

  1. # global configs
  2. Global:
  3.   checkpoints: null
  4.   pretrained_model: null
  5.   output_dir: ./output/
  6.   device: gpu
  7.   save_interval: 1
  8.   eval_during_train: True
  9.   eval_interval: 1
  10.   epochs: 100
  11.   print_batch_step: 10
  12.   use_visualdl: False
  13.   # used for static mode and model export
  14.   image_shape: [3, 256, 256]
  15.   save_inference_dir: ./inference
  16.  
  17. # model architecture
  18. Arch:
  19.   name: DarkNet53
  20.   class_num: 9
  21.  
  22. # loss function config for traing/eval process
  23. Loss:
  24.   Train:
  25.     - CELoss:
  26.         weight: 1.0
  27.         epsilon: 0.1
  28.   Eval:
  29.     - CELoss:
  30.         weight: 1.0
  31.  
  32.  
  33. Optimizer:
  34.   name: Momentum
  35.   momentum: 0.9
  36.   lr:
  37.     name: Cosine
  38.     learning_rate: 0.1
  39.   regularizer:
  40.     name: 'L2'
  41.     coeff: 0.0001
  42.  
  43.  
  44. # data loader for train and eval
  45. DataLoader:
  46.   Train:
  47.     dataset:
  48.       name: ImageNetDataset
  49.       image_root: F:/datasets/DeepWeeds/images
  50.       cls_label_path: F:/datasets/DeepWeeds/train.txt
  51.       transform_ops:
  52.         - DecodeImage:
  53.             to_rgb: True
  54.             channel_first: False
  55.         - RandCropImage:
  56.             size: 256
  57.         - RandFlipImage:
  58.             flip_code: 1
  59.         - NormalizeImage:
  60.             scale: 1.0/255.0
  61.             mean: [0.485, 0.456, 0.406]
  62.             std: [0.229, 0.224, 0.225]
  63.             order: ''
  64.       batch_transform_ops:
  65.         - MixupOperator:
  66.             alpha: 0.2
  67.  
  68.     sampler:
  69.       name: DistributedBatchSampler
  70.       batch_size: 64
  71.       drop_last: False
  72.       shuffle: True
  73.     loader:
  74.       num_workers: 4
  75.       use_shared_memory: True
  76.  
  77.   Eval:
  78.     dataset: 
  79.       name: ImageNetDataset
  80.       image_root: F:/datasets/DeepWeeds/images
  81.       cls_label_path: F:/datasets/DeepWeeds/val.txt
  82.       transform_ops:
  83.         - DecodeImage:
  84.             to_rgb: True
  85.             channel_first: False
  86.         - ResizeImage:
  87.             resize_short: 292
  88.         - CropImage:
  89.             size: 256
  90.         - NormalizeImage:
  91.             scale: 1.0/255.0
  92.             mean: [0.485, 0.456, 0.406]
  93.             std: [0.229, 0.224, 0.225]
  94.             order: ''
  95.     sampler:
  96.       name: DistributedBatchSampler
  97.       batch_size: 64
  98.       drop_last: False
  99.       shuffle: False
  100.     loader:
  101.       num_workers: 4
  102.       use_shared_memory: True
  103.  
  104. Infer:
  105.   infer_imgs: docs/images/inference_deployment/whl_demo.jpg
  106.   batch_size: 10
  107.   transforms:
  108.     - DecodeImage:
  109.         to_rgb: True
  110.         channel_first: False
  111.     - ResizeImage:
  112.         resize_short: 292
  113.     - CropImage:
  114.         size: 256
  115.     - NormalizeImage:
  116.         scale: 1.0/255.0
  117.         mean: [0.485, 0.456, 0.406]
  118.         std: [0.229, 0.224, 0.225]
  119.         order: ''
  120.     - ToCHWImage:
  121.   PostProcess:
  122.     name: Topk
  123.     topk: 5
  124.     class_id_map_file: F:/datasets/DeepWeeds/classnames
  125.  
  126. Metric:
  127.   Train:
  128.   Eval:
  129.     - TopkAcc:
  130.         topk: [1, 5]

4.2 Swanlabin käyttö

Etsi työkalut-->train.py PaddleClas-kansiosta. Muokkaa alustus swanlab

  1. # Copyright (c) 2021 PaddlePaddle Authors. All Rights Reserved.
  2.  #
  3.  # Licensed under the Apache License, Version 2.0 (the "License");
  4.  # you may not use this file except in compliance with the License.
  5.  # You may obtain a copy of the License at
  6.  #
  7.  #     http://www.apache.org/licenses/LICENSE-2.0
  8.  #
  9.  # Unless required by applicable law or agreed to in writing, software
  10.  # distributed under the License is distributed on an "AS IS" BASIS,
  11.  # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12.  # See the License for the specific language governing permissions and
  13.  # limitations under the License.
  14.  
  15. from __future__ import absolute_import
  16. from __future__ import division
  17. from __future__ import print_function
  18. import os
  19. import sys
  20.  
  21.  __dir__ = os.path.dirname(os.path.abspath(__file__))
  22.  sys.path.append(os.path.abspath(os.path.join(__dir__, '../')))
  23.  
  24. from ppcls.utils import config
  25. from ppcls.engine.engine import Engine
  26. import swanlab
  27. # -*- coding: utf-8 -*-
  28.  
  29. if __name__ == "__main__":
  30.     args = config.parse_args()
  31.     config = config.get_config(
  32.         args.config, overrides=args.override, show=False)
  33.     config.profiler_options = args.profiler_options
  34.     engine = Engine(config, mode="train")
  35.     
  36.     ## 初始化swanlab
  37.     swanlab.init(
  38.         experiment_name="Swanlab_DrakNet53_PaddleClas",
  39.         description="Train DarkNet53 for weeds classification.",
  40.         project="Swanhub_Weeds_Classification",
  41.         config={
  42.             "model": "DarkNet53",
  43.             "optim": "Adam",
  44.             "lr": 0.001,
  45.             "batch_size": 64,
  46.             "num_epochs": 100,
  47.             "num_class": 9,
  48.         }
  49.     )
  50.     engine.train()

4.3 Mallikoulutus

Kirjoita konsoliin seuraava komento:

python -m paddle.distributed.launch tools/train.py -c ./ppcls/configs/ImageNet/DarkNet/DarknetNet53.yaml

Katso kokeen tiedot swanlabissa

Kokeen tulokset ovat seuraavat:

4.4 Mallin päättely

Syötä seuraava koodi konsoliin:

python tools/infer.py -c ./ppcls/configs/ImageNet/DarkNet/DarkNet53.yaml -o Infer.infer_imgs=./DeepWeeds/infer/01.jpg -o Global.pretrained_model=./output/DarkNet53/best_model

4.5 Swanlabin tulosnäyttö

Kuten kuvasta näkyy, ResNet50-malli toimii paremmin kuin DarkNet53-malli, ja swanlab tarjoaa kätevän vertailukaaviotoiminnon.

5. Gradio-demo

Jatkuu. . .

6. Swanhub lataa ja esittelee demon

Jatkuu. . .

Henkilökohtainen profiili

Hän on omistautunut teknologian tutkimukselle yli 30 vuoden ajan ja hallitsee useita kieliä, kuten java, linux, javascript, php, css jne. Hän on tehnyt paljon työtä avoimen lähdekoodin alalla Kehittäjän dokumentaatioasema jakaaksesi joitain teknologian kehityksen ongelmia tulevaa käyttöä varten

yhteystietoni

Mail