Teknologian jakaminen

Shengsi 25 päivän sisäänkirjautuminen Camp-mindspore-ML- Day 22-Application Practice-Natural Language Processing-LSTM CRF Sequence Annotation

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Shengsi 25 päivän check-in camp-mindspore-ML- Day22-Application harjoitus-Luonnollisen kielen käsittely-LSTM+CRF-sekvenssimerkintä

Tänään opin LSTM+CRF-sekvenssimerkintämenetelmän. Se on tehokas malli, joka yhdistää toistuvia hermoverkkoja (RNN) ja ehdollisia satunnaiskenttiä (CRF). ja puheosan merkintä.
Perusteellista

  • LSTM (Long Short-Term Memory): Eräänä RNN-tyyppinä LSTM voi oppia pitkän matkan riippuvuuksia sekvensseissä ja kaapata avaintietoja aikasarjatietoihin.
  • CRF (ehdollinen satunnaiskenttä): CRF on todennäköisyyspohjainen graafimalli, joka pystyy oppimaan riippuvuuksia nimikkeiden välillä, esimerkiksi "ison" "Tsinghuan yliopistossa" tulisi kuulua samaan kokonaisuuteen kuin "Tsing" ja "Hua".
    Perusvaiheet
  1. Tietojen esikäsittely: Muunna tekstisekvenssit sanavektoriesityksiksi ja suorita täytetoimintoja, jotta kaikki sekvenssit ovat saman pituisia.
  2. LSTM-koodaus: Käytä LSTM-verkkoa sanavektorien koodaamiseen ja sekvenssin sisäisen esityksen poimimiseen.
  3. CRF-dekoodaus: Käytä CRF-mallia ennustamaan kunkin sanan nimiö LSTM-ulostulon ja nimiön välisen riippuvuuden perusteella.
  4. Mallin koulutus: Käytä negatiivisen log-todennäköisyyshäviön funktiota mallin harjoittamiseen ja mallin parametrien optimointiin.
    esimerkki
    Esimerkkinä nimetty entiteetin tunnistus, syöttösekvenssi on "Tsinghuan yliopisto sijaitsee pääkaupungissa Pekingissä". LSTM+CRF-malli ennustaa esimerkiksi "Tsinghuan yliopisto" -merkinnän. LOC" (kokonaisuuden alku) ja "I-LOC" (sisäinen entiteetti), kun taas "Peking" merkitään "B-LOC".
    koodin suoritusprosessi
  5. Tuo kirjasto: Tuo MindSpore-kirjasto ja siihen liittyvät moduulit.
  6. Määritä CRF-kerros: Toteuta CRF-kerroksen eteenpäin suuntautuva koulutus- ja dekoodausosa, mukaan lukien Score-laskenta ja Normalisointilaskenta.
  7. Määrittele malli: Rakenna LSTM+CRF-malli yhdistämällä LSTM- ja CRF-kerrokset.
  8. tietojen valmistelu: Luo harjoitustietoja ja suorita tietojen esikäsittelyä, mukaan lukien tekstin muuntaminen sanavektoreiksi, täyttö ja muut toiminnot.
  9. Mallin koulutus: Käytä optimoijaa mallin koulutukseen ja optimoi mallin parametrit.
  10. Mallin arviointi: Käytä testitietoja mallin suorituskyvyn, kuten laskentatarkkuuden, palautuksen ja muiden indikaattoreiden arvioimiseen.
    Sovellusskenaariot
    LSTM+CRF-sekvenssileimausmenetelmää voidaan soveltaa erilaisiin sekvenssileimausongelmiin, kuten:
  • Nimetyn kokonaisuuden tunnistus: Tunnista tekstissä olevat kokonaisuudet, kuten ihmisten, paikkojen, organisaatioiden jne. nimet.
  • puheosan merkitseminen: Merkitse jokaisen tekstin sanan, kuten substantiivien, verbien, adjektiivien, puheosuus.
  • tapahtuman poisto: Poimi tekstistä tapahtumatiedot, kuten aika, paikka, henkilö, tapahtumatyyppi jne.
    lääketieteelliset sovellukset
    LSTM+CRF-sekvenssimerkintämenetelmää käytetään laajalti myös lääketieteen alalla, kuten:
  • Lääketieteellisen tekstin tiedon poiminta: Poimi tärkeimmät tiedot sähköisistä potilaskertomuksista, lääketieteellisestä kirjallisuudesta ja muista teksteistä, kuten potilaiden oireista, lääkkeiden nimistä, hoitomenetelmistä jne.
  • Geenisekvenssianalyysi: Analysoi geenisekvenssejä ja tunnista geenien toiminnalliset alueet, kuten koodaavat alueet, ei-koodaavat alueet jne.
  • Proteiinirakenteen ennuste: Ennusta proteiinien kolmiulotteinen rakenne antaaksesi viittauksen lääkesuunnitteluun.
    Yhteenvetona voidaan todeta, että LSTM+CRF-sekvenssimerkintämenetelmä on tehokas työkalu, jota voidaan soveltaa erilaisiin sekvenssimerkintöihin ongelmiin ja jolla on tärkeä rooli lääketieteen alalla.

Yksityiskohtaiset asiakirjat ja koodi ovat:
[Tencent Documentation] LSTM CRF -sekvenssimerkintä
https://docs.qq.com/pdf/DUm1JdWlxbE5mSHdQ?