Teknologian jakaminen

Johdatus python-indeksointirobotin perusteisiin

2024-07-11

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

askel

  1. Hanki verkkosisältöä:

    1. http-pyyntö

    2. Pyytää kirjastoa pythonille

  2. Jäsennä verkkosisältöä

    1. html verkkosivun rakenne

    2. Kaunis keittokirjasto pythonille

  3. Tallenna tai analysoi tietoja

    1. Tallenna tietokantaan

    2. Data AI-analyysinä

    3. Muunna kaavioksi ja näytä

DDoS-hyökkäys

Lähettämällä palvelimelle suuria suurtaajuisia pyyntöjä kuluu suuri määrä verkkosivun resursseja ja se vaikuttaa muiden käyttäjien pyyntöihin.

noudata sääntöjä

Voit tarkastella verkkosivuston robots.txt-tiedostoa, jotta ymmärrät indeksoitavien verkkosivujen polkujen valikoiman

HTTP (Hypertext Transfer Protocol Hypertext Transfer Protocol)

  1. Pyyntö-vastausprotokolla asiakkaan ja palvelimen välillä.

  2. Pyyntötapa: (yleisesti käytetty)

    1. GET: Hanki tiedot

    2. POST: Luo dataa

  3. Pyyntö koostuu:
    POST /user/info HTTP/1.1           #请求行(包含方法类型、资源路径、协议版本)
    Host:www.example.com              #请求头
    User-Agent:curl/7.77.0            #请求头
    Accept:*/*                        #请求头
    
    {"username":"呦呦呦",              #请求体
    "email":"[email protected]"}      #请求头