Berbagi teknologi

Pengantar dasar-dasar perayap python

2024-07-11

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

melangkah

  1. Dapatkan konten web:

    1. permintaan http

    2. Meminta perpustakaan untuk python

  2. Parsing konten web

    1. struktur halaman web html

    2. Perpustakaan Sup yang indah untuk python

  3. Menyimpan atau menganalisis data

    1. Simpan di basis data

    2. Data sebagai analisis AI

    3. Konversikan ke grafik dan tampilan

serangan DDoS

Dengan mengirimkan permintaan frekuensi tinggi secara besar-besaran ke server, sejumlah besar sumber daya halaman web dikonsumsi dan permintaan pengguna lain terpengaruh.

ikuti aturan

Anda dapat melihat file robots.txt situs web untuk memahami rentang jalur halaman web yang dapat dirayapi

HTTP (Protokol Transfer Hiperteks Protokol Transfer Hiperteks)

  1. Protokol permintaan-respons antara klien dan server.

  2. Metode permintaan: (umum digunakan)

    1. DAPATKAN: Dapatkan data

    2. POSTING: Buat data

  3. Permintaan terdiri dari:
    POST /user/info HTTP/1.1           #请求行(包含方法类型、资源路径、协议版本)
    Host:www.example.com              #请求头
    User-Agent:curl/7.77.0            #请求头
    Accept:*/*                        #请求头
    
    {"username":"呦呦呦",              #请求体
    "email":"[email protected]"}      #请求头