2024-07-11
한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina
Ottieni contenuti web:
richiesta http
Richiede la libreria per Python
Analizzare il contenuto web
struttura della pagina web html
Bellissima libreria Soup per Python
Archiviare o analizzare i dati
Memorizzare nel database
Dati come analisi dell'intelligenza artificiale
Convertire in grafico e visualizzare
Inviando massicce richieste ad alta frequenza al server, viene consumata una grande quantità di risorse della pagina Web e le richieste di altri utenti vengono influenzate.
È possibile visualizzare il file robots.txt del sito Web per comprendere la gamma di percorsi di pagine Web di cui è possibile eseguire la scansione
Protocollo di richiesta-risposta tra client e server.
Metodo di richiesta: (comunemente usato)
OTTIENI: ottieni dati
POST: crea dati
POST /user/info HTTP/1.1 #请求行(包含方法类型、资源路径、协议版本)
Host:www.example.com #请求头
User-Agent:curl/7.77.0 #请求头
Accept:*/* #请求头
{"username":"呦呦呦", #请求体
"email":"[email protected]"} #请求头