Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1. Rastreador Python e exemplo de saída

Abaixo está um exemplo de um rastreador da web simples escrito em Python que rastreará uma determinada página da web (por exemplo, digamoshttps://example.com , mas observe que, no uso real, precisamos substituí-lo pelo título (Título) de um site real que pode ser rastreado) e imprimi-lo. Como acessar e copiar diretamente sites reais pode envolver questões legais e de direitos autorais, fornecemos apenas um exemplo conceitual aqui.

Para realizar esta tarefa usaremos o Pythonrequestsbiblioteca para enviar solicitações HTTP e usarBeautifulSoup Biblioteca para analisar conteúdo HTML. Se ainda não instalamos essas bibliotecas, podemos instalá-las via pip:

bash复制代码
​
pip install requests beautifulsoup4

Aqui está o exemplo de código completo:

# 导入必要的库  
import requests  
from bs4 import BeautifulSoup  
  
def fetch_website_title(url):  
    """  
    抓取指定网页的标题并返回。  
      
    参数:  
    url (str): 需要抓取的网页的URL。  
      
    返回:  
    str: 网页的标题，如果抓取失败则返回None。  
    """  
    try:  
        # 发送HTTP GET请求  
        response = requests.get(url)  
          
        # 检查请求是否成功  
        if response.status_code == 200:  
            # 使用BeautifulSoup解析HTML内容  
            soup = BeautifulSoup(response.text, 'html.parser')  
              
            # 查找网页的<title>标签  
            title_tag = soup.find('title')  
              
            # 如果找到<title>标签，则返回其内容  
            if title_tag:  
                return title_tag.get_text(strip=True)  
            else:  
                return "No title found."  
        else:  
            return f"Failed to retrieve the webpage. Status code: {response.status_code}"  
    except requests.RequestException as e:  
        return f"Error fetching the webpage: {e}"  
  
# 示例URL（请替换为我们要抓取的网页的URL）  
url = 'https://example.com'  
  
# 调用函数并打印结果  
title = fetch_website_title(url)  
print(f"The title of the webpage is: {title}")

Perceber：

(1) Devido ahttps://example.comé um espaço reservado, por exemplo, então precisamos substituí-lo por um URL de página da web válido que permita o rastreamento durante a execução.

(2) O rastreador deve cumprir os requisitos do site de destino ao executarrobots.txtO documento estipula o respeito aos direitos autorais e às restrições de acesso do site.

(3) Alguns sites podem ter mecanismos anti-rastreador configurados, como verificação de agente de usuário, limite de frequência, etc. Poderemos precisar modificar nossos cabeçalhos de solicitação (comoUser-Agent) ou use métodos como proxies para contornar essas restrições.

(4) Para estruturas de páginas web mais complexas ou requisitos de captura de dados mais avançados, talvez seja necessário aprender mais sobre HTML, seletores CSS, XPath e solicitações de rede.

2. Exemplos de código mais detalhados

Abaixo está um exemplo de código do rastreador Python mais detalhado, desta vez usareirequestsbiblioteca para enviar solicitações HTTP e usarBeautifulSoupbiblioteca para analisar conteúdo HTML para rastrear um site real (por exemplo, usamoshttps://www.wikipedia.orgPor exemplo, mas observe que o rastreamento real deve estar em conformidade com asrobots.txtregulamentos e política de direitos autorais).

Primeiro, certifique-se de que instalamosrequestsebeautifulsoup4 biblioteca. Se não estiver instalado, use pip para instalá-lo:

bash复制代码
​
pip install requests beautifulsoup4

Podemos então usar o seguinte código para capturar e imprimir o título da página inicial da Wikipedia:

# 导入必要的库  
import requests  
from bs4 import BeautifulSoup  
  
def fetch_and_parse_title(url):  
    """  
    发送HTTP GET请求到指定的URL，解析HTML内容，并返回网页的标题。  
  
    参数:  
    url (str): 需要抓取的网页的URL。  
  
    返回:  
    str: 网页的标题，如果抓取或解析失败则返回相应的错误消息。  
    """  
    try:  
        # 发送HTTP GET请求  
        headers = {  
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'  
        }  # 设置User-Agent来模拟浏览器访问  
        response = requests.get(url, headers=headers)  
  
        # 检查请求是否成功  
        if response.status_code == 200:  
            # 使用BeautifulSoup解析HTML内容  
            soup = BeautifulSoup(response.text, 'html.parser')  
  
            # 查找网页的<title>标签  
            title_tag = soup.find('title')  
  
            # 提取并返回标题内容  
            if title_tag:  
                return title_tag.get_text(strip=True)  
            else:  
                return "No title found in the webpage."  
        else:  
            return f"Failed to retrieve the webpage. Status code: {response.status_code}"  
    except requests.RequestException as e:  
        return f"Error fetching the webpage: {e}"  
  
# 示例URL（这里使用Wikipedia的主页作为示例）  
url = 'https://www.wikipedia.org'  
  
# 调用函数并打印结果  
title = fetch_and_parse_title(url)  
print(f"The title of the webpage is: {title}")

Este código primeiro define um cabeçalho de solicitação (headers), que contém umUser-Agent campo, isso simula um acesso real do navegador, pois alguns sites verificarão o cabeçalho da solicitação para evitar o acesso do rastreador. Em seguida, ele envia uma solicitação GET para o URL especificado e usa BeautifulSoup para analisar o conteúdo HTML retornado.Em seguida, procura o HTML<title> tag e extraia seu conteúdo de texto como o título da página da web. Finalmente, ele imprime o título no console.

Observe que embora este exemplo use a Wikipédia como exemplo, em um projeto real devemos sempre aderir aos requisitos do site de destino.robots.txtdocumentação e políticas de direitos autorais para garantir que nossas práticas de rastreamento sejam legais e éticas.