Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Pour mes nombreuses années d'expérience dans l'industrie des robots d'exploration, la programmation de divers codes de demande est vraiment un travail très laborieux et méticuleux. Avec la popularité de l'IA, je me demande s'il est possible de capturer et de générer automatiquement le contenu textuel souhaité grâce à l'automatisation de l'IA. programmes. . Le principe est que je prévois de le compléter en combinant la technologie des robots (comme Scrapy) et des modèles d'IA génératifs (tels que GPT-4).

Voici mes réflexions sur la classe de robot d'exploration AIGC, montrant comment créer une application de robot d'exploration AIGC.

1. Installez les dépendances nécessaires

Tout d’abord, assurez-vous que les bibliothèques client API Scrapy et OpenAI sont installées.

pip install scrapy openai
1

2. Configurer l'API OpenAI

Vous devez disposer d'une clé API OpenAI et configurer les variables d'environnement ou l'utiliser directement dans votre code.

3. Créer un robot Scrapy

Vous trouverez ci-dessous un exemple de robot d'exploration Scrapy de base qui récupère le contenu et génère du nouveau contenu.

my_spider.py

import scrapy
import openai

class AIGCSpider(scrapy.Spider):
    name = 'aigc_spider'
    start_urls = ['http://example.com']

    def __init__(self, *args, **kwargs):
        super(AIGCSpider, self).__init__(*args, **kwargs)
        openai.api_key = 'your-openai-api-key'  # 替换为你的OpenAI API密钥

    def parse(self, response):
        # 提取网页内容
        content = response.xpath('//body//text()').getall()
        content = ' '.join(content).strip()

        # 使用OpenAI生成新内容
        generated_content = self.generate_content(content)

        # 处理生成的内容，如保存到文件
        with open('generated_content.txt', 'a') as f:
            f.write(generated_content + 'n')

        self.log(f"Generated content for {response.url}")

    def generate_content(self, prompt):
        try:
            response = openai.Completion.create(
                engine="davinci-codex",
                prompt=prompt,
                max_tokens=150
            )
            generated_text = response.choices[0].text.strip()
            return generated_text
        except Exception as e:
            self.log(f"Error generating content: {e}")
            return ""
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

4. Configurer le projet Scrapy

Assurez-vous desettings.pyConfigurez les paramètres appropriés tels que USER_AGENT et le délai de téléchargement.

settings.py

BOT_NAME = 'aigc_bot'

SPIDER_MODULES = ['aigc_bot.spiders']
NEWSPIDER_MODULE = 'aigc_bot.spiders'

# 遵守robots.txt规则
ROBOTSTXT_OBEY = True

# 用户代理
USER_AGENT = 'aigc_bot (+http://www.yourdomain.com)'

# 下载延迟
DOWNLOAD_DELAY = 1
1
2
3
4
5
6
7
8
9
10
11
12
13

5. Exécutez le robot d'exploration

Exécutez le robot Scrapy via la ligne de commande :

scrapy crawl aigc_spider
1

6. Fonctions étendues

Gérer plusieurs pages

Réviserparseméthode, lui permettant de gérer plusieurs pages et d’effectuer une analyse approfondie.

def parse(self, response):
    # 提取网页内容
    content = response.xpath('//body//text()').getall()
    content = ' '.join(content).strip()

    # 使用OpenAI生成新内容
    generated_content = self.generate_content(content)

    # 处理生成的内容，如保存到文件
    with open('generated_content.txt', 'a') as f:
        f.write(f"URL: {response.url}n")
        f.write(generated_content + 'nn')

    self.log(f"Generated content for {response.url}")

    # 跟踪所有链接
    for href in response.css('a::attr(href)').get():
        yield response.follow(href, self.parse)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

Ajouter plus de paramètres de construction

Ajustez les paramètres du contenu généré, comme l'ajouttemperatureettop_pparamètres pour générer un contenu plus diversifié.

def generate_content(self, prompt):
    try:
        response = openai.Completion.create(
            engine="davinci-codex",
            prompt=prompt,
            max_tokens=150,
            temperature=0.7,
            top_p=0.9
        )
        generated_text = response.choices[0].text.strip()
        return generated_text
    except Exception as e:
        self.log(f"Error generating content: {e}")
        return ""
1
2
3
4
5
6
7
8
9
10
11
12
13
14

Ce qui précède explique comment créer une application d'exploration AIGC en combinant Scrapy et l'API OpenAI pour explorer automatiquement le contenu d'un site Web et générer du nouveau contenu. Cette méthode convient aux scénarios d'application qui nécessitent de grandes quantités de génération de contenu, tels que la création de contenu, l'amélioration des données, etc. Dans les applications pratiques, nous pourrions éventuellement avoir besoin d'un contrôle et d'une optimisation plus raffinés de la logique d'exploration et de génération pour répondre aux besoins de différents types de robots d'exploration.