Обмен технологиями

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Учитывая мой многолетний опыт работы в краулерной индустрии, программирование различных кодов спроса действительно является очень трудоемкой и кропотливой работой. Учитывая популярность ИИ, я задумался о том, можно ли автоматически захватывать и генерировать желаемый текстовый контент с помощью автоматизации ИИ. программы. Предполагается, что я планирую завершить его, объединив краулерную технологию (например, Scrapy) и генеративные модели искусственного интеллекта (например, GPT-4).

Ниже приведены мои мысли о классе искателя AIGC, показывающие, как создать приложение-сканер AIGC.

1. Установите необходимые зависимости

Во-первых, убедитесь, что у вас установлены клиентские библиотеки API Scrapy и OpenAI.

pip install scrapy openai
1

2. Настройте API OpenAI.

Вам необходимо иметь ключ API OpenAI и настроить переменные среды или использовать его непосредственно в своем коде.

3. Создайте сканер Scrapy

Ниже приведен пример базового сканера Scrapy, который очищает контент и генерирует новый контент.

my_spider.py

import scrapy
import openai

class AIGCSpider(scrapy.Spider):
    name = 'aigc_spider'
    start_urls = ['http://example.com']

    def __init__(self, *args, **kwargs):
        super(AIGCSpider, self).__init__(*args, **kwargs)
        openai.api_key = 'your-openai-api-key'  # 替换为你的OpenAI API密钥

    def parse(self, response):
        # 提取网页内容
        content = response.xpath('//body//text()').getall()
        content = ' '.join(content).strip()

        # 使用OpenAI生成新内容
        generated_content = self.generate_content(content)

        # 处理生成的内容，如保存到文件
        with open('generated_content.txt', 'a') as f:
            f.write(generated_content + 'n')

        self.log(f"Generated content for {response.url}")

    def generate_content(self, prompt):
        try:
            response = openai.Completion.create(
                engine="davinci-codex",
                prompt=prompt,
                max_tokens=150
            )
            generated_text = response.choices[0].text.strip()
            return generated_text
        except Exception as e:
            self.log(f"Error generating content: {e}")
            return ""
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

4. Настройте проект Scrapy

Убедись вsettings.pyНастройте соответствующие параметры, такие как USER_AGENT и задержку загрузки.

settings.py

BOT_NAME = 'aigc_bot'

SPIDER_MODULES = ['aigc_bot.spiders']
NEWSPIDER_MODULE = 'aigc_bot.spiders'

# 遵守robots.txt规则
ROBOTSTXT_OBEY = True

# 用户代理
USER_AGENT = 'aigc_bot (+http://www.yourdomain.com)'

# 下载延迟
DOWNLOAD_DELAY = 1
1
2
3
4
5
6
7
8
9
10
11
12
13

5. Запустите сканер

Запустите сканер Scrapy через командную строку:

scrapy crawl aigc_spider
1

6. Расширенные функции

Обрабатывать несколько страниц

Исправлятьparseметод, позволяющий ему обрабатывать несколько страниц и выполнять глубокое сканирование.

def parse(self, response):
    # 提取网页内容
    content = response.xpath('//body//text()').getall()
    content = ' '.join(content).strip()

    # 使用OpenAI生成新内容
    generated_content = self.generate_content(content)

    # 处理生成的内容，如保存到文件
    with open('generated_content.txt', 'a') as f:
        f.write(f"URL: {response.url}n")
        f.write(generated_content + 'nn')

    self.log(f"Generated content for {response.url}")

    # 跟踪所有链接
    for href in response.css('a::attr(href)').get():
        yield response.follow(href, self.parse)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

Добавьте дополнительные настройки сборки

Настройте параметры создаваемого контента, например добавивtemperatureиtop_pпараметры для создания более разнообразного контента.

def generate_content(self, prompt):
    try:
        response = openai.Completion.create(
            engine="davinci-codex",
            prompt=prompt,
            max_tokens=150,
            temperature=0.7,
            top_p=0.9
        )
        generated_text = response.choices[0].text.strip()
        return generated_text
    except Exception as e:
        self.log(f"Error generating content: {e}")
        return ""
1
2
3
4
5
6
7
8
9
10
11
12
13
14

Выше описано, как я могу создать приложение-сканер AIGC, объединив Scrapy и OpenAI API для автоматического сканирования содержимого веб-сайта и создания нового контента. Этот метод подходит для сценариев приложений, требующих создания больших объемов контента, таких как создание контента, улучшение данных и т. д. В практических приложениях нам, возможно, в конечном итоге потребуется более совершенный контроль и оптимизация логики сканирования и генерации, чтобы удовлетворить потребности различных типов сканеров.