Обмен технологиями

Простое расположение [Оценить ПЕГАСА] / [Точная настройка ПЕГАСА] / [Создать сводку разговора] из [Сводка текста] для AGI [Обнимающее лицо]

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Простое расположение [Оценить ПЕГАСА] / [Точная настройка ПЕГАСА] / [Создать сводку разговора] из [Сводка текста] для AGI [Обнимающее лицо]

Оглавление

Простое расположение [Оценить ПЕГАСА] / [Точная настройка ПЕГАСА] / [Создать сводку разговора] из [Сводка текста] для AGI [Обнимающее лицо]

1. Краткое введение

2. Текстовое резюме

3. Оцените PEGASUS на наборе данных CNN/DailyMail.

4. Сводная модель обучения

1. Оцените производительность PEGASUS на SAMSum.

2. Точная настройка ПЕГАСА

3. Создайте сводку разговора

1. Краткое введение

AGI, или Общий Искусственный Интеллект, — это система искусственного интеллекта с уровнем человеческого интеллекта. Он может не только выполнять конкретные задачи, но также понимать, изучать и применять знания для решения широкого круга задач, обладая высокой автономностью и адаптивностью. Возможности AGI включают, помимо прочего, самообучение, самосовершенствование, саморегулирование и способность решать различные сложные проблемы без вмешательства человека.

  • Возможности AGI очень широки:

Междоменное выполнение задач: AGI может обрабатывать задачи в нескольких доменах и не ограничивается конкретными сценариями приложений.
Автономное обучение и адаптация: AGI может учиться на опыте и адаптироваться к новым условиям и ситуациям.
Креативное мышление: AGI способен мыслить инновационно и предлагать новые решения.
Социальное взаимодействие: AGI способен к сложным социальным взаимодействиям с людьми и понимает эмоциональные и социальные сигналы.

  • Что касается будущих перспектив развития AGI, то он считается одной из конечных целей исследований в области искусственного интеллекта и имеет огромный потенциал для изменений:

Технологические инновации. С развитием таких технологий, как машинное обучение и нейронные сети, реализация AGI может стать все ближе.
Междисциплинарная интеграция. Внедрение AGI требует интеграции знаний из нескольких дисциплин, таких как информатика, нейробиология и психология.
Этические и социальные соображения. Развитие AGI требует рассмотрения этических и социальных вопросов, таких как конфиденциальность, безопасность и занятость.
Расширенные возможности обучения и адаптации. Будущие системы AGI могут использовать передовые алгоритмы для изучения окружающей среды и оптимизации поведения.
Мультимодальное взаимодействие: AGI будет иметь множество методов восприятия и взаимодействия для взаимодействия с людьми и другими системами.

Hugging Face, одно из самых популярных сообществ и платформ машинного обучения с открытым исходным кодом в мире, играет важную роль в эпоху AGI. Он предоставляет богатые ресурсы предварительно обученных моделей и наборов данных, способствуя развитию области машинного обучения. Hugging Face отличается простотой использования и открытостью. Благодаря библиотеке Transformers он предоставляет пользователям удобный способ обработки текста. С развитием технологии искусственного интеллекта сообщество Hugging Face продолжит играть важную роль в продвижении разработки и применения технологий искусственного интеллекта, особенно в разработке мультимодальных технологий искусственного интеллекта. Сообщество Hugging Face будет расширять разнообразие своих моделей. и наборы данных, включая мультимодальные данные, такие как изображения, аудио и видео.

  • В эпоху AGI «Обнимающее лицо» может использоваться следующими способами:

Обмен моделями: Hugging Face, являясь платформой для обмена моделями, продолжит способствовать обмену и сотрудничеству передовых моделей AGI.
Экосистема с открытым исходным кодом. Экосистема с открытым исходным кодом Hugging Face поможет ускорить развитие и внедрение инноваций в области AGI.
Инструменты и услуги. Предоставляйте множество инструментов и услуг для поддержки разработчиков и исследователей в их исследованиях и приложениях в области искусственного интеллекта.
Этика и социальная ответственность: Hugging Face фокусируется на этике искусственного интеллекта и будет способствовать разработке и применению ответственных моделей AGI для обеспечения технологического прогресса при соблюдении этических стандартов.

AGI, как передовая форма искусственного интеллекта будущего, имеет широкие перспективы применения, и Hugging Face, как сообщество с открытым исходным кодом, будет играть ключевую роль в продвижении разработки и применения AGI.

(Примечание. Для запуска следующего кода может потребоваться научный доступ к Интернету)

2. Текстовое резюме

Возможно, вам пришлось резюмировать документ, включая исследовательскую статью, отчет о финансовых доходах или серию электронных писем. Если задуматься, для этого требуется целый ряд способностей, включая понимание развернутого контента, его рассуждение, а затем создание беглого текста, охватывающего основные темы исходного документа. Более того, точное изложение новостной статьи сильно отличается от краткого изложения юридического контракта и, следовательно, требует сложных возможностей обобщения предметной области. По этим причинам обобщение текста (технический термин — обобщение текста) является сложной задачей для моделей нейронного языка, включая модели Transformer. Несмотря на эти проблемы, обобщение текста может значительно ускорить рабочий процесс экспертов в предметной области. Компании могут использовать обобщение текста для сжатия внутренних знаний, обобщения контрактов, автоматического создания контента для публикации в социальных сетях и т. д. Поэтому задача НЛП по резюмированию текста является ценной.

Чтобы помочь вам понять проблемы, в этом разделе рассматривается, как использовать предварительно обученные модели Transformer для суммирования текста. Суммирование — это классическая задача последовательного преобразования (seq2seq), для которой требуется входной и целевой текст.

Обобщение текста — это задача обработки естественного языка, цель которой — извлечь краткую и важную информацию из длинного текста и создать короткую версию. Реферирование текста можно разделить на два основных типа: экстрактивное реферирование и генеративное реферирование.

  • Извлекательное резюме

Экстрактивное реферирование выбирает важные предложения или абзацы в исходном тексте и непосредственно извлекает это содержимое в виде резюме. Этот метод не меняет структуру слов и предложений в исходном тексте.

Принцип реализации:

  1. Извлечение признаков: во-первых, необходимо извлечь различные характеристики текста, такие как частота слов, положение предложения, ключевые слова, именованные объекты и т. д.
  2. Оценка важности: на основе извлеченных функций для каждого предложения рассчитывается оценка, чтобы определить его важность.
  3. Выбор предложения: на основе оценки важности для построения резюме выбираются наиболее важные предложения.

сложность:

  1. Измерение важности: как точно измерить относительную важность предложений.
  2. Устранение избыточности: избегайте выбора предложений с повторяющимся содержанием.

Метод реализации:

  1. Подход, основанный на правилах: для выбора предложений используются заранее определенные правила и статистические методы.
  2. Метод машинного обучения: используйте алгоритмы обучения с учителем, чтобы научиться выбирать важные предложения на основе обучающих данных.
  • Генеративное обобщение

Генеративное обобщение работает путем понимания исходного текста и создания новых предложений для обобщения его содержания. Такой подход создает более естественное и связное резюме, но при этом является более сложным.

Принцип реализации:

  1. Архитектура кодировщика-декодера: использует модель «последовательность-последовательность» (Seq2Seq), где кодер кодирует входной текст в векторы контекста, а декодер генерирует сводки на основе векторов контекста.
  2. Механизм внимания: в процессе декодирования модель может фокусироваться на различных частях входного текста, чтобы генерировать более релевантный контент.
  3. Предварительно обученная модель. Используйте предварительно обученные языковые модели (такие как BERT, GPT и т. д.) для улучшения качества создаваемых сводок.

сложность:

  1. Согласованность содержания. Создаваемое резюме должно поддерживать логическую последовательность и избегать разрывов содержания.
  2. Целостность информации: гарантирует, что созданное резюме содержит ключевую информацию из исходного текста.
  3. Сложность модели: генерирующие сводные модели обычно более сложны, чем извлекающие сводные модели, и требуют больше вычислительных ресурсов и обучающих данных.

Метод реализации:

  1. Классическая модель Seq2Seq: например, модель кодера-декодера на основе LSTM.
  2. Предварительно обученные модели трансформаторов: такие как BERTSUM, T5, BART и т. д.
  • Обобщение текста в Hugging Face

Hugging Face предоставляет множество предварительно обученных моделей и инструментов для простой реализации задач по обобщению текста. Ниже приведены некоторые часто используемые модели реферирования текста и способы их использования:

  1. Суммирование с использованием предварительно обученных моделей

Ниже приведен пример кода для суммирования текста с использованием модели BART, предоставленной Hugging Face:

  1. from transformers import BartForConditionalGeneration, BartTokenizer
  2.  
  3. # 加载预训练的BART模型和对应的tokenizer
  4. model_name = "facebook/bart-large-cnn"
  5. model = BartForConditionalGeneration.from_pretrained(model_name)
  6. tokenizer = BartTokenizer.from_pretrained(model_name)
  7.  
  8. # 输入文本
  9. input_text = """Your text to summarize goes here."""
  10.  
  11. # 对输入文本进行tokenize，并添加必要的模型输入
  12. inputs = tokenizer([input_text], max_length=1024, return_tensors='pt')
  13.  
  14. # 使用模型生成摘要
  15. summary_ids = model.generate(inputs['input_ids'], num_beams=4, max_length=150, early_stopping=True)
  16.  
  17. # 将生成的token序列转换回文本
  18. summary = tokenizer.decode(summary_ids[0], skip_special_tokens=True)
  19.  
  20. print(summary)
  1. Поддерживаемые сводные модели

Hugging Face предоставляет множество предварительно обученных моделей для обобщения текста, включая, помимо прочего:

  1. БАРТ (facebook/bart-large-cnn)
  2. T5 (t5-маленький, t5-основание, t5-большой, t5-3b, t5-11b)
  3. ПЕГАС (google/pegasus-xsum, google/pegasus-cnn_dailymail)
  • Обучите свою собственную сводную модель

Если вам нужно лучше адаптироваться к задачам обобщения текста, специфичным для предметной области, вы можете точно настроить предварительно обученную модель, используя собственный набор данных. Вот простой пример тонкой настройки:

  1. from transformers import Trainer, TrainingArguments, BartForConditionalGeneration, BartTokenizer
  2. from datasets import load_dataset
  3.  
  4. # 加载数据集
  5. dataset = load_dataset("cnn_dailymail", "3.0.0")
  6.  
  7. # 加载预训练的BART模型和tokenizer
  8. model_name = "facebook/bart-large-cnn"
  9. model = BartForConditionalGeneration.from_pretrained(model_name)
  10. tokenizer = BartTokenizer.from_pretrained(model_name)
  11.  
  12. # 数据预处理
  13. def preprocess_function(examples):
  14.     inputs = [doc for doc in examples['article']]
  15.     model_inputs = tokenizer(inputs, max_length=1024, truncation=True)
  16.     # 设定摘要作为目标
  17.     with tokenizer.as_target_tokenizer():
  18.         labels = tokenizer(examples['highlights'], max_length=150, truncation=True)
  19.     model_inputs['labels'] = labels['input_ids']
  20.     return model_inputs
  21.  
  22. tokenized_dataset = dataset.map(preprocess_function, batched=True)
  23.  
  24. # 定义训练参数
  25. training_args = TrainingArguments(
  26.     output_dir="./results",
  27.     evaluation_strategy="epoch",
  28.     learning_rate=2e-5,
  29.     per_device_train_batch_size=4,
  30.     per_device_eval_batch_size=4,
  31.     num_train_epochs=3,
  32.     weight_decay=0.01,
  33. )
  34.  
  35. # 使用Trainer进行训练
  36. trainer = Trainer(
  37.     model=model,
  38.     args=training_args,
  39.     train_dataset=tokenized_dataset["train"],
  40.     eval_dataset=tokenized_dataset["validation"],
  41. )
  42.  
  43. trainer.train()

Резюмирование текста — это сложная и трудная задача обработки естественного языка. Используя предварительно обученные модели и инструменты Hugging Face, можно значительно упростить процесс суммирования текста. Пользователи могут выбрать подходящую модель в соответствии с конкретными потребностями и настроить ее для получения наилучшего суммарного эффекта.

В этом разделе мы создадим нашу собственную модель кодировщика-декодера для сжатия разговоров нескольких человек в краткие сводки. Но перед этим давайте взглянем на классический набор данных в области обобщения: корпус CNN/DailyMail.

три,в СНН/ДаялуМаялчислов соответствии снаборначальствокомментарийоцениватьпЭгАСУС

Теперь у нас есть все необходимое для полной оценки модели: у нас есть набор данных тестового набора CNN/DailyMail, метрика ROUGE для оценки и сводная модель.

  1. # 导入所需的库
  2. import matplotlib.pyplot as plt  # 导入 matplotlib.pyplot，用于绘制图形
  3. import pandas as pd  # 导入 pandas，用于数据处理
  4. from datasets import load_dataset, load_metric  # 从 datasets 库中导入 load_dataset 和 load_metric 函数
  5. from transformers import AutoModelForSeq2SeqLM, AutoTokenizer  # 从 transformers 库中导入 AutoModelForSeq2SeqLM 和 AutoTokenizer
  6.  
  7. # 加载 CNN/DailyMail 数据集，版本为 3.0.0
  8. dataset = load_dataset("cnn_dailymail", "3.0.0")
  9.  
  10. # 加载 ROUGE 评价指标，用于计算文本摘要的质量
  11. rouge_metric = load_metric("rouge", cache_dir=None)
  12.  
  13. # 定义要计算的 ROUGE 分数的名称列表
  14. rouge_names = ["rouge1", "rouge2", "rougeL", "rougeLsum"]

Нам просто нужно собрать кусочки воедино. Сначала мы оцениваем производительность эталонной модели из трех предложений:

  1. # 定义一个函数，用于评估基线模型生成的摘要
  2. def evaluate_summaries_baseline(dataset, metric, column_text="article", column_summary="highlights"):
  3.     # 使用 three_sentence_summary 函数对数据集中的每篇文章生成摘要
  4.     summaries = [three_sentence_summary(text) for text in dataset[column_text]]
  5.     
  6.     # 将生成的摘要和参考摘要添加到评价指标中
  7.     metric.add_batch(predictions=summaries, references=dataset[column_summary])
  8.     
  9.     # 计算评价指标的分数
  10.     score = metric.compute()
  11.     
  12.     # 返回评价指标的分数
  13.     return score

Затем мы применяем функцию к подмножеству данных. Поскольку тестовая часть набора данных CNN/DailyMail содержит около 10 000 выборок, создание резюме всех этих статей занимает много времени. Вспомним главу 5, что каждый сгенерированный токен необходимо пройти через модель. Для генерации 100 токенов на выборку потребуется 1 миллион проходов вперед, и если бы мы использовали поиск по лучам, это число также нужно было бы умножить на количество лучей. Чтобы ускорить расчет, мы разделим тестовый набор на части и в конечном итоге используем 1000 образцов для оценки. Таким образом, мы можем завершить оценку модели PEGASUS менее чем за час на одном графическом процессоре и получить стабильные оценки:

  1. # 从测试集中随机抽取1000条样本，用于评估
  2. test_sampled = dataset["test"].shuffle(seed=42).select(range(1000))
  3.  
  4. # 使用基线模型生成摘要并评估其质量
  5. score = evaluate_summaries_baseline(test_sampled, rouge_metric)
  6.  
  7. # 将评价指标的分数存储在字典中
  8. rouge_dict = dict((rn, score[rn].mid.fmeasure) for rn in rouge_names)
  9.  
  10. # 将评价指标的分数转换为DataFrame格式，并转置以便显示
  11. pd.DataFrame.from_dict(rouge_dict, orient="index", columns=["baseline"]).T

результат операции:

　румяна1румяна2rougeLrougeLsum
базовый уровень0.389280.1712960.2450610.354239

Результаты в основном хуже, чем в предыдущем примере, но все же лучше, чем у GPT-2! Теперь мы следуем той же схеме для оценки модели PEGASUS:

  1. # 导入 tqdm 模块，用于显示进度条
  2. from tqdm import tqdm
  3. # 导入 torch 模块，用于使用 GPU 或 CPU 进行计算
  4. import torch
  5.  
  6. # 设置设备为 GPU（如果可用）或 CPU
  7. device = "cuda" if torch.cuda.is_available() else "cpu"
  8.  
  9. def chunks(list_of_elements, batch_size):
  10.     """将 list_of_elements 按 batch_size 切分成多个小块"""
  11.     for i in range(0, len(list_of_elements), batch_size):
  12.         yield list_of_elements[i : i + batch_size]
  13.  
  14. def evaluate_summaries_pegasus(dataset, metric, model, tokenizer, 
  15.                                batch_size=16, device=device, 
  16.                                column_text="article", 
  17.                                column_summary="highlights"):
  18.     """评估使用 Pegasus 模型生成的摘要"""
  19.     
  20.     # 将文章和摘要分别按 batch_size 切分成多个小块
  21.     article_batches = list(chunks(dataset[column_text], batch_size))
  22.     target_batches = list(chunks(dataset[column_summary], batch_size))
  23.  
  24.     # 使用 tqdm 显示进度条，遍历每个文章批次和相应的摘要批次
  25.     for article_batch, target_batch in tqdm(
  26.         zip(article_batches, target_batches), total=len(article_batches)):
  27.         
  28.         # 对文章批次进行标记，将其转换为模型输入的张量
  29.         inputs = tokenizer(article_batch, max_length=1024, truncation=True, 
  30.                            padding="max_length", return_tensors="pt")
  31.         
  32.         # 使用 Pegasus 模型生成摘要
  33.         summaries = model.generate(input_ids=inputs["input_ids"].to(device),
  34.                                    attention_mask=inputs["attention_mask"].to(device), 
  35.                                    length_penalty=0.8, num_beams=8, max_length=128)
  36.         
  37.         # 解码生成的摘要，将其从张量转换为字符串
  38.         decoded_summaries = [tokenizer.decode(s, skip_special_tokens=True, 
  39.                                               clean_up_tokenization_spaces=True) 
  40.                              for s in summaries]
  41.         decoded_summaries = [d.replace("", " ") for d in decoded_summaries]
  42.         
  43.         # 将生成的摘要和目标摘要添加到评价指标中
  44.         metric.add_batch(predictions=decoded_summaries, references=target_batch)
  45.         
  46.     # 计算评价指标分数
  47.     score = metric.compute()
  48.     return score

Давайте подробно объясним этот оценочный код. Сначала мы разбиваем набор данных на более мелкие пакеты, чтобы их можно было обрабатывать одновременно. Затем для каждой партии мы токенизируем входные статьи и передаем их в функцию генерации() для создания сводок с использованием лучевого поиска. Мы используем те же параметры генерации, что и в статье. Новая длина штрафного параметра гарантирует, что модель не будет генерировать слишком длинные последовательности.Наконец, мы декодируем сгенерированный текст, заменяя<n> токены и добавьте декодированный текст в метрику вместе с ссылочным текстом. Наконец, мы вычисляем и возвращаем оценку ROUGE. Теперь мы снова используем класс AutoModelForSeq2SeqLM для задачи генерации seq2seq, чтобы загрузить модель и оценить ее:

  1. # 从 transformers 库中导入用于序列到序列任务的模型和标记器
  2. from transformers import AutoModelForSeq2SeqLM, AutoTokenizer
  3.  
  4. # 设置模型检查点名称，使用 Google 的 PEGASUS 模型，预训练于 CNN/DailyMail 数据集
  5. model_ckpt = "google/pegasus-cnn_dailymail"
  6.  
  7. # 从预训练的模型检查点中加载标记器和模型，并将模型移动到指定的设备（CPU 或 GPU）
  8. tokenizer = AutoTokenizer.from_pretrained(model_ckpt)
  9. model = AutoModelForSeq2SeqLM.from_pretrained(model_ckpt).to(device)
  10.  
  11. # 使用评估函数 evaluate_summaries_pegasus 评估 PEGASUS 模型生成的摘要
  12. # 输入参数包括测试数据、ROUGE 评价指标、模型、标记器和批处理大小
  13. score = evaluate_summaries_pegasus(test_sampled, rouge_metric, 
  14.                                    model, tokenizer, batch_size=8)
  15.  
  16. # 从评估结果中提取 ROUGE 分数，将其转换为字典格式，其中键为 ROUGE 指标名称，值为 F-measure 分数
  17. rouge_dict = dict((rn, score[rn].mid.fmeasure) for rn in rouge_names)
  18.  
  19. # 将 ROUGE 分数字典转换为 pandas 数据框，并以 "pegasus" 作为索引
  20. pd.DataFrame(rouge_dict, index=["pegasus"])

результат операции:

(Временно об ошибке сообщается здесь:

TypeError: Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto

, результаты работы для справки с использованием примеров следующие)

　румяна1румяна2rougeLrougeLsum
пегас0.434380.2108830.3071950.373231

Эти цифры очень близки к результатам, приведенным в статье. Здесь важно отметить, что потери и точность каждого токена в некоторой степени не связаны с показателем ROUGE. Потери не зависят от стратегии декодирования, тогда как показатель ROUGE сильно связан.

Поскольку ROUGE и BLEU обеспечивают лучшие потери или точность, чем человеческая оценка, вам следует сосредоточиться на них при построении моделей генерации текста, а также тщательно изучить и выбрать стратегии декодирования. Однако эти показатели далеки от совершенства, поэтому всегда следует учитывать человеческую оценку.

Теперь, когда у нас есть функция оценки, мы можем обучить нашу собственную сводную модель.

Четыре,обучениеупражнятьсявыбиратьхотетьформатип

На этом этапе мы рассмотрели множество деталей суммирования и оценки текста, теперь мы используем эти знания для обучения пользовательской модели суммирования текста! Для нашего специального приложения мы будем использовать набор данных SAMSum, разработанный Samsung (часттпс://ореял.лу/н1ггд ), этот набор данных содержит серию разговоров и кратких обзоров. Эти разговоры могут отражать взаимодействие между клиентами и колл-центрами, создавая точные сводные данные, которые помогают улучшить обслуживание клиентов и выявить общие закономерности в запросах клиентов. Давайте сначала загрузим набор данных и просмотрим образец:

  1. # 从 datasets 库中导入用于加载数据集的函数
  2. from datasets import load_dataset
  3.  
  4. # 加载 SamSum 数据集，该数据集包含对话和相应的摘要
  5. dataset_samsum = load_dataset("samsum",trust_remote_code=True)
  6.  
  7. # 获取数据集的每个划分（训练集、验证集、测试集）的长度，并存储在列表 split_lengths 中
  8. split_lengths = [len(dataset_samsum[split]) for split in dataset_samsum]
  9.  
  10. # 打印每个数据集划分的长度
  11. print(f"Split lengths: {split_lengths}")
  12.  
  13. # 打印训练集中列的名称（特征）
  14. print(f"Features: {dataset_samsum['train'].column_names}")
  15.  
  16. # 打印测试集中第一个对话样本
  17. print("nDialogue:")
  18. print(dataset_samsum["test"][0]["dialogue"])
  19.  
  20. # 打印测试集中第一个对话样本的摘要
  21. print("nSummary:")
  22. print(dataset_samsum["test"][0]["summary"])

(Примечание: вам может потребоваться установить py7zr, pip install py7zr)

результат операции:

Split lengths: [14732, 819, 818]
Features: ['id', 'dialogue', 'summary']

Dialogue:
Hannah: Hey, do you have Betty's number?
Amanda: Lemme check
Hannah: <file_gif>
Amanda: Sorry, can't find it.
Amanda: Ask Larry
Amanda: He called her last time we were at the park together
Hannah: I don't know him well
Hannah: <file_gif>
Amanda: Don't be shy, he's very nice
Hannah: If you say so..
Hannah: I'd rather you texted him
Amanda: Just text him 🙂
Hannah: Urgh.. Alright
Hannah: Bye
Amanda: Bye bye

Summary:
Hannah needs Betty's number but Amanda doesn't have it. She needs to contact Larry.

Разговоры выглядят так же, как если бы вы общались с помощью текстовых сообщений или WhatsApp, включая смайлы и заполнители для GIF-файлов. Поле диалога содержит полный текст, а поле сводки представляет собой краткое изложение диалога. Может ли модель, настроенная на наборе данных CNN/DailyMail, обрабатывать этот набор данных? Давайте взглянем!

1 КомментарийоцениватьпЭгАСУСсуществоватьСАМСтымначальствоизсексспособный

Сначала мы запустим тот же процесс генерации сводки, используя PEGASUS, чтобы увидеть результат. Мы можем повторно использовать код, сгенерированный сводкой CNN/DailyMail:

  1. # 使用已加载的summarization管道对测试集中的第一个对话样本进行摘要
  2. pipe_out = pipe(dataset_samsum["test"][0]["dialogue"])
  3.  
  4. # 打印生成的摘要标题
  5. print("Summary:")
  6.  
  7. # 打印生成的摘要文本，并将每个句子的句号后面的空格替换为换行符
  8. # 这行代码会输出生成的摘要，其中 ". " 替换为 ".n" 使其更易读
  9. print(pipe_out[0]["summary_text"].replace(" .", ".n"))

результат операции:

Summary:
Hannah asks Amanda for Betty's number. Amanda can't find it. Hannah asks Larry. Amanda asks Larry to text him. Hannah says she'll text him back. Hannah calls it a day and says she's going to go home. Hannah: "Bye bye"

Мы видим, что модель в основном пытается подвести итог, извлекая ключевые предложения из разговора. Это может относительно хорошо работать с набором данных CNN/DailyMail, но в SAMSum сводка более абстрактна, и эффект не обязательно хороший. Мы можем подтвердить это, проведя полную оценку ROUGE на тестовом наборе:

  1. # 使用评估函数 evaluate_summaries_pegasus 对 SamSum 数据集的测试集进行摘要生成评估
  2. # 传入的参数包括数据集、评价指标、模型、tokenizer、文本列名、摘要列名和批量大小
  3. score = evaluate_summaries_pegasus(dataset_samsum["test"], rouge_metric, model,
  4.                                    tokenizer, column_text="dialogue",
  5.                                    column_summary="summary", batch_size=8)
  6.  
  7. # 创建一个字典 rouge_dict，用于存储 ROUGE 评分的中值 F-measure 值
  8. rouge_dict = dict((rn, score[rn].mid.fmeasure) for rn in rouge_names)
  9.  
  10. # 将 ROUGE 评分字典转换为 Pandas 数据框，并以 "pegasus" 为索引
  11. pd.DataFrame(rouge_dict, index=["pegasus"])

результат операции:

(Временно об ошибке сообщается здесь:

TypeError: Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto

, результаты работы для справки с использованием примеров следующие)

　румяна1румяна2rougeLrougeLsum
пегас0.296170.0878030.2296040.229514

Хотя результаты невелики, это не является неожиданным, поскольку они далеки от распространения данных CNN/DailyMail. Тем не менее, настройка процесса оценки до обучения имеет два преимущества: мы можем напрямую использовать показатели для измерения успеха обучения, и у нас есть хороший базовый уровень. Точная настройка модели в нашем наборе данных должна немедленно улучшить метрику ROUGE. Если улучшения не происходит, мы знаем, что с нашим циклом обучения что-то не так.

2. МикронастраиватьпЭгАСУС

Прежде чем мы приступим к обучению на данных, мы кратко рассмотрим распределения входных и выходных длин:

  1. # 编码训练集中的对话文本和摘要，并计算其长度
  2. d_len = [len(tokenizer.encode(s)) for s in dataset_samsum["train"]["dialogue"]]
  3. s_len = [len(tokenizer.encode(s)) for s in dataset_samsum["train"]["summary"]]
  4.  
  5. # 创建一个包含两个子图的图形对象
  6. fig, axes = plt.subplots(1, 2, figsize=(10, 3.5), sharey=True)
  7.  
  8. # 绘制对话文本的长度分布直方图
  9. axes[0].hist(d_len, bins=20, color="C0", edgecolor="C0")
  10. axes[0].set_title("Dialogue Token Length")
  11. axes[0].set_xlabel("Length")
  12. axes[0].set_ylabel("Count")
  13.  
  14. # 绘制摘要的长度分布直方图
  15. axes[1].hist(s_len, bins=20, color="C0", edgecolor="C0")
  16. axes[1].set_title("Summary Token Length")
  17. axes[1].set_xlabel("Length")
  18.  
  19. # 调整子图布局，使其更加紧凑
  20. plt.tight_layout()
  21.  
  22. # 显示绘制的图形
  23. plt.show()

результат операции:

(Временно об ошибке сообщается здесь:

TypeError: Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto

, результаты работы для справки с использованием примеров следующие)

Мы видим, что большинство разговоров намного короче, чем статьи CNN/DailyMail, и содержат от 100 до 200 токенов в каждом. Аналогичным образом, резюме намного короче, от 20 до 40 токенов (такой же длины, как средний твит).

Давайте сначала запомним эти результаты, мы воспользуемся ими позже. Во-первых, нам нужно токенизировать набор данных. Максимальную длину диалога и аннотации мы установили на 1024 и 128 соответственно:

  1. def convert_examples_to_features(example_batch):
  2.     """
  3.     将示例批处理转换为模型输入特征。
  4.     
  5.     Args:
  6.     - example_batch (dict): 包含对话和摘要的示例批处理字典。
  7.     
  8.     Returns:
  9.     - dict: 包含转换后特征的字典，包括输入编码和目标编码。
  10.     """
  11.     # 对对话文本进行编码处理，生成输入编码
  12.     input_encodings = tokenizer(example_batch["dialogue"], max_length=1024,
  13.                                 truncation=True)
  14.     
  15.     # 使用目标编码器处理摘要文本，生成目标编码
  16.     with tokenizer.as_target_tokenizer():
  17.         target_encodings = tokenizer(example_batch["summary"], max_length=128,
  18.                                      truncation=True)
  19.     
  20.     # 返回包含输入编码、目标标签和注意力掩码的字典
  21.     return {
  22.         "input_ids": input_encodings["input_ids"],
  23.         "attention_mask": input_encodings["attention_mask"],
  24.         "labels": target_encodings["input_ids"]
  25.     }
  26.  
  27. # 使用 map 方法将 SamSum 数据集转换为 PyTorch 格式
  28. dataset_samsum_pt = dataset_samsum.map(convert_examples_to_features, 
  29.                                        batched=True)
  30.  
  31. # 设置数据集格式为 Torch 张量类型，并指定列名
  32. columns = ["input_ids", "labels", "attention_mask"]
  33. dataset_samsum_pt.set_format(type="torch", columns=columns)

результат операции:

(Временно об ошибке сообщается здесь:

TypeError: Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto）

На этапе токенизации есть новая вещь: контекст tokenizer.as_target_tokenizer(). Некоторым моделям требуются специальные токены на входе декодера, поэтому важно разделить этапы токенизации для входов кодера и декодера. В операторе with (называемом менеджером контекста) токенизатор знает, что он выполняет токенизацию для декодера.

Теперь нам нужно создать органайзер данных. В большинстве случаев мы можем использовать сортировщик по умолчанию, который собирает все тензоры в пакет и просто складывает их. Для задачи суммирования нам нужно не только сложить входные данные, но и подготовить целевые значения на стороне декодера. PEGASUS представляет собой преобразователь кодер-декодер и поэтому имеет классическую архитектуру seq2seq. В настройке seq2seq общий подход заключается в применении принудительного воздействия преподавателя в декодере. При использовании этой стратегии декодер получает входные токены (так же, как модель только для декодера, например GPT-2), которые в дополнение к выходным данным кодера сдвигаются на одну позицию вправо за счет аннотации. Следовательно, при прогнозировании следующего токена декодер получит на вход истинное значение, сдвинутое на одну позицию вправо, как показано в следующей таблице:

  1. # 示例文本序列和标签生成过程
  2. text = ['PAD', 'Transformers', 'are', 'awesome', 'for', 'text', 'summarization']
  3.  
  4. # 初始化存储每步结果的列表
  5. rows = []
  6.  
  7. # 循环生成每步的数据行
  8. for i in range(len(text)-1):
  9.     rows.append({
  10.         'step': i+1,                       # 步骤号，从1开始
  11.         'decoder_input': text[:i+1],       # 解码器输入序列，从文本开始到当前位置
  12.         'label': text[i+1]                 # 标签，当前位置的下一个词
  13.     })
  14.  
  15. # 创建数据帧，并以步骤号作为索引
  16. pd.DataFrame(rows).set_index('step')

результат операции:

шагдекодер_входэтикетка
1[ПАД]Трансформеры
2[ПАД, Трансформеры]являются
3[PAD, Трансформеры, есть]потрясающий
4[PAD, Трансформеры, это, потрясающе]для
5[PAD, Трансформеры, это, потрясающе, для]текст
6[PAD, Трансформеры, потрясающие, для, текста]резюмирование

Мы перемещаем его на одну позицию вправо, чтобы декодер видел только предыдущую правильную аннотацию, а не текущие или будущие аннотации. Достаточно простого сдвига, потому что декодер имеет замаскированный механизм самоконтроля, который маскирует все текущие и будущие входные данные.

Поэтому при подготовке пакета мы задаем вход декодеру, перемещая аннотацию на одну позицию вправо. После этого мы гарантируем, что токены-заполнители в функции потерь игнорируются, установив для них значение -100 в аннотации. На самом деле нам не нужно выполнять эти шаги вручную, поскольку DataCollatorForSeq2Seq делает все это за нас:

  1. # 导入 Seq2Seq 数据集整理器模块
  2. from transformers import DataCollatorForSeq2Seq
  3.  
  4. # 创建 Seq2Seq 数据集整理器实例
  5. seq2seq_data_collator = DataCollatorForSeq2Seq(tokenizer, model=model)

Затем, как обычно, настраиваем TrainingArguments для обучения:

  1. # 导入训练参数和训练器模块
  2. from transformers import TrainingArguments, Trainer
  3.  
  4. # 定义训练参数
  5. training_args = TrainingArguments(
  6.     output_dir='pegasus-samsum',            # 模型输出目录
  7.     num_train_epochs=1,                     # 训练的轮数
  8.     warmup_steps=500,                       # 学习率预热步数
  9.     per_device_train_batch_size=1,          # 每个设备的训练批次大小
  10.     per_device_eval_batch_size=1,           # 每个设备的评估批次大小
  11.     weight_decay=0.01,                      # 权重衰减率
  12.     logging_steps=10,                       # 训练日志记录步数
  13.     push_to_hub=True,                       # 是否推送到模型中心
  14.     evaluation_strategy='steps',            # 评估策略
  15.     eval_steps=500,                         # 评估步数间隔
  16.     save_steps=1e6,                         # 模型保存步数间隔
  17.     gradient_accumulation_steps=16          # 梯度累积步数
  18. )

Отличие от предыдущих настроек в том, что на этот раз появился новый параметрgradient_accumulation_steps. Поскольку модель очень большая, нам необходимо установить размер пакета равным 1. Однако слишком малые размеры пакетов могут повлиять на сходимость. Чтобы решить эту проблему, мы можем использовать хитрый трюк, называемый накоплением градиента. Как следует из названия, вместо вычисления градиентов для всей партии сразу мы вычисляем и агрегируем градиенты по партиям. Когда мы агрегируем достаточное количество градиентов, мы запускаем этап оптимизации. Естественно, это медленнее, чем выполнение всего этого за один раз, но это экономит нам много памяти графического процессора.

Теперь мы входим в Hugging Face, чтобы после тренировки отправить модель в Hub:

  1. from huggingface_hub import notebook_login
  2.  
  3. notebook_login()

результат операции:

Теперь у нас есть все необходимое для инициализации трейнера, включая модель, токенизатор, параметры обучения, организаторы данных, а также наборы данных для обучения и оценки:

  1. from transformers import TrainingArguments, Trainer
  2.  
  3. # 创建一个 Trainer 实例用于训练序列到序列模型。
  4. trainer = Trainer(
  5.     model=model,  # 要训练的序列到序列模型
  6.     args=training_args,  # 定义的训练参数
  7.     tokenizer=tokenizer,  # 用于预处理输入数据的分词器
  8.     data_collator=seq2seq_data_collator,  # 用于批处理数据的数据整理器
  9.     train_dataset=dataset_samsum_pt["train"],  # 训练数据集
  10.     eval_dataset=dataset_samsum_pt["validation"]  # 评估数据集
  11. )

результат операции:

(Временно об ошибке сообщается здесь:

TypeError: Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto）

Мы готовы тренироваться. После завершения обучения мы можем запустить функцию оценки непосредственно на тестовом наборе, чтобы увидеть, как работает модель:

  1. from transformers import TrainingArguments, Trainer
  2.  
  3. # 开始训练模型
  4. trainer.train()
  5.  
  6. # 使用评估函数评估 Pegasus 模型的摘要质量
  7. score = evaluate_summaries_pegasus(
  8.     dataset_samsum["test"], rouge_metric, trainer.model, tokenizer,
  9.     batch_size=2, column_text="dialogue", column_summary="summary")
  10.  
  11. # 提取 ROUGE 指标结果
  12. rouge_dict = dict((rn, score[rn].mid.fmeasure) for rn in rouge_names)
  13.  
  14. # 创建 DataFrame 显示 ROUGE 指标
  15. pd.DataFrame(rouge_dict, index=[f"pegasus"])

результат операции:

(Временно об ошибке сообщается здесь:

TypeError: Couldn't build proto file into descriptor pool: duplicate file name sentencepiece_model.proto

, результаты работы для справки с использованием примеров следующие)

　румяна1румяна2rougeLrougeLsum
пегас0.427610.2005710.3406480.340738

Мы видим, что оценка ROUGE значительно улучшилась по сравнению с моделью без тонкой настройки, поэтому, хотя предыдущая модель также была обучена для генерации сводок, она не адаптировалась должным образом к новой области. Давайте отправим нашу модель в Hub:

  1. # 将训练完成的模型推送到 Hub 上
  2. trainer.push_to_hub("Training complete!")

Далее мы будем использовать эту модель для создания некоторых сводок.

Вы также можете оценить сгенерированные результаты в рамках цикла обучения: используйте расширение TrainingArguments под названием Seq2SeqTrainingArguments и укажите Predict_with_generate=True. Передайте это специальному тренеру под названием Seq2SeqTrainer, который использует функцию генерации() вместо прямого прохода модели для создания прогнозов для оценки. Попробуйте!

3. Создатьверноразговариватьвыбиратьхотеть

Глядя на потери и баллы ROUGE, кажется, что модель демонстрирует значительное улучшение по сравнению с исходной моделью, обученной только на CNN/DailyMail. Сводная информация, созданная на основе одного образца в тестовом наборе, выглядит следующим образом:

  1. import transformers
  2.  
  3. # 设置transformers的日志级别为错误，以减少输出日志
  4. transformers.logging.set_verbosity_error()
  5.  
  6. # 定义生成摘要时的参数
  7. gen_kwargs = {"length_penalty": 0.8, "num_beams": 8, "max_length": 128}
  8.  
  9. # 从测试集中选择一个示例
  10. sample_text = dataset_samsum["test"][0]["dialogue"]
  11. reference = dataset_samsum["test"][0]["summary"]
  12.  
  13. # 使用预训练的pegasus-samsum模型创建摘要管道
  14. pipe = pipeline("summarization", model="transformersbook/pegasus-samsum")
  15.  
  16. # 输出对话和参考摘要
  17. print("Dialogue:")
  18. print(sample_text)
  19. print("nReference Summary:")
  20. print(reference)
  21.  
  22. # 使用模型生成摘要并输出
  23. print("nModel Summary:")
  24. print(pipe(sample_text, **gen_kwargs)[0]["summary_text"])

результат операции:

Dialogue:
Hannah: Hey, do you have Betty's number?
Amanda: Lemme check
Hannah: <file_gif>
Amanda: Sorry, can't find it.
Amanda: Ask Larry
Amanda: He called her last time we were at the park together
Hannah: I don't know him well
Hannah: <file_gif>
Amanda: Don't be shy, he's very nice
Hannah: If you say so..
Hannah: I'd rather you texted him
Amanda: Just text him 🙂
Hannah: Urgh.. Alright
Hannah: Bye
Amanda: Bye bye

Reference Summary:
Hannah needs Betty's number but Amanda doesn't have it. She needs to contact
Larry.

Model Summary:
Amanda can't find Betty's number. Larry called Betty last time they were at the
park together. Hannah wants Amanda to text Larry instead of calling Betty.

Это очень похоже на справочное резюме. Похоже, модель научилась синтезировать разговоры в краткое изложение, а не просто извлекать отрывки. Теперь последний тест: как модель работает с пользовательскими входными данными?

  1. # 自定义对话示例
  2. custom_dialogue = """
  3. Thom: Hi guys, have you heard of transformers?
  4. Lewis: Yes, I used them recently!
  5. Leandro: Indeed, there is a great library by Hugging Face.
  6. Thom: I know, I helped build it ;)
  7. Lewis: Cool, maybe we should write a book about it. What do you think?
  8. Leandro: Great idea, how hard can it be?!
  9. Thom: I am in!
  10. Lewis: Awesome, let's do it together!
  11. """
  12.  
  13. # 使用预训练的pegasus-samsum模型生成摘要，并输出摘要结果
  14. print(pipe(custom_dialogue, **gen_kwargs)[0]["summary_text"])

результат операции:

Thom and Lewis wanted to write a book about transformers. They came up with the idea with the help of Hugging Face's Leandro. The book will be called "Transformers: The Power of Transformers" and will be published in 2015. The project is currently in the planning stages.

Сгенерированное пользовательское резюме беседы имеет смысл. Он хорошо суммирует то, о чем все участники дискуссии хотели вместе написать книгу, а не просто извлекает одно предложение. Например, он объединяет строки 3 и 4 в одну логическую комбинацию.

Личный профиль

Он посвятил себя исследованию технологий более 30 лет и владеет различными языками, такими как Java, Linux, Javascript, php, css и т. д. Он внес большой вклад в область открытого исходного кода. Станция документации для разработчиков, где можно поделиться некоторыми проблемами в разработке технологий для дальнейшего использования.

моя контактная информация

Почта