기술나눔

LLM_시작 가이드(제로 기초부터 대규모 모델 구축)

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

이 기사에서는 주로 대형 모델에 대한 프롬프트를 소개하고 실용적인 튜토리얼을 제공합니다. 기초가 전혀 없는 상태에서도 대형 모델을 구축할 수 있습니다.

내용: 정신 훈련의 초기 단계는 내면의 힘을 응축하고 강화하는 데 도움이 되며 후속 훈련의 기반을 마련합니다.

1、프롬프트

1.1 의미와 기능

프롬프트는 프로젝트를 프롬프트하는 것을 의미합니다. 대규모 언어 모델에서 "프롬프트"는 모델이 해당 출력을 생성하도록 안내하기 위해 사용자가 모델에 제공한 입력 텍스트 또는 지침을 의미합니다. 프롬프트는 모델과 상호 작용할 때 중요한 역할을 하며, 이는 모델의 이해, 답변의 정확성 및 콘텐츠 창의성에 영향을 미칩니다. 대형 모델에서 프롬프트의 주요 의미와 기능은 다음과 같습니다.

ㅏ.가이드 모델 생성 : 프롬프트는 모델이 응답이나 출력을 생성하는 데 필요한 초기 정보와 방향을 제공합니다. 여기에는 모델이 사용자의 의도와 요구 사항을 이해하고 이를 기반으로 해당 정보를 생성하는 데 도움이 되는 질문, 지침, 키워드 또는 상황별 정보가 포함될 수 있습니다.

비.상황에 따른 이해 : 프롬프트를 통해 모델은 현재 대화나 작업의 맥락을 이해할 수 있습니다. 이는 특히 장기적인 상호 작용이나 여러 라운드의 대화에서 모델이 사용자 기대와 관련성이 있고 일관성이 있는 응답을 생성하는지 확인하는 데 중요합니다.

c. 답변의 정확성 : 명확하고 자세한 프롬프트가 일반적으로 더 정확한 답변으로 이어집니다. 프롬프트가 사용자의 문제나 요구 사항을 명확하게 설명하면 모델은 예상되는 정보나 솔루션을 더 쉽게 제공할 수 있습니다.

d. 다양성을 창출하라 : 프롬프트는 모델에 대한 지침을 제공하지만 모델의 창의성과 결과물의 다양성을 제한하지는 않습니다. 적절한 프롬프트는 모델이 정확성을 유지하면서 참신하거나 명확하지 않은 솔루션을 생성하도록 영감을 줄 수 있습니다.

이자형.작업 방향 : 일부 응용 프로그램 시나리오에서 프롬프트는 모델이 수행해야 하는 작업이나 생성 유형(예: 질문에 대답, 제안 제공, 시나리오 설명 등)을 지정할 수 있습니다. 이 지침은 모델 출력이 특정 작업이나 애플리케이션의 요구 사항과 일치하는지 확인하는 데 도움이 됩니다.

에프.언어 스타일 및 형식 : 프롬프트를 통해 사용자가 원하는 언어 스타일, 답변 구조 또는 특정 정보 형식을 설정할 수 있습니다. 이는 모델 출력 및 사용자 경험의 전반적인 품질을 보장하는 데 중요합니다.

즉, 프롬프트는 대규모 언어 모델에서 사용자와 모델 간의 상호 작용을 위한 브리지 및 가이드 역할을 하며 모델 출력의 정확성, 관련성 및 다양성에 영향을 미치는 데 중요한 역할을 합니다. 프롬프트를 효과적으로 구축하고 사용하면 모델의 유용성과 응답성이 크게 향상될 수 있습니다.

1.2 원칙

대규모 언어 모델에서 프롬프트를 처리할 때 일반적으로 고려하고 따르는 몇 가지 원칙이 있습니다.

a. 명확하고 간결한 지침:prompt는 사용자의 요구사항이나 질문을 명확하게 표현해야 하며 모델이 관련성 있고 정확한 답변을 이해하고 제공할 수 있도록 모호하거나 모호한 설명을 피해야 합니다.

비.상황별 안내: 질문이나 요구사항이 특정 배경이나 맥락과 관련된 경우, 프롬프트에는 관련 키워드나 관련 정보 등 모델의 이해를 돕기 위해 필요한 정보가 포함되어야 합니다.

씨.구체적인 지침 :프롬프트에는 모델이 사용자가 기대하는 출력 유형과 형식을 알 수 있도록 특정 지침이나 질문이 포함되어야 합니다. 예를 들어, 도시의 관광 명소에 대해 질문할 때 명소 이름, 활동 제안, 교통 정보가 필요하다는 점을 명확하게 지정할 수 있습니다.

d. 지나친 지도를 피하라: 일부 맥락과 지침을 제공하는 것이 도움이 되지만, 모델의 창의성과 응답의 다양성을 제한하지 않도록 지나치게 교훈적이거나 너무 많은 세부 정보를 제공하지 마십시오.

이자형.언어가 간결하고 명확하다: 모델이 쉽게 이해하고 처리할 수 있도록 명확하고 간결하며 자연스러운 언어로 프롬프트를 작성합니다.

f. 테스트 및 조정: 실제 응용 프로그램에서는 모델이 예상대로 작동하고 다양한 입력을 효율적으로 처리할 수 있는지 확인하기 위해 프롬프트를 테스트하고 조정하는 것이 중요합니다.

이러한 원칙은 대규모 언어 모델이 사용자와의 상호 작용에서 효율적이고 정확하며 창의적이라는 것을 보장하는 데 도움이 됩니다.

즉, 프롬프트는 대형 모델에 대한 힌트, 지침 및 표준화를 제공하는 출발점입니다.

1.3 활용 스킬

가. 분리기

예: 단락을 제공하고 GPT에 요약을 요청합니다. 이 예에서는 구분 기호로 ```를 사용합니다.

  1. from tool import get_completion
  2. text = """您应该提供尽可能清晰、具体的指示，以表达您希望模型执行的任务。这将引导模型朝向所
  3. 需的输出，并降低收到无关或不正确响应的可能性。不要将写清晰的提示词与写简短的提示词混淆。在
  4. 许多情况下，更长的提示词可以为模型提供更多的清晰度和上下文信息，从而导致更详细和相关的输出。
  5. """ # 需要总结的文本内容
  6. prompt = f"""把用三个反引号括起来的文本总结成一句话。```
                    
            本文主要介绍大模型的prompt，并且给出实战教程。即使零基础也可以实现大模型的搭建。
     

    内容：初级阶段的修炼心法，帮助凝聚和提升内力，为后续修炼打下基础。
     

    1、prompt
     

    1.1含义和作用
     

            prompt就是提示工程的意思。在大型语言模型中，"prompt"（提示）指的是用户提供给模型的输入文本或指令，用来指导模型生成相应的输出。Prompt在与模型交互时起着至关重要的作用，它影响着模型的理解、回答的准确性和内容的创造性。以下是prompt在大模型中的主要含义和作用：
     

            a. 指导模型生成：Prompt提供了模型生成回复或输出所需的初始信息和方向。它可以包含问题、指令、关键词或上下文信息，帮助模型理解用户的意图和需要，并基于此进行相应的生成。
     

            b. 上下文理解：通过prompt，模型能够了解当前对话或任务的上下文。这对于确保模型生成与用户期望相关和连贯的回复至关重要，特别是在长期交互或多轮对话中。
     

            c.回答准确性：一个清晰和详细的prompt通常会导致更准确的回答。如果prompt描述清楚用户的问题或需求，模型就能更容易地提供符合预期的信息或解决方案。
     

            d.生成多样性：尽管prompt为模型提供了指导，但它并不限制模型的创造性和输出的多样性。合适的prompt可以在保持准确性的同时，激发模型产生新颖或非显而易见的解答。
     

            e. 任务定向：在一些应用场景中，prompt可以具体指定模型需要执行的任务或生成的类型，如回答问题、提供建议、描述情景等。这种指导有助于确保模型输出与特定任务或应用的需求相符。
     

            f. 语言风格和格式：通过prompt，用户可以设定期望的语言风格、回答的结构或特定的信息格式。这对于确保模型输出的整体质量和用户体验至关重要。
     

            总之，prompt在大型语言模型中充当了用户与模型之间交互的桥梁和指南，对于影响模型输出的准确性、相关性和多样性起着关键作用。有效地构建和使用prompt可以显著提高模型的实用性和响应能力。
     

    1.2原则
     

            在处理大型语言模型中的prompt时，有几个原则是通常被考虑和遵循的：
     

            a.清晰和简洁的指导：prompt应该明确表达用户的需求或者问题，避免模糊或多义的描述，以确保模型能够理解并提供相关和准确的回答。
     

            b. 上下文的引导：如果问题或需求涉及到特定的背景或上下文，prompt应该包含必要的信息来帮助模型理解，比如相关的关键词或相关信息。
     

            c. 具体的指令：prompt中应包含具体的指令或问题，以便模型知道用户期望的输出类型和格式。例如，询问一个城市的旅游景点时，可以明确指定需要景点名称、活动建议或交通信息等。
     

            d.避免过度指导：虽然提供一些上下文和指导是有益的，但避免过度指导或提供过多细节，以免限制模型的创造性和回答的多样性。
     

            e. 语言简洁明了：使用清晰、简洁和自然的语言编写prompt，以便模型能够轻松理解和处理。
     

            f.测试和调整：在实际应用中，对prompt进行测试和调整是很重要的，以确保模型能够按预期工作，并且能够有效地处理各种输入。
     

            这些原则有助于确保大型语言模型能够在与用户的交互中表现出高效、准确和有创意的特性。
     

            总之：prompt就是一个起点，给大模型一个提示、引导和规范的作用。
     

    1.3使用技巧
     

            a.分隔符
     

            eg：给出一段话并要求 GPT 进行总结，在该示例中我们使用 ``` 来作为分隔符。
     

    1. from tool import get_completion
    2. text = """您应该提供尽可能清晰、具体的指示，以表达您希望模型执行的任务。这将引导模型朝向所
    3. 需的输出，并降低收到无关或不正确响应的可能性。不要将写清晰的提示词与写简短的提示词混淆。在
    4. 许多情况下，更长的提示词可以为模型提供更多的清晰度和上下文信息，从而导致更详细和相关的输出。
    5. """ # 需要总结的文本内容
    6. prompt = f"""把用三个反引号括起来的文本总结成一句话。```{text}```""" # 指令内容，使用 ``` 来分隔指令和待总结的内容
    7. response = get_completion(prompt)
    8. print(response)
    9. # 为了获得所需的输出，您应该提供清晰、具体的指示，避免与简短的提示词混淆，并使用更长的提示
    10. 词来提供更多的清晰度和上下文信息。
     

              b.结构化输出
     

            eg：生成三本书的标题、作者和类别，并以 JSON 的格式返回，为便于解析，我们指定了 Json 的键: book_id、title、author、genre。
     

    1. prompt = f"""请生成包括书名、作者和类别的虚构的、非真实存在的中文书籍清单，并以 JSON 格式
    2. 提供，其中包含以下键:book_id、title、author、genre。"""
    3. response = get_completion(prompt)
    4. print(response)
    5. [
    6. { "book_id": 1, "title": "幻境之夜", "author": "李梦飞", "genre": "奇幻小说"
    7. },
    8. ... ]
     

            c.参考示例
     

             Zero-Shot提示：模型只根据任务的描述生成响应，不需要任何示例。
     

             One-Shot提示：只提供一个例子。
     

            Few-Shot提示：提供几个例子。在提示中的作用是通过少量样本引导模型对特定任务进行学习和执行，例如通过提供少量风格或主题示例，引导模型产出具有相似风格或主题的创作。
     

            d.让模型充当角色
     

            示例：请以莎士比亚戏剧中的哈姆雷特的身份解释“生存还是毁灭，这是一个问题”。这个示例要求模型以莎士比亚戏剧《哈姆雷特》中主人公的角色来解释著名的“生存还是毁灭”的问题，以展示模型在不同角色中的表现能力和语境理解能力。
     

     

    2、模型实战
     

            项目任务（三大业务场景）：
     

            1.文本分类
     

            2.文本信息抽取
     

            3.文本匹配
     

            大模型选择：ChatGLM-6B
     

            采用方法：基于Few-Shot+Zero-Shot以及Instrunction的思想，设计prompt, 进而应用ChatGLM-6B模型完成相应的任务
     

    2.1 准备工作
     

            a.我们运用python环境来执行大模型，所以首先需要下载python,(建议用anaconda)
     

            b.下载ChatGLM-6B模型模型，链接如下：
     

                    https://github.com/THUDM/ChatGLM-6B?tab=readme-ov-file
     

                    README中介绍了ChatGLM-6B模型和硬件需求。
     

    量化等级最低 GPU 显存（推理）最低 GPU 显存（高效参数微调）
    FP16（无量化）13 GB14 GB
    INT88 GB9 GB
    INT46 GB7 GB
     

            c.在你的anaconda中安装需要的依赖。在前面github中下载的包中，它其实把所有需要的依赖都放在了requirements.txt中，直接输入：
     

            pip install -r requirements.txt
     

            如果下载速度很慢，加上清华镜像
     

            pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
     

            其中 transformers 库版本推荐为 4.27.1，但理论上不低于 4.23.1 即可。
     

            此外，如果需要在 cpu 上运行量化后的模型，还需要安装 gcc 与 openmp。多数 Linux 发行版默认已安装。Windows 测试环境 gcc 版本为 TDM-GCC 10.3.0， Linux 为 gcc 11.3.0。
     

            d.从本地加载模型：
     

            以上代码会由 transformers 自动下载模型实现和参数。完整的模型实现可以在 Hugging Face Hub。如果你的网络环境较差，下载模型参数可能会花费较长时间甚至失败。此时可以先将模型下载到本地，然后从本地加载。
     

            从 Hugging Face Hub 下载模型需要先安装Git LFS，然后运行
     

    git clone https://huggingface.co/THUDM/chatglm-6b
     

    如果你从 Hugging Face Hub 上下载 checkpoint 的速度较慢，可以只下载模型实现
     

    GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b
     

            然后从这里手动下载模型参数文件，并将下载的文件替换到本地的 chatglm-6b 目录下。
     

            将模型下载到本地之后，将以上代码中的 THUDM/chatglm-6b 替换为你本地的 chatglm-6b 文件夹的路径，即可从本地加载模型。
     

            MAC注意
     

            Mac直接加载量化后的模型出现提示 `clang: error: unsupported option '-fopenmp'
     

            这是由于Mac由于本身缺乏omp导致的，此时可运行但是单核。需要单独安装 openmp 依赖，即可在Mac下使用OMP：
     

    1. # 参考`https://mac.r-project.org/openmp/`
    2. ## 假设: gcc(clang)是14.x版本，其他版本见R-Project提供的表格
    3. curl -O https://mac.r-project.org/openmp/openmp-14.0.6-darwin20-Release.tar.gz
    4. sudo tar fvxz openmp-14.0.6-darwin20-Release.tar.gz -C /
     

    此时会安装下面几个文件：/usr/local/lib/libomp.dylib, /usr/local/include/ompt.h, /usr/local/include/omp.h, /usr/local/include/omp-tools.h。
     

     
 
    注意：如果你之前运行ChatGLM项目失败过，最好清一下Huggingface的缓存，i.e. 默认下是 rm -rf ${HOME}/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4。由于使用了rm命令，请明确知道自己在删除什么。
     

     

            这是官方给的解决方案，我没成功。我是在代码上加入如下：
     

    1. import os
    2. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
     

            防止了mac执行报错。
     

    2.2 文本分类
     

            我们的目的是期望模型能够帮助我们识别出这4段话中，每一句话描述的是一个什么类型的报告。
     

    1. sentences = [
    2.         "今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。",
    3.         "ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。",
    4.         "公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。",
     

            对于大模型来讲，prompt 的设计非常重要，一个 明确 的 prompt 能够帮助我们更好从大模型中获得我们想要的结果。
     

    在该任务的 prompt 设计中，我们主要考虑 2 点：
     

            1、需要向模型解释什么叫作「文本分类任务」
     

            2、需要让模型按照我们指定的格式输出
     

            2.2.1导入包
     

    1. """
    2. 利用 LLM 进行文本分类任务。
    3. """
    4. from rich import print
    5. from rich.console import Console
    6. from transformers import AutoTokenizer, AutoModel
    7. import os
    8. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
     

            2.2.2 定义init_prompts函数
     

    1. # 提供所有类别以及每个类别下的样例
    2. class_examples ={
    3. '新闻报道':'今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。',
    4. '财务报告':'本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。',
    5. '公司公告':'本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力',
    6. '分析师报告':'最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势'}
    7.  
    8. # 定义init_prompts函数
    9. definit_prompts():
    10. '''
    11.     这里是对函数的功能进行注释，方便他人理解：该函数的目的是初始化前置prompt,便于模型做Few-shot
    12.     :return: dict字典
    13.     '''
    14.     class_list =list(class_examples.keys())
    15. print(f'分类的类别数：{class_list}')
    16.  
    17.     pre_history =[
    18. (f'现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：{class_list}类别中。',
    19. f'好的。')
    20. ]
    21. # 遍历给的示例样本
    22. for _type, example in class_examples.items():
    23. # print(f'键--》{_type}')
    24. # print(f'值--》{example}')
    25.         pre_history.append((f'"{example}"是{class_list}里的什么类别', _type))
    26.  
    27. # print(f'pre_history--》{pre_history}')
    28. return{"class_list":class_list,"pre_history":pre_history}
     

            a.提供一个Few-shot的样例，标注每个类别对应的话
     

            b.将类别存储到class_list中
     

            c.在样本提供之前给予一个prompt。即告诉模型。你是个文本分类器，要具体做什么？并给予一个答案（以逗号分隔）。（相当于一个有监督的训练）
     

            d.遍历给的示例样本，添加到pre_history
     

            e.返回一个字典。
     

            打印的结果如下：
     

    1. 分类的类别数：['新闻报道','财务报告','公司公告','分析师报告']
    2. 键--》新闻报道
    3. 值--》今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。
    4. 键--》财务报告
    5. 值--》本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。
    6. 键--》公司公告
    7. 值--》本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力
    8. 键--》分析师报告
    9. 值--》最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势
    10. pre_history--》[("现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：['新闻报道', '财务报告', '公司公告', '分析师报告']类别中。",'好的。'),('"今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','新闻报道'),('"本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','财务报告'),('"本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','公司公告'),('"最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','分析师报告')]
     

    2.2.3 定义inference函数
     

    1.     sentences = [
    2. "今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。",
    3. "ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。",
    4. "公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。",
    5. "最新的分析报告指出，可再生能源行业预计将在未来几年经历持续增长，投资者应该关注这一领域的投资机会",
    6. ]
    7.  
    8. definference(sentences: list,
    9.               custom_settings: dict):
    10. """
    11.     推理函数。
    13.     Args:
    14.         sentences (List[str]): 待推理的句子。
    15.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
    16.     """
    17. for sentence in sentences:
    18. #没啥含义，就是改变打印的颜色。
    19. with console.status("[bold bright_green] Model Inference..."):
    20. #
    21.             sentence_prompt =f'"{sentence}"是{custom_settings["class_list"]}里的什么类别？'
    22.             response, history = model.chat(tokenizer, sentence_prompt, history=custom_settings['pre_history'])
    23. print(f'>>>[bold bright_red]sentence:{sentence}')
    24. print(f'>>>[bold bright_green]inference answer:{response}')
    25. print(f'history-->{history}')
    26. print("*"*80)
     

    输入：
     

    1、sentences ：待推理的句子。
     

    2、custom_settings ：init_prompts准备好的 提示工程。
     

    流程：
     

    1、遍历需要推理的句子
     

    2、执行核心代码model.chat(tokenizer, sentence_prompt, history=custom_settings['pre_history'])
     

    其中：
     

    tokenizer：就是代码的分词器（可以理解为单词的最小单元）
     

    sentence_prompt：将问题句子补充成完成的prompt
     

    history：之前准备好的历史语句
     

    打印的结果：
     

    1. >>>sentence:今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。
    2. >>>inference answer:新闻报道
    3. >>>sentence:ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩
    4. 固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。
    5. >>>inference answer:公司公告
    6. ********************************************************************************
    7. >>>sentence:公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。
    8. >>>inference answer:财务报告
    9. ********************************************************************************
    10. >>>sentence:最新的分析报告指出，可再生能源行业预计将在未来几年经历持续增长，投资者应该关注这一领域的投资机会
    11. >>>inference answer:分析师报告
     

    可以看到分类成功了，此时我有大胆的想法。如果我输入一句和所有类别毫不相关的话会怎么样？
     

    sentences = ["我今天中午和朋友吃了牛肉粉丝汤，不小心洒了一地"]
     

    它会打印成：新闻报道
     

    这时候只要在prompt增加：
     

    1. "现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：['新闻
    2. 报道', '财务报告', '公司公告', '分析师报告']类别中。如果都不是就输出：'其他' ",
     

    结果就可以变成：
     

    1. >>>sentence:我今天中午和朋友吃了牛肉粉丝汤，不小心洒了一地
    2. >>>inference answer:其他
     

    2.2.4 完整代码
     

    1. # —*-coding:utf-8-*-
    2. """
    3. 利用 LLM 进行文本分类任务。
    4. """
    5. from rich importprint
    6. from rich.console importConsole
    7. from transformers importAutoTokenizer,AutoModel
    8. import os
    9. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
    10.  
    11.  
    12. # 提供所有类别以及每个类别下的样例
    13. class_examples ={
    14. '新闻报道':'今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。',
    15. '财务报告':'本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。',
    16. '公司公告':'本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力',
    17. '分析师报告':'最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势'}
    18.  
    19. # 定义init_prompts函数
    20. definit_prompts():
    21. '''
    22.     这里是对函数的功能进行注释，方便他人理解：该函数的目的是初始化前置prompt,便于模型做Few-shot
    23.     :return: dict字典
    24.     '''
    25.     class_list =list(class_examples.keys())
    26. print(f'分类的类别数：{class_list}')
    27.  
    28.     pre_history =[
    29. (f'现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：{class_list}类别中。',
    30. f'好的。')
    31. ]
    32. # 遍历给的示例样本
    33. for _type, example in class_examples.items():
    34. # print(f'键--》{_type}')
    35. # print(f'值--》{example}')
    36.         pre_history.append((f'"{example}"是{class_list}里的什么类别', _type))
    37.  
    38. # print(f'pre_history--》{pre_history}')
    39. return{"class_list":class_list,"pre_history":pre_history}
    40.  
    41. definference(sentences: list,
    42.               custom_settings: dict):
    43. """
    44.     推理函数。
    46.     Args:
    47.         sentences (List[str]): 待推理的句子。
    48.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
    49.     """
    50. for sentence in sentences:
    51. with console.status("[bold bright_green] Model Inference..."):
    52.             sentence_prompt =f'"{sentence}"是{custom_settings["class_list"]}里的什么类别？'
    53.             response, history = model.chat(tokenizer, sentence_prompt, history=custom_settings['pre_history'])
    54. print(f'>>>[bold bright_red]sentence:{sentence}')
    55. print(f'>>>[bold bright_green]inference answer:{response}')
    56. print(f'history-->{history}')
    57. print("*"*80)
    58.  
    59.  
    60. if __name__ =='__main__':
    61.     console =Console()
    62. #device = 'cuda:0'
    63.     device ='cpu'
    64.     tokenizer =AutoTokenizer.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",trust_remote_code=True)
    65. # model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
    66.     model =AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",trust_remote_code=True).float()
    67.     model.to(device)
    68.  
    69. # sentences = [
    70. #     "今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。",
    71. #     "ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。",
    72. #     "公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。",
    73. #     "最新的分析报告指出，可再生能源行业预计将在未来几年经历持续增长，投资者应该关注这一领域的投资机会",
    74. #     ]
    75. # sentences = ["金融系统是建设金融强国责无旁贷的主力军，必须切实把思想和行动统一到党中央决策部署上来，深刻把握建设金融强国的精髓要义和实践要求，不断增强使命感、责任感，推动宏伟蓝图一步步变成美好现实"]
    76.     sentences =["我今天中午和朋友吃了牛肉粉丝汤，不小心洒了一地"]
    77.     custom_settings = init_prompts()
    78. print(custom_settings)
    79.  
    80.     inference(
    81.         sentences,
    82.         custom_settings
    83.     )
     

            主函数主要调用本次使用的tokenizer和model。
     

    注意：
     

            如果用mac在执行过程中选用了chatglm-6b-int4模型，会报错，
     

    1.     logger.warning("Failed to load cpm_kernels:", exception)
    2. Message: 'Failed to load cpm_kernels:'
    3. Arguments: (RuntimeError('Unknown platform: darwin'),)
     

            还能执行的话就不用管他，实在不行就切换成chatglm-6b模型即可。
     

           如果你要用gpu跑模型，可以用这个代码替换
     

    # model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
     

    2.3 文本信息抽取
     

            其实文本信息抽取也是一致的主要还是实现init_prompts函数和inference函数
     

    2.3.1 实现init_prompts函数
     

    1. import re
    2. import json
    3.  
    4.  
    5. from rich importprint
    6. from transformers importAutoTokenizer,AutoModel
    7. import os
    8. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
    9.  
    10. # 定义不同实体下的具备属性
    11. schema ={
    12. '金融':['日期','股票名称','开盘价','收盘价','成交量'],
    13. }
    14.  
    15. # 信息抽取的模版
    16. IE_PATTERN ="{}nn提取上述句子中{}的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来表示，多个值之间用','分隔。"
    17.  
    18.  
    19. # 提供一些例子供模型参考
    20. ie_examples ={
    21. '金融':[
    22. {
    23. 'content':'2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元，随后回落至98美元，最终以102美元收盘，成交量达到520000。',
    24. 'answers':{
    25. '日期':['2023-01-10'],
    26. '股票名称':['古哥-D[EOOE]美股'],
    27. '开盘价':['100美元'],
    28. '收盘价':['102美元'],
    29. '成交量':['520000'],
    30. }
    31. }
    32. ]
    33. }
    34.  
    35.  
    36. # 定义init_prompts函数
    37. definit_prompts():
    38. """
    39.      初始化前置prompt，便于模型做 incontext learning。
    40.      """
    41.     ie_pre_history =[
    42. (
    43. "现在你需要帮助我完成信息抽取任务，当我给你一个句子时，你需要帮我抽取出句子中实体信息，并按照JSON的格式输出，上述句子中没有的信息用['原文中未提及']来表示，多个值之间用','分隔。",
    44. '好的，请输入您的句子。'
    45. )
    46. ]
    47. for _type, example_list in ie_examples.items():
    48. print(f'_type-->{_type}')
    49. print(f'example_list-->{example_list}')
    50. print(f'*'*80)
    51. for example in example_list:
    52.             sentence = example["content"]
    53.             properties_str =', '.join(schema[_type])
    54. print(f'properties_str-->{properties_str}')
    55.             schema_str_list =f'"{_type}"({properties_str})'
    56. print(f'schema_str_list-->{schema_str_list}')
    57.  
    58.             sentence_with_prompt = IE_PATTERN.format(sentence, schema_str_list)
    59. print(f'sentence_with_prompt-->{sentence_with_prompt}')
    60.             ie_pre_history.append((f"{sentence_with_prompt}",f"{json.dumps(example['answers'], ensure_ascii=False)}"))
    61. print(f'ie_pre_history-->{ie_pre_history}')
    62.  
    63. return{"ie_pre_history":ie_pre_history}
    64.  
    65. init_prompts()
     

    a.提供一个Few-shot的样例，定义不同实体下的具备属性
     

    b.将prompt补充完整
     

    c.增加至ie_pre_history当中
     

    打印如下：
     

    1. _type-->金融
    2. example_list-->[{'content':
    3. '2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元
    4. ，随后回落至98美元，最终以102美元收盘，成交量达到520000。','answers':{'日期':
    5. ['2023-01-10'],'股票名称':['古哥-D[EOOE]美股'],'开盘价':['100美元'],
    6. '收盘价':['102美元'],'成交量':['520000']}}]
    7. ********************************************************************************
    8. properties_str-->日期,股票名称,开盘价,收盘价,成交量
    9. schema_str_list-->"金融"(日期,股票名称,开盘价,收盘价,成交量)
    10. sentence_with_prompt-->2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美
    11. 元，一度飙升至105美元，随后回落至98美元，最终以102美元收盘，成交量达到520000。
    12.  
    13. 提取上述句子中"金融"(日期,股票名称,开盘价,收盘价,
    14. 成交量)的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来表
    15. 示，多个值之间用','分隔。
    16. ie_pre_history-->[("现在你需要帮助我完成信息抽取任务，当我给你一个句子时，你需要
    17. 帮我抽取出句子中实体信息，并按照JSON的格式输出，上述句子中没有的信息用['原文中未
    18. 提及']来表示，多个值之间用','分隔。",'好的，请输入您的句子。'),
    19. ('2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元
    20. ，随后回落至98美元，最终以102美元收盘，成交量达到520000。nn提取上述句子中"金融
    21. "(日期, 股票名称, 开盘价, 收盘价, 
    22. 成交量)的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来
    23. 表示，多个值之间用','分隔。','{"日期": ["2023-01-10"], "股票名称": 
    24. ["古哥-D[EOOE]美股"], "开盘价": ["100美元"], "收盘价": ["102美元"], "成交量": 
    25. ["520000"]}')]
     

    2.3.2 定义inference函数
     

    1. def inference(sentences: list,
    2.               custom_settings: dict):
    3. """
    4.     推理函数。
    6.     Args:
    7.         sentences (List[str]): 待抽取的句子。
    8.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
    9.     """
    10. for sentence in sentences:
    11.         cls_res ="金融"
    12. if cls_res notin schema:
    13. print(f'The type model inferenced {cls_res} which is not in schema dict, exited.')
    14.             exit()
    15.         properties_str =', '.join(schema[cls_res])
    16.         schema_str_list =f'"{cls_res}"({properties_str})'
    17.         sentence_with_ie_prompt = IE_PATTERN.format(sentence, schema_str_list)
    18. # print(f'sentence_with_prompt-->{sentence_with_ie_prompt}')
    19.         ie_res, history = model.chat(tokenizer,
    20.                                      sentence_with_ie_prompt,
    21.                                      history=custom_settings["ie_pre_history"])
    22.         ie_res = clean_response(ie_res)
    23. print(f'>>> [bold bright_red]sentence: {sentence}')
    24. print(f'>>> [bold bright_green]inference answer:{ie_res} ')
     

    a.定义输入：
     

            sentences (List[str]): 待抽取的句子。custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
     

    b.定义类别：cls_res = "金融"
     

            这里将类别写死了。如果有多个类别。可以先利用 文本分类 实现后，在进行文本信息抽取。
     

    c.将输入的sentences补充完整，调用 model.chat
     

    d.将模型结果做一个后处理，提取json模型并输出
     

    打印如下：
     

    1. >>> sentence: 
    2. 2023-02-15，寓意吉祥的节日，股票佰笃[BD]美股开盘价10美元，虽然经历了波动，但最终
    3. 以13美元收盘，成交量微幅增加至460,000，投资者情绪较为平稳。
    4. >>> inference answer:{'日期': ['2023-02-15'], '股票名称': ['佰笃[BD]美股'], 
    5. '开盘价': ['10美元'], '收盘价': ['13美元'], '成交量': ['460,000']}
     

    2.3.3 完整代码
     

    1. import re
    2. import json
    3.  
    4.  
    5. from rich importprint
    6. from transformers importAutoTokenizer,AutoModel
    7. import os
    8. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
    9.  
    10. # 定义不同实体下的具备属性
    11. schema ={
    12. '金融':['日期','股票名称','开盘价','收盘价','成交量'],
    13. }
    14.  
    15. # 信息抽取的模版
    16. IE_PATTERN ="{}nn提取上述句子中{}的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来表示，多个值之间用','分隔。"
    17.  
    18.  
    19. # 提供一些例子供模型参考
    20. ie_examples ={
    21. '金融':[
    22. {
    23. 'content':'2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元，随后回落至98美元，最终以102美元收盘，成交量达到520000。',
    24. 'answers':{
    25. '日期':['2023-01-10'],
    26. '股票名称':['古哥-D[EOOE]美股'],
    27. '开盘价':['100美元'],
    28. '收盘价':['102美元'],
    29. '成交量':['520000'],
    30. }
    31. }
    32. ]
    33. }
    34.  
    35. # 定义init_prompts函数
    36. definit_prompts():
    37. """
    38.      初始化前置prompt，便于模型做 incontext learning。
    39.      """
    40.     ie_pre_history =[
    41. (
    42. "现在你需要帮助我完成信息抽取任务，当我给你一个句子时，你需要帮我抽取出句子中实体信息，并按照JSON的格式输出，上述句子中没有的信息用['原文中未提及']来表示，多个值之间用','分隔。",
    43. '好的，请输入您的句子。'
    44. )
    45. ]
    46. for _type, example_list in ie_examples.items():
    47. # print(f'_type-->{_type}')
    48. # print(f'example_list-->{example_list}')
    49. # print(f'*'*80)
    50. for example in example_list:
    51.             sentence = example["content"]
    52.             properties_str =', '.join(schema[_type])
    53. # print(f'properties_str-->{properties_str}')
    54.             schema_str_list =f'"{_type}"({properties_str})'
    55. # print(f'schema_str_list-->{schema_str_list}')
    56.  
    57.             sentence_with_prompt = IE_PATTERN.format(sentence, schema_str_list)
    58. print(f'sentence_with_prompt-->{sentence_with_prompt}')
    59.             ie_pre_history.append((f"{sentence_with_prompt}",f"{json.dumps(example['answers'], ensure_ascii=False)}"))
    60. print(f'ie_pre_history-->{ie_pre_history}')
    61.  
    62. return{"ie_pre_history":ie_pre_history}
    63.  
    64. defclean_response(response: str):
    65. """
    66.     后处理模型输出。
    68.     Args:
    69.         response (str): _description_
    70.     """
    71. if'```json'in response:
    72.         res = re.findall(r'```json(.*?)```', response)
    73. iflen(res)and res[0]:
    74.             response = res[0]
    75.         response = response.replace('、',',')
    76. try:
    77. return json.loads(response)
    78. except:
    79. return response
    80.  
    81. definference(sentences: list,
    82.               custom_settings: dict):
    83. """
    84.     推理函数。
    86.     Args:
    87.         sentences (List[str]): 待抽取的句子。
    88.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
    89.     """
    90. for sentence in sentences:
    91.         cls_res ="金融"
    92. if cls_res notin schema:
    93. print(f'The type model inferenced {cls_res} which is not in schema dict, exited.')
    94.             exit()
    95.         properties_str =', '.join(schema[cls_res])
    96.         schema_str_list =f'"{cls_res}"({properties_str})'
    97.         sentence_with_ie_prompt = IE_PATTERN.format(sentence, schema_str_list)
    98. # print(f'sentence_with_prompt-->{sentence_with_ie_prompt}')
    99.         ie_res, history = model.chat(tokenizer,
    100.                                      sentence_with_ie_prompt,
    101.                                      history=custom_settings["ie_pre_history"])
    102.         ie_res = clean_response(ie_res)
    103. print(f'>>> [bold bright_red]sentence: {sentence}')
    104. print(f'>>> [bold bright_green]inference answer:{ie_res} ')
    105.  
    106.  
    107.  
    108. if __name__ =='__main__':
    109. #device = 'cuda:0'
    110.     device ='cpu'
    111.     tokenizer =AutoTokenizer.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",
    112.                                               trust_remote_code=True)
    113. #model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b",
    114. # trust_remote_code=True).half().cuda()
    115.     model =AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",
    116.                                       trust_remote_code=True).float()
    117.     model.to(device)
    118.  
    119.     sentences =[
    120. '2023-02-15，寓意吉祥的节日，股票佰笃[BD]美股开盘价10美元，虽然经历了波动，但最终以13美元收盘，成交量微幅增加至460,000，投资者情绪较为平稳。',
    121. '2023-04-05，市场迎来轻松氛围，股票盘古(0021)开盘价23元，尽管经历了波动，但最终以26美元收盘，成交量缩小至310,000，投资者保持观望态度。',
    122. ]
    123.  
    124.     custom_settings = init_prompts()
    125.  
    126.     inference(
    127.         sentences,
    128.         custom_settings
    129.     )
     

    2.4 文本匹配
     

            文本匹配具体和我之前做的bert是一个项目。这里主要食用prompt实现。和上面基本一致，就不重点阐述了
     

    完整代码如下：
     

    2.4.1 完整代码
     

    1. from rich importprint
    2. from transformers importAutoTokenizer,AutoModel
    3.  
    4. import os
    5.  
    6.  
    7. # 提供相似，不相似的语义匹配例子
    8. examples ={
    9. '是':[
    10. ('公司ABC发布了季度财报，显示盈利增长。','财报披露，公司ABC利润上升。'),
    11. ],
    12. '不是':[
    13. ('黄金价格下跌，投资者抛售。','外汇市场交易额创下新高。'),
    14. ('央行降息，刺激经济增长。','新能源技术的创新。')
    15. ]
    16. }
    17.  
    18. definit_prompts():
    19. """
    20.     初始化前置prompt，便于模型做 incontext learning。
    21.     """
    22.     pre_history =[
    23. (
    24. '现在你需要帮助我完成文本匹配任务，当我给你两个句子时，你需要回答我这两句话语义是否相似。只需要回答是否相似，不要做多余的回答。',
    25. '好的，我将只回答”是“或”不是“。'
    26. )
    27. ]
    28. for key, sentence_pairs in examples.items():
    29. # print(f'key-->{key}')
    30. # print(f'sentence_pairs-->{sentence_pairs}')
    31. for sentence_pair in sentence_pairs:
    32.             sentence1, sentence2 = sentence_pair
    33. # print(f'sentence1-->{sentence1}')
    34. # print(f'sentence2-->{sentence2}')
    35.             pre_history.append((f'句子一:{sentence1}n句子二:{sentence2}n上面两句话是相似的语义吗？',
    36.                                 key))
    37. return{"pre_history": pre_history}
    38.  
    39. definference(
    40.         sentence_pairs: list,
    41.         custom_settings: dict
    42.     ):
    43. """
    44.     推理函数。
    46.     Args:
    47.         model (transformers.AutoModel): Language Model 模型。
    48.         sentence_pairs (List[str]): 待推理的句子对。
    49.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
    50.     """
    51. for sentence_pair in sentence_pairs:
    52.         sentence1, sentence2 = sentence_pair
    53.         sentence_with_prompt =f'句子一: {sentence1}n句子二: {sentence2}n上面两句话是相似的语义吗？'
    54.         response, history = model.chat(tokenizer, sentence_with_prompt, history=custom_settings['pre_history'])
    55. print(f'>>> [bold bright_red]sentence: {sentence_pair}')
    56. print(f'>>> [bold bright_green]inference answer: {response}')
    57. # print(history)
    58.  
    59. if __name__ =='__main__':
    60. #device = 'cuda:0'
    61.     device ='cpu'
    62.     tokenizer =AutoTokenizer.from_pretrained("/Users/ligang/PycharmProjects/llm/ChatGLM-6B/THUDM/chatglm-6b-int4",
    63.                                               trust_remote_code=True)
    64. #model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b",
    65. # trust_remote_code=True).half().cuda()
    66.     model =AutoModel.from_pretrained("/Users/ligang/PycharmProjects/llm/ChatGLM-6B/THUDM/chatglm-6b-int4",
    67.                                       trust_remote_code=True).float()
    68.     model.to(device)
    69.  
    70.     sentence_pairs =[
    71. ('股票市场今日大涨，投资者乐观。','持续上涨的市场让投资者感到满意。'),
    72. ('油价大幅下跌，能源公司面临挑战。','未来智能城市的建设趋势愈发明显。'),
    73. ('利率上升，影响房地产市场。','高利率对房地产有一定冲击。'),
    74. ]
    75.  
    76.     custom_settings = init_prompts()
    77.     inference(
    78.         sentence_pairs,
    79.         custom_settings
    80.     )
     

     
     

    
                    ```"""     # 指令内容，使用 ``` 来分隔指令和待总结的内容
  7. response = get_completion(prompt)
  8. print(response)
  9. # 为了获得所需的输出，您应该提供清晰、具体的指示，避免与简短的提示词混淆，并使用更长的提示
  10. 词来提供更多的清晰度和上下文信息。

b.구조화된 출력

예: 세 권의 책에 대한 제목, 저자 및 카테고리를 생성하고 이를 JSON 형식으로 반환합니다. 구문 분석을 용이하게 하기 위해 book_id, 제목, 저자, 장르라는 JSON 키를 지정합니다.

  1. prompt = f"""请生成包括书名、作者和类别的虚构的、非真实存在的中文书籍清单，并以 JSON 格式
  2. 提供，其中包含以下键:book_id、title、author、genre。"""
  3. response = get_completion(prompt)
  4. print(response)
  5. [
  6. { "book_id": 1, "title": "幻境之夜", "author": "李梦飞", "genre": "奇幻小说"
  7. },
  8. ... ]

다.참고예

         제로샷 팁:모델은 작업 설명을 기반으로만 응답을 생성하며 예시가 필요하지 않습니다.

         원샷 팁:한 가지 예만 제공됩니다.

몇 가지 팁: 몇 가지 예를 들어보세요. 프롬프트의 역할은 모델이 소수의 샘플을 통해 특정 작업을 학습하고 수행하도록 안내하는 것입니다. 예를 들어 소수의 스타일이나 테마 예제를 제공하여 모델이 유사한 스타일이나 테마의 창작물을 생성하도록 안내합니다.

d. 모델이 역할을 하게 하세요.

예 : 셰익스피어 희곡의 햄릿처럼 "사느냐 사느냐, 그것이 문제로다"라고 설명해 주세요. 이 예에서는 모델이 셰익스피어 희곡 "햄릿"의 주인공 역할을 사용하여 유명한 "사느냐 죽느냐"라는 질문을 해석하여 다양한 역할에서의 모델 성능과 상황적 이해를 보여주어야 합니다.

2. 실제 전투 모델

프로젝트 작업(세 가지 주요 비즈니스 시나리오):

1. 텍스트 분류

2. 텍스트 정보 추출

3.텍스트 매칭

다양한 모델 선택：채팅GLM-6B

적응 방법: Few-Shot+Zero-Shot과 Insrunction의 아이디어를 바탕으로 프롬프트를 디자인한 후 ChatGLM-6B 모델을 적용하여 해당 작업을 완료합니다.

2.1 준비

a. 대규모 모델을 실행하려면 Python 환경을 사용하므로 먼저 Python을 다운로드해야 합니다(anaconda 권장).

b. ChatGLM-6B 모델을 다운로드합니다. 링크는 다음과 같습니다.

https://github.com/THUDM/ChatGLM-6B?tab=readme-ov-file

ChatGLM-6B 모델 및 하드웨어 요구 사항은 README에 소개되어 있습니다.

양적 수준최소 GPU 메모리(추리)최소 GPU 메모리(효율적인 매개변수 미세 조정)
FP16(양자화 없음)13기가바이트14기가바이트
인티88GB (8기가바이트)9GB (기가바이트)
인티46GB (6기가바이트)7GB (기가바이트)

c. 아나콘다에 필요한 종속성을 설치합니다. 이전에 github에서 다운로드한 패키지에서는 실제로 필요한 모든 종속성을 요구 사항.txt에 넣고 직접 입력합니다.

pip 설치 -r 요구 사항.txt

다운로드 속도가 너무 느린 경우 Tsinghua 미러를 추가하세요.

pip 설치 -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

~에transformers권장되는 라이브러리 버전은 다음과 같습니다.4.27.1, 그러나 이론적으로는 다음보다 적지 않습니다.4.23.1그게 다야.

또한 CPU에서 양자화된 모델을 실행해야 하는 경우 다음 설치도 필요합니다.gcc그리고openmp . 대부분의 Linux 배포판에는 기본적으로 설치되어 있습니다. 윈도우 테스트 환경gcc버전은TDM-GCC 10.3.0, 리눅스는gcc 11.3.0。

d. 로컬에서 모델을 로드합니다.

위 코드는 다음에 의해 생성됩니다.transformers 모델 구현 및 매개변수를 자동으로 다운로드합니다. 전체 모델 구현은 Hugging Face Hub에서 찾을 수 있습니다. 네트워크 환경이 열악한 경우 모델 매개변수 다운로드에 오랜 시간이 걸리거나 실패할 수도 있습니다. 이때 먼저 모델을 로컬로 다운로드한 후 로컬에서 로드할 수 있습니다.

Hugging Face Hub에서 모델을 다운로드하려면 먼저 Git LFS를 설치한 후 실행해야 합니다.

git clone https://huggingface.co/THUDM/chatglm-6b

Hugging Face Hub에서 체크포인트 다운로드 속도가 느린 경우 모델 구현만 다운로드할 수 있습니다.

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

그런 다음 여기에서 모델 매개변수 파일을 수동으로 다운로드하고 다운로드한 파일을 로컬로 교체합니다.chatglm-6b내용 아래.

모델을 로컬로 다운로드한 후THUDM/chatglm-6b현지 제품으로 교체하세요chatglm-6b모델을 로컬로 로드할 폴더의 경로입니다.

맥 주의

Mac은 양자화된 모델을 직접 로드하고 'clang: error: unsupported option '-fopenmp''라는 프롬프트가 나타납니다.

이는 현재 실행 가능하지만 단일 코어인 Mac 자체의 성능이 부족하기 때문에 발생합니다. Mac에서 OMP를 사용하려면 openmp 종속성을 별도로 설치해야 합니다.

  1. # 参考`https://mac.r-project.org/openmp/`
  2. ## 假设: gcc(clang)是14.x版本，其他版本见R-Project提供的表格
  3. curl -O https://mac.r-project.org/openmp/openmp-14.0.6-darwin20-Release.tar.gz
  4. sudo tar fvxz openmp-14.0.6-darwin20-Release.tar.gz -C /

이때 다음 파일이 설치됩니다./usr/local/lib/libomp.dylib, /usr/local/include/ompt.h, /usr/local/include/omp.h, /usr/local/include/omp-tools.h。

참고: 이전에 실행한 경우ChatGLM프로젝트가 실패하면 Huggingface의 캐시를 지우는 것이 가장 좋습니다. IE의 기본값은 다음과 같습니다.rm -rf ${HOME}/.cache/huggingface/modules/transformers_modules/chatglm-6b-int4 .사용으로 인해rm명령을 내리려면 무엇을 삭제하려는지 정확히 알아두십시오.

이것이 공식적인 해결책이지만 성공하지 못했습니다. 코드에 다음을 추가했습니다.

  1. import os
  2. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"

Mac 실행 오류를 방지했습니다.

2.2 텍스트 분류

우리의 목적은 이 모델이 이 네 단락의 각 문장이 어떤 유형의 보고서를 설명하는지 식별하는 데 도움이 되기를 바라는 것입니다.

  1. sentences = [
  2.         "今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。",
  3.         "ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。",
  4.         "公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。",

대형 모델의 경우 프롬프트 디자인이 매우 중요합니다. 명확한 프롬프트는 대형 모델에서 원하는 결과를 더 잘 얻는 데 도움이 될 수 있습니다.

이 작업의 신속한 설계에서 우리는 주로 다음 두 가지 사항을 고려합니다.

1. "텍스트 분류 작업"이 무엇인지 모델에게 설명해야 합니다.

2. 모델은 우리가 지정한 형식으로 출력되어야 합니다.

2.2.1 패키지 가져오기
  1. """
  2. 利用 LLM 进行文本分类任务。
  3. """
  4. from rich import print
  5. from rich.console import Console
  6. from transformers import AutoTokenizer, AutoModel
  7. import os
  8. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
2.2.2 init_prompts 함수 정의
  1. # 提供所有类别以及每个类别下的样例
  2. class_examples ={
  3. '新闻报道':'今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。',
  4. '财务报告':'本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。',
  5. '公司公告':'本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力',
  6. '分析师报告':'最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势'}
  7.  
  8. # 定义init_prompts函数
  9. definit_prompts():
  10. '''
  11.     这里是对函数的功能进行注释，方便他人理解：该函数的目的是初始化前置prompt,便于模型做Few-shot
  12.     :return: dict字典
  13.     '''
  14.     class_list =list(class_examples.keys())
  15. print(f'分类的类别数：{class_list}')
  16.  
  17.     pre_history =[
  18. (f'现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：{class_list}类别中。',
  19. f'好的。')
  20. ]
  21. # 遍历给的示例样本
  22. for _type, example in class_examples.items():
  23. # print(f'键--》{_type}')
  24. # print(f'值--》{example}')
  25.         pre_history.append((f'"{example}"是{class_list}里的什么类别', _type))
  26.  
  27. # print(f'pre_history--》{pre_history}')
  28. return{"class_list":class_list,"pre_history":pre_history}

a. 몇 가지 예를 제시하고 각 범주에 해당하는 단어를 표시하세요.

b. class_list에 카테고리를 저장합니다.

c. 샘플을 제공하기 전에 프롬프트를 표시합니다. 즉, 모델에게 말하십시오. 당신은 텍스트 분류자입니다. 정확히 무엇을 하고 싶나요? 답을 입력하세요(쉼표로 구분). (지도 교육과 동일)

d. 주어진 예제를 탐색하고 pre_history에 추가합니다.

e. 사전을 반환합니다.

인쇄된 결과는 다음과 같습니다.

  1. 分类的类别数：['新闻报道','财务报告','公司公告','分析师报告']
  2. 键--》新闻报道
  3. 值--》今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。
  4. 键--》财务报告
  5. 值--》本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。
  6. 键--》公司公告
  7. 值--》本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力
  8. 键--》分析师报告
  9. 值--》最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势
  10. pre_history--》[("现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：['新闻报道', '财务报告', '公司公告', '分析师报告']类别中。",'好的。'),('"今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','新闻报道'),('"本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','财务报告'),('"本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','公司公告'),('"最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势"是['新闻报道', '财务报告', '公司公告', '分析师报告']里的什么类别','分析师报告')]
2.2.3 추론 함수 정의
  1.     sentences = [
  2. "今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。",
  3. "ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。",
  4. "公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。",
  5. "最新的分析报告指出，可再生能源行业预计将在未来几年经历持续增长，投资者应该关注这一领域的投资机会",
  6. ]
  7.  
  8. definference(sentences: list,
  9.               custom_settings: dict):
  10. """
  11.     推理函数。
  13.     Args:
  14.         sentences (List[str]): 待推理的句子。
  15.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
  16.     """
  17. for sentence in sentences:
  18. #没啥含义，就是改变打印的颜色。
  19. with console.status("[bold bright_green] Model Inference..."):
  20. #
  21.             sentence_prompt =f'"{sentence}"是{custom_settings["class_list"]}里的什么类别？'
  22.             response, history = model.chat(tokenizer, sentence_prompt, history=custom_settings['pre_history'])
  23. print(f'>>>[bold bright_red]sentence:{sentence}')
  24. print(f'>>>[bold bright_green]inference answer:{response}')
  25. print(f'history-->{history}')
  26. print("*"*80)

입력하다：

1. 문장: 추론할 문장입니다.

2. custom_settings: init_prompts가 준비한 프롬프트 프로젝트입니다.

프로세스:

1. 추론이 필요한 문장을 순회

2. 핵심 코드 model.chat(tokenizer, 문장_프롬프트, 역사=custom_settings['pre_history']) 실행

안에:

토크나이저(Tokenizer): 코드의 토크나이저(단어의 가장 작은 단위로 이해 가능)

문장_프롬프트: 완성된 프롬프트에 질문 문장을 추가합니다.

역사: 이전에 준비된 역사적 진술

인쇄된 결과:

  1. >>>sentence:今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。
  2. >>>inference answer:新闻报道
  3. >>>sentence:ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩
  4. 固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。
  5. >>>inference answer:公司公告
  6. ********************************************************************************
  7. >>>sentence:公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。
  8. >>>inference answer:财务报告
  9. ********************************************************************************
  10. >>>sentence:最新的分析报告指出，可再生能源行业预计将在未来几年经历持续增长，投资者应该关注这一领域的投资机会
  11. >>>inference answer:分析师报告

이때, 과감한 생각이 떠올랐습니다. 카테고리와 관련이 없는 문장을 입력하면 어떻게 되나요?

sentences = ["我今天中午和朋友吃了牛肉粉丝汤，不小心洒了一地"]

다음과 같이 인쇄됩니다. 뉴스 보고서

이때 다음을 추가하면 됩니다.

  1. "现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：['新闻
  2. 报道', '财务报告', '公司公告', '分析师报告']类别中。如果都不是就输出：'其他' ",

결과는 다음과 같습니다.

  1. >>>sentence:我今天中午和朋友吃了牛肉粉丝汤，不小心洒了一地
  2. >>>inference answer:其他
2.2.4 완전한 코드
  1. # —*-coding:utf-8-*-
  2. """
  3. 利用 LLM 进行文本分类任务。
  4. """
  5. from rich importprint
  6. from rich.console importConsole
  7. from transformers importAutoTokenizer,AutoModel
  8. import os
  9. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
  10.  
  11.  
  12. # 提供所有类别以及每个类别下的样例
  13. class_examples ={
  14. '新闻报道':'今日，股市经历了一轮震荡，受到宏观经济数据和全球贸易紧张局势的影响。投资者密切关注美联储可能的政策调整，以适应市场的不确定性。',
  15. '财务报告':'本公司年度财务报告显示，去年公司实现了稳步增长的盈利，同时资产负债表呈现强劲的状况。经济环境的稳定和管理层的有效战略执行为公司的健康发展奠定了基础。',
  16. '公司公告':'本公司高兴地宣布成功完成最新一轮并购交易，收购了一家在人工智能领域领先的公司。这一战略举措将有助于扩大我们的业务领域，提高市场竞争力',
  17. '分析师报告':'最新的行业分析报告指出，科技公司的创新将成为未来增长的主要推动力。云计算、人工智能和数字化转型被认为是引领行业发展的关键因素，投资者应关注这些趋势'}
  18.  
  19. # 定义init_prompts函数
  20. definit_prompts():
  21. '''
  22.     这里是对函数的功能进行注释，方便他人理解：该函数的目的是初始化前置prompt,便于模型做Few-shot
  23.     :return: dict字典
  24.     '''
  25.     class_list =list(class_examples.keys())
  26. print(f'分类的类别数：{class_list}')
  27.  
  28.     pre_history =[
  29. (f'现在你是一个文本分类器，你需要按照要求将我给你的句子分类到：{class_list}类别中。',
  30. f'好的。')
  31. ]
  32. # 遍历给的示例样本
  33. for _type, example in class_examples.items():
  34. # print(f'键--》{_type}')
  35. # print(f'值--》{example}')
  36.         pre_history.append((f'"{example}"是{class_list}里的什么类别', _type))
  37.  
  38. # print(f'pre_history--》{pre_history}')
  39. return{"class_list":class_list,"pre_history":pre_history}
  40.  
  41. definference(sentences: list,
  42.               custom_settings: dict):
  43. """
  44.     推理函数。
  46.     Args:
  47.         sentences (List[str]): 待推理的句子。
  48.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
  49.     """
  50. for sentence in sentences:
  51. with console.status("[bold bright_green] Model Inference..."):
  52.             sentence_prompt =f'"{sentence}"是{custom_settings["class_list"]}里的什么类别？'
  53.             response, history = model.chat(tokenizer, sentence_prompt, history=custom_settings['pre_history'])
  54. print(f'>>>[bold bright_red]sentence:{sentence}')
  55. print(f'>>>[bold bright_green]inference answer:{response}')
  56. print(f'history-->{history}')
  57. print("*"*80)
  58.  
  59.  
  60. if __name__ =='__main__':
  61.     console =Console()
  62. #device = 'cuda:0'
  63.     device ='cpu'
  64.     tokenizer =AutoTokenizer.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",trust_remote_code=True)
  65. # model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
  66.     model =AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",trust_remote_code=True).float()
  67.     model.to(device)
  68.  
  69. # sentences = [
  70. #     "今天，央行决定通过降低利率来刺激经济增长。这一决策预计会影响到贷款利率，并在接下来的几个季度对金融市场产生深远影响。",
  71. #     "ABC公司今日宣布，他们已成功收购了XYZ公司的股权。这一重要的收购交易有助于ABC公司扩展业务范围，增强市场竞争力。据悉，这次收购将进一步巩固ABC公司在行业中的地位，并为未来的业务发展提供更广阔的空间。详细信息请参阅公司官方网站公告栏。",
  72. #     "公司资产负债表显示，公司偿债能力强劲，现金流充足，为未来投资和扩张提供了坚实的财务基础。",
  73. #     "最新的分析报告指出，可再生能源行业预计将在未来几年经历持续增长，投资者应该关注这一领域的投资机会",
  74. #     ]
  75. # sentences = ["金融系统是建设金融强国责无旁贷的主力军，必须切实把思想和行动统一到党中央决策部署上来，深刻把握建设金融强国的精髓要义和实践要求，不断增强使命感、责任感，推动宏伟蓝图一步步变成美好现实"]
  76.     sentences =["我今天中午和朋友吃了牛肉粉丝汤，不小心洒了一地"]
  77.     custom_settings = init_prompts()
  78. print(custom_settings)
  79.  
  80.     inference(
  81.         sentences,
  82.         custom_settings
  83.     )

주요 함수는 이번에 사용하는 토크나이저와 모델을 주로 호출합니다.

알아채다：

Mac에서 실행 중 chatglm-6b-int4 모델을 선택하면 오류가 보고됩니다.

  1.     logger.warning("Failed to load cpm_kernels:", exception)
  2. Message: 'Failed to load cpm_kernels:'
  3. Arguments: (RuntimeError('Unknown platform: darwin'),)

그래도 실행이 가능하다면 걱정하지 마세요. 작동하지 않으면 chatglm-6b 모델로 전환하세요.

GPU를 사용하여 모델을 실행하려면 이 코드로 바꿀 수 있습니다.

# model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b", trust_remote_code=True).half().cuda()

2.3 텍스트 정보 추출

실제로 텍스트 정보 추출도 일관성이 있다. init_prompts 함수와 추론 함수를 구현하는 것이 핵심이다.

2.3.1 init_prompts 함수 구현
  1. import re
  2. import json
  3.  
  4.  
  5. from rich importprint
  6. from transformers importAutoTokenizer,AutoModel
  7. import os
  8. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
  9.  
  10. # 定义不同实体下的具备属性
  11. schema ={
  12. '金融':['日期','股票名称','开盘价','收盘价','成交量'],
  13. }
  14.  
  15. # 信息抽取的模版
  16. IE_PATTERN ="{}nn提取上述句子中{}的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来表示，多个值之间用','分隔。"
  17.  
  18.  
  19. # 提供一些例子供模型参考
  20. ie_examples ={
  21. '金融':[
  22. {
  23. 'content':'2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元，随后回落至98美元，最终以102美元收盘，成交量达到520000。',
  24. 'answers':{
  25. '日期':['2023-01-10'],
  26. '股票名称':['古哥-D[EOOE]美股'],
  27. '开盘价':['100美元'],
  28. '收盘价':['102美元'],
  29. '成交量':['520000'],
  30. }
  31. }
  32. ]
  33. }
  34.  
  35.  
  36. # 定义init_prompts函数
  37. definit_prompts():
  38. """
  39.      初始化前置prompt，便于模型做 incontext learning。
  40.      """
  41.     ie_pre_history =[
  42. (
  43. "现在你需要帮助我完成信息抽取任务，当我给你一个句子时，你需要帮我抽取出句子中实体信息，并按照JSON的格式输出，上述句子中没有的信息用['原文中未提及']来表示，多个值之间用','分隔。",
  44. '好的，请输入您的句子。'
  45. )
  46. ]
  47. for _type, example_list in ie_examples.items():
  48. print(f'_type-->{_type}')
  49. print(f'example_list-->{example_list}')
  50. print(f'*'*80)
  51. for example in example_list:
  52.             sentence = example["content"]
  53.             properties_str =', '.join(schema[_type])
  54. print(f'properties_str-->{properties_str}')
  55.             schema_str_list =f'"{_type}"({properties_str})'
  56. print(f'schema_str_list-->{schema_str_list}')
  57.  
  58.             sentence_with_prompt = IE_PATTERN.format(sentence, schema_str_list)
  59. print(f'sentence_with_prompt-->{sentence_with_prompt}')
  60.             ie_pre_history.append((f"{sentence_with_prompt}",f"{json.dumps(example['answers'], ensure_ascii=False)}"))
  61. print(f'ie_pre_history-->{ie_pre_history}')
  62.  
  63. return{"ie_pre_history":ie_pre_history}
  64.  
  65. init_prompts()

a. 다양한 엔터티 아래에 속성을 정의하는 몇 가지 예시를 제공합니다.

b. 프롬프트를 완성하세요.

c.ie_pre_history에 추가합니다.

다음과 같이 인쇄하십시오.

  1. _type-->金融
  2. example_list-->[{'content':
  3. '2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元
  4. ，随后回落至98美元，最终以102美元收盘，成交量达到520000。','answers':{'日期':
  5. ['2023-01-10'],'股票名称':['古哥-D[EOOE]美股'],'开盘价':['100美元'],
  6. '收盘价':['102美元'],'成交量':['520000']}}]
  7. ********************************************************************************
  8. properties_str-->日期,股票名称,开盘价,收盘价,成交量
  9. schema_str_list-->"金融"(日期,股票名称,开盘价,收盘价,成交量)
  10. sentence_with_prompt-->2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美
  11. 元，一度飙升至105美元，随后回落至98美元，最终以102美元收盘，成交量达到520000。
  12.  
  13. 提取上述句子中"金融"(日期,股票名称,开盘价,收盘价,
  14. 成交量)的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来表
  15. 示，多个值之间用','分隔。
  16. ie_pre_history-->[("现在你需要帮助我完成信息抽取任务，当我给你一个句子时，你需要
  17. 帮我抽取出句子中实体信息，并按照JSON的格式输出，上述句子中没有的信息用['原文中未
  18. 提及']来表示，多个值之间用','分隔。",'好的，请输入您的句子。'),
  19. ('2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元
  20. ，随后回落至98美元，最终以102美元收盘，成交量达到520000。nn提取上述句子中"金融
  21. "(日期, 股票名称, 开盘价, 收盘价, 
  22. 成交量)的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来
  23. 表示，多个值之间用','分隔。','{"日期": ["2023-01-10"], "股票名称": 
  24. ["古哥-D[EOOE]美股"], "开盘价": ["100美元"], "收盘价": ["102美元"], "成交量": 
  25. ["520000"]}')]
2.3.2 추론 함수 정의
  1. def inference(sentences: list,
  2.               custom_settings: dict):
  3. """
  4.     推理函数。
  6.     Args:
  7.         sentences (List[str]): 待抽取的句子。
  8.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
  9.     """
  10. for sentence in sentences:
  11.         cls_res ="金融"
  12. if cls_res notin schema:
  13. print(f'The type model inferenced {cls_res} which is not in schema dict, exited.')
  14.             exit()
  15.         properties_str =', '.join(schema[cls_res])
  16.         schema_str_list =f'"{cls_res}"({properties_str})'
  17.         sentence_with_ie_prompt = IE_PATTERN.format(sentence, schema_str_list)
  18. # print(f'sentence_with_prompt-->{sentence_with_ie_prompt}')
  19.         ie_res, history = model.chat(tokenizer,
  20.                                      sentence_with_ie_prompt,
  21.                                      history=custom_settings["ie_pre_history"])
  22.         ie_res = clean_response(ie_res)
  23. print(f'>>> [bold bright_red]sentence: {sentence}')
  24. print(f'>>> [bold bright_green]inference answer:{ie_res} ')

a. 입력을 정의합니다.

문장 (List[str]) : 추출할 문장입니다. custom_settings (dict): 인위적으로 주어진 몇 장의 예시를 포함한 초기 설정입니다.

b. 카테고리 정의: cls_res = "금융"

카테고리는 여기에 기록되어 있습니다. 카테고리가 여러 개인 경우. 먼저 텍스트 분류를 사용하여 구현한 다음 텍스트 정보를 추출할 수 있습니다.

c. 입력한 문장을 완성하고 model.chat을 호출합니다.

d. 모델 결과에 대한 사후 처리를 수행하고 json 모델을 추출하여 출력합니다.

다음과 같이 인쇄하십시오.

  1. >>> sentence: 
  2. 2023-02-15，寓意吉祥的节日，股票佰笃[BD]美股开盘价10美元，虽然经历了波动，但最终
  3. 以13美元收盘，成交量微幅增加至460,000，投资者情绪较为平稳。
  4. >>> inference answer:{'日期': ['2023-02-15'], '股票名称': ['佰笃[BD]美股'], 
  5. '开盘价': ['10美元'], '收盘价': ['13美元'], '成交量': ['460,000']}
2.3.3 완전한 코드
  1. import re
  2. import json
  3.  
  4.  
  5. from rich importprint
  6. from transformers importAutoTokenizer,AutoModel
  7. import os
  8. os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
  9.  
  10. # 定义不同实体下的具备属性
  11. schema ={
  12. '金融':['日期','股票名称','开盘价','收盘价','成交量'],
  13. }
  14.  
  15. # 信息抽取的模版
  16. IE_PATTERN ="{}nn提取上述句子中{}的实体，并按照JSON格式输出，上述句子中不存在的信息用['原文中未提及']来表示，多个值之间用','分隔。"
  17.  
  18.  
  19. # 提供一些例子供模型参考
  20. ie_examples ={
  21. '金融':[
  22. {
  23. 'content':'2023-01-10，股市震荡。股票古哥-D[EOOE]美股今日开盘价100美元，一度飙升至105美元，随后回落至98美元，最终以102美元收盘，成交量达到520000。',
  24. 'answers':{
  25. '日期':['2023-01-10'],
  26. '股票名称':['古哥-D[EOOE]美股'],
  27. '开盘价':['100美元'],
  28. '收盘价':['102美元'],
  29. '成交量':['520000'],
  30. }
  31. }
  32. ]
  33. }
  34.  
  35. # 定义init_prompts函数
  36. definit_prompts():
  37. """
  38.      初始化前置prompt，便于模型做 incontext learning。
  39.      """
  40.     ie_pre_history =[
  41. (
  42. "现在你需要帮助我完成信息抽取任务，当我给你一个句子时，你需要帮我抽取出句子中实体信息，并按照JSON的格式输出，上述句子中没有的信息用['原文中未提及']来表示，多个值之间用','分隔。",
  43. '好的，请输入您的句子。'
  44. )
  45. ]
  46. for _type, example_list in ie_examples.items():
  47. # print(f'_type-->{_type}')
  48. # print(f'example_list-->{example_list}')
  49. # print(f'*'*80)
  50. for example in example_list:
  51.             sentence = example["content"]
  52.             properties_str =', '.join(schema[_type])
  53. # print(f'properties_str-->{properties_str}')
  54.             schema_str_list =f'"{_type}"({properties_str})'
  55. # print(f'schema_str_list-->{schema_str_list}')
  56.  
  57.             sentence_with_prompt = IE_PATTERN.format(sentence, schema_str_list)
  58. print(f'sentence_with_prompt-->{sentence_with_prompt}')
  59.             ie_pre_history.append((f"{sentence_with_prompt}",f"{json.dumps(example['answers'], ensure_ascii=False)}"))
  60. print(f'ie_pre_history-->{ie_pre_history}')
  61.  
  62. return{"ie_pre_history":ie_pre_history}
  63.  
  64. defclean_response(response: str):
  65. """
  66.     后处理模型输出。
  68.     Args:
  69.         response (str): _description_
  70.     """
  71. if'```json'in response:
  72.         res = re.findall(r'```json(.*?)```', response)
  73. iflen(res)and res[0]:
  74.             response = res[0]
  75.         response = response.replace('、',',')
  76. try:
  77. return json.loads(response)
  78. except:
  79. return response
  80.  
  81. definference(sentences: list,
  82.               custom_settings: dict):
  83. """
  84.     推理函数。
  86.     Args:
  87.         sentences (List[str]): 待抽取的句子。
  88.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
  89.     """
  90. for sentence in sentences:
  91.         cls_res ="金融"
  92. if cls_res notin schema:
  93. print(f'The type model inferenced {cls_res} which is not in schema dict, exited.')
  94.             exit()
  95.         properties_str =', '.join(schema[cls_res])
  96.         schema_str_list =f'"{cls_res}"({properties_str})'
  97.         sentence_with_ie_prompt = IE_PATTERN.format(sentence, schema_str_list)
  98. # print(f'sentence_with_prompt-->{sentence_with_ie_prompt}')
  99.         ie_res, history = model.chat(tokenizer,
  100.                                      sentence_with_ie_prompt,
  101.                                      history=custom_settings["ie_pre_history"])
  102.         ie_res = clean_response(ie_res)
  103. print(f'>>> [bold bright_red]sentence: {sentence}')
  104. print(f'>>> [bold bright_green]inference answer:{ie_res} ')
  105.  
  106.  
  107.  
  108. if __name__ =='__main__':
  109. #device = 'cuda:0'
  110.     device ='cpu'
  111.     tokenizer =AutoTokenizer.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",
  112.                                               trust_remote_code=True)
  113. #model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b",
  114. # trust_remote_code=True).half().cuda()
  115.     model =AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b-int4",
  116.                                       trust_remote_code=True).float()
  117.     model.to(device)
  118.  
  119.     sentences =[
  120. '2023-02-15，寓意吉祥的节日，股票佰笃[BD]美股开盘价10美元，虽然经历了波动，但最终以13美元收盘，成交量微幅增加至460,000，投资者情绪较为平稳。',
  121. '2023-04-05，市场迎来轻松氛围，股票盘古(0021)开盘价23元，尽管经历了波动，但最终以26美元收盘，成交量缩小至310,000，投资者保持观望态度。',
  122. ]
  123.  
  124.     custom_settings = init_prompts()
  125.  
  126.     inference(
  127.         sentences,
  128.         custom_settings
  129.     )

2.4 텍스트 매칭

텍스트 매칭은 제가 이전에 했던 bert를 사용한 프로젝트입니다. 여기서는 주로 신속한 구현을 사용합니다.기본적으로는 위와 동일하므로 자세한 설명은 생략하겠습니다.

전체 코드는 다음과 같습니다.

2.4.1 완전한 코드
  1. from rich importprint
  2. from transformers importAutoTokenizer,AutoModel
  3.  
  4. import os
  5.  
  6.  
  7. # 提供相似，不相似的语义匹配例子
  8. examples ={
  9. '是':[
  10. ('公司ABC发布了季度财报，显示盈利增长。','财报披露，公司ABC利润上升。'),
  11. ],
  12. '不是':[
  13. ('黄金价格下跌，投资者抛售。','外汇市场交易额创下新高。'),
  14. ('央行降息，刺激经济增长。','新能源技术的创新。')
  15. ]
  16. }
  17.  
  18. definit_prompts():
  19. """
  20.     初始化前置prompt，便于模型做 incontext learning。
  21.     """
  22.     pre_history =[
  23. (
  24. '现在你需要帮助我完成文本匹配任务，当我给你两个句子时，你需要回答我这两句话语义是否相似。只需要回答是否相似，不要做多余的回答。',
  25. '好的，我将只回答”是“或”不是“。'
  26. )
  27. ]
  28. for key, sentence_pairs in examples.items():
  29. # print(f'key-->{key}')
  30. # print(f'sentence_pairs-->{sentence_pairs}')
  31. for sentence_pair in sentence_pairs:
  32.             sentence1, sentence2 = sentence_pair
  33. # print(f'sentence1-->{sentence1}')
  34. # print(f'sentence2-->{sentence2}')
  35.             pre_history.append((f'句子一:{sentence1}n句子二:{sentence2}n上面两句话是相似的语义吗？',
  36.                                 key))
  37. return{"pre_history": pre_history}
  38.  
  39. definference(
  40.         sentence_pairs: list,
  41.         custom_settings: dict
  42.     ):
  43. """
  44.     推理函数。
  46.     Args:
  47.         model (transformers.AutoModel): Language Model 模型。
  48.         sentence_pairs (List[str]): 待推理的句子对。
  49.         custom_settings (dict): 初始设定，包含人为给定的 few-shot example。
  50.     """
  51. for sentence_pair in sentence_pairs:
  52.         sentence1, sentence2 = sentence_pair
  53.         sentence_with_prompt =f'句子一: {sentence1}n句子二: {sentence2}n上面两句话是相似的语义吗？'
  54.         response, history = model.chat(tokenizer, sentence_with_prompt, history=custom_settings['pre_history'])
  55. print(f'>>> [bold bright_red]sentence: {sentence_pair}')
  56. print(f'>>> [bold bright_green]inference answer: {response}')
  57. # print(history)
  58.  
  59. if __name__ =='__main__':
  60. #device = 'cuda:0'
  61.     device ='cpu'
  62.     tokenizer =AutoTokenizer.from_pretrained("/Users/ligang/PycharmProjects/llm/ChatGLM-6B/THUDM/chatglm-6b-int4",
  63.                                               trust_remote_code=True)
  64. #model = AutoModel.from_pretrained("./ChatGLM-6B/THUDM/chatglm-6b",
  65. # trust_remote_code=True).half().cuda()
  66.     model =AutoModel.from_pretrained("/Users/ligang/PycharmProjects/llm/ChatGLM-6B/THUDM/chatglm-6b-int4",
  67.                                       trust_remote_code=True).float()
  68.     model.to(device)
  69.  
  70.     sentence_pairs =[
  71. ('股票市场今日大涨，投资者乐观。','持续上涨的市场让投资者感到满意。'),
  72. ('油价大幅下跌，能源公司面临挑战。','未来智能城市的建设趋势愈发明显。'),
  73. ('利率上升，影响房地产市场。','高利率对房地产有一定冲击。'),
  74. ]
  75.  
  76.     custom_settings = init_prompts()
  77.     inference(
  78.         sentence_pairs,
  79.         custom_settings
  80.     )

 

개인 프로필

그는 30년 이상 기술 연구에 전념해 왔으며, java, linux, javascript, php, css 등 다양한 언어에 능숙하며, 오픈 소스 분야에 많은 공헌을 했습니다. 나중에 참조할 수 있도록 기술 개발의 일부 문제를 공유하는 개발자 문서 스테이션입니다.

내 연락처 정보

우편