技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

チャットメモリーの紹介

チャットメモリこれはチャット メモリと呼ばれるもので、ユーザーと大規模モデルの間の会話履歴が保存され、大規模モデルはこれらの会話履歴を使用してユーザーが最近言ったこととその意味を理解できます。

ただし、会話履歴をチャット メモリに保存し続けると、必要なストレージ容量がどんどん大きくなっていきます。そのため、ChatMemory はウィンドウ制限、削除メカニズム、永続化メカニズムなどの拡張機能もサポートしています。

---

ChatMemory は、デフォルトで 2 つの実装クラスを提供するインターフェイスです。

• メッセージウィンドウチャットメモリ

コレクションのサイズに応じて、古いメッセージは削除されます。スライディングウィンドウとして、 N 最新のニュースを収集し、適合しなくなった古いニュースを排除します。ただし、各メッセージには異なる数のトークンを含めることができるため、MessageWindowChatMemory ラピッドプロトタイピングに非常に便利です。

• トークンウィンドウチャットメモリ

トークンのサイズに応じて、古いメッセージが削除されます。スライディングウィンドウとしても動作しますが、保持することに重点を置いています。 N 最新のトークンを取得し、必要に応じて古いメッセージを削除します。情報は分割不可能です。メッセージが適切でない場合は、完全に削除されます。 TokenWindowChatMemory にはTokenizer それぞれを計算するChatMessage のトークン。

---

TokenWindowChatMemory と MessageWindowChatMemory の違い

TokenWindowChatMemory は MessageWindowChatMemory と似ていますが、MessageWindowChatMemory は List を直接取得する方法が異なります。<ChatMessage>サイズ、TokenWindowChatMemory は指定された Tokenizer を使用して、<ChatMessage>対応するトークンの数が推定され、設定された maxTokens と比較され、その数が maxTokens を超えた場合は削除され、最も古い ChatMessage も削除されます。

Tokenizer はデフォルトで提供されるインターフェイスであり、多くの大規模なモデルの ChatMessage API が使用するトークンの数に基づいて課金されるようにするために使用されます。 TokenWindowChatMemory は、セッションで使用されるトークンの総数を制御するために使用されます。

どちらの実装クラスも内部に ChatMemoryStore 属性を持ちます。ChatMemoryStore もデフォルトで InMemoryChatMemoryStore 実装クラスがあります。時間の経過とともに、SQL データベースやドキュメント ストアなどの一般的なストアにすぐに使える実装が追加される予定です。その間、このインターフェイスを実装して、選択したストレージに接続できます。

---

事例演習

ケース 1: ChatMemory に基づいて人気のあるネーミング マスターを作成する

public class NameDemo {
 
    interface NamingMaster {
        String talk(String desc);
    }
    public static void main(String[] args) {
        ChatLanguageModel chatModel = ZhipuAiChatModel.builder()
                .apiKey("智普apikey")
                .build();
        ChatMemory chatMemory = MessageWindowChatMemory.withMaxMessages(10);
 
        NamingMaster namingMaster = AiServices.builder(NamingMaster.class)
                .chatLanguageModel(chatModel)
                .chatMemory(chatMemory)
                .build();
 
        System.out.println(namingMaster.talk("我姓李，帮我取一个好听的女孩名字，就一个你觉得最好的"));
        System.out.println("---");
        System.out.println(namingMaster.talk("换一个"));
    }
}

ケース 2: ChatMemoryStore をカスタマイズして ChatMessage をディスクに保存する

Maven の依存関係を導入する

<dependency>
	<groupId>org.mapdb</groupId>
	<artifactId>mapdb</artifactId>
	<version>3.0.9</version>
	<exclusions>
		<exclusion>
			<groupId>org.jetbrains.kotlin</groupId>
			<artifactId>kotlin-stdlib</artifactId>
		</exclusion>
	</exclusions>
</dependency>

 ChatMemoryStore をカスタマイズして永続的なストレージを実現する

public class PersistentChatMemoryStore implements ChatMemoryStore {
 
	private final DB db = DBMaker.fileDB("chat-memory.db").transactionEnable().make();
	private final Map<String, String> map = db.hashMap("messages", Serializer.STRING, Serializer.STRING).createOrOpen();
 
	@Override
	public List<ChatMessage> getMessages(Object memoryId) {
		String json = map.get((String) memoryId);
		return ChatMessageDeserializer.messagesFromJson(json);
	}
 
	@Override
	public void updateMessages(Object memoryId, List<ChatMessage> messages) {
		String json = ChatMessageSerializer.messagesToJson(messages);
		map.put((String) memoryId, json);
		db.commit();
	}
 
	@Override
	public void deleteMessages(Object memoryId) {
		map.remove((String) memoryId);
		db.commit();
	}
}

  コードのテスト

public class PersistentDemo {
 
    interface NamingMaster {
        String talk(String desc);
    }
    public static void main(String[] args) {
         ChatLanguageModel chatModel = ZhipuAiChatModel.builder()
                .apiKey("智普apikey")
                .build();
 
        ChatMemory chatMemory = MessageWindowChatMemory.builder()
                .chatMemoryStore(new PersistentChatMemoryStore())
                .maxMessages(10)
                .build();
 
       NamingMaster namingMaster = AiServices.builder(NamingMaster.class)
                .chatLanguageModel(chatModel)
                .chatMemory(chatMemory)
                .build();
 
        System.out.println(namingMaster.talk("我姓李，帮我取一个好听的女孩名字，就一个你觉得最好的"));
        System.out.println("---");
        System.out.println(namingMaster.talk("换一个"));
    }
}

ケース 3: チャット記録をユーザーごとに個別に保存する

public class NameDemo {
 
    interface NamingMaster {
        String talk(@MemoryId Integer userId, @UserMessage String desc);
    }
 
    public static void main(String[] args) {
        ChatLanguageModel chatModel = ZhipuAiChatModel.builder()
                .apiKey("智普apikey")
                .build();
 
        NamingMaster namingMaster = AiServices.builder(NamingMaster.class)
                .chatLanguageModel(chatModel)
                .chatMemoryProvider(userId ->  MessageWindowChatMemory.withMaxMessages(10))
                .build();
 
        System.out.println(namingMaster.talk(1, "我姓李，帮我取一个好听的女孩名字，就一个你觉得最好的"));
        System.out.println("---");
        System.out.println(namingMaster.talk(2, "我姓赵，帮我取一个好听的男孩名字，就一个你觉得最好的"));
        System.out.println("---");
        System.out.println(namingMaster.talk(1, "换一个"));
    }
}