レスポンスのストリーミング
备注
このページでは、低レベル LLM API によるレスポンスのストリーミングについて説明します。 高レベル LLM API については AI Services を参照してください。
LLM は一度に 1 トークンずつテキストを生成するため、多くの LLM プロバイダーは、 テキスト全体の生成を待たずにトークン単位でレスポンスをストリームする手段を提供しています。 これによりユーザー体験が大きく向上します。ユーザーは不明な時間を待つ必要がなく、 ほぼ即座にレスポンスの読み取りを開始できます。
ChatModel および LanguageModel インターフェースに対応して、
StreamingChatModel および StreamingLanguageModel インターフェースがあります。
API は似ていますが、レスポンスをストリームできます。
引数として StreamingChatResponseHandler インターフェースの実装を受け取ります。
public interface StreamingChatResponseHandler {
default void onPartialResponse(String partialResponse) {}
default void onPartialResponse(PartialResponse partialResponse, PartialResponseContext context) {}
default void onPartialThinking(PartialThinking partialThinking) {}
default void onPartialThinking(PartialThinking partialThinking, PartialThinkingContext context) {}
default void onPartialToolCall(PartialToolCall partialToolCall) {}
default void onPartialToolCall(PartialToolCall partialToolCall, PartialToolCallContext context) {}
default void onCompleteToolCall(CompleteToolCall completeToolCall) {}
default void onUnmappedRawEvent(Object rawEvent) {}
void onCompleteResponse(ChatResponse completeResponse);
void onError(Throwable error);
}
StreamingChatResponseHandler を実装することで、次のイベントに対する処理を定義できます:
- 次の部分テキストレスポンスが生成されたとき:
onPartialResponse(String)またはonPartialResponse(PartialResponse, PartialResponseContext)が呼び出されます(いずれかを実装すれば十分です)。 LLM プロバイダーによっては、部分レスポンスのテキスト は 1 つ以上のトークンで構成されます。 たとえば、トークンが利用可能になり次第、UI に直接送信できます。 - 次の部分的な思考/推論テキストが生成されたとき:
onPartialThinking(PartialThinking)またはonPartialThinking(PartialThinking, PartialThinkingContext)が呼び出されます(いずれかを実装すれば十分です)。 LLM プロバイダーによっては、部分的な思考テキストは 1 つ以上のトークンで構成されます。 - 次の部分的なツール呼び出しが生成されたとき:
onPartialToolCall(PartialToolCall)またはonPartialToolCall(PartialToolCall, PartialToolCallContext)が呼び出されます(いずれかを実装すれば十分です)。 - LLM が単一のツール呼び出しのストリーミングを完了したとき:
onCompleteToolCall(CompleteToolCall)が呼び出されます。 - プロバイダーが上記の型付きコールバックのいずれにもまだ公開されていない生のストリーミングイベントを発行したとき:
onUnmappedRawEvent(Object)が呼び出されます。下記の未マッピングの生イベントを参照してください。 - LLM が生成を完了したとき:
onCompleteResponse(ChatResponse)が呼び出されます。ChatResponseオブジェクトには完全なレスポンス(AiMessage)およびChatResponseMetadataが含まれます。 - エラーが発生したとき:
onError(Throwable error)が呼び出されます。
以下は StreamingChatModel でストリーミングを実装する例です:
StreamingChatModel model = OpenAiStreamingChatModel.builder()
.apiKey(System.getenv("OPENAI_API_KEY"))
.modelName(GPT_4_O_MINI)
.build();
String userMessage = "Tell me a joke";
model.chat(userMessage, new StreamingChatResponseHandler() {
@Override
public void onPartialResponse(String partialResponse) {
System.out.println("onPartialResponse: " + partialResponse);
}
@Override
public void onPartialThinking(PartialThinking partialThinking) {
System.out.println("onPartialThinking: " + partialThinking);
}
@Override
public void onPartialToolCall(PartialToolCall partialToolCall) {
System.out.println("onPartialToolCall: " + partialToolCall);
}
@Override
public void onCompleteToolCall(CompleteToolCall completeToolCall) {
System.out.println("onCompleteToolCall: " + completeToolCall);
}
@Override
public void onCompleteResponse(ChatResponse completeResponse) {
System.out.println("onCompleteResponse: " + completeResponse);
}
@Override
public void onError(Throwable error) {
error.printStackTrace();
}
});