Human in the loopサンプルの実装

[07JP27]

Human in the loop（人間の承認）の処理（UIサンプル含む）を実装する。
サンプルはホテルの予約がゴールになるため、ホテル予約前に予約情報を列挙して本当に予約して良いかを聞くような形がよい？

現時点で想定している処理の流れアイディア

• AgentDecider推論時のAgent(Tool)の１つとして「Human approval」を追加
• 人間の承認が必要な場合はAgentDeciderが「Human approval」を選択するように変更（プロンプト調整）
• Human approvalが呼び出された時にはオーケストレーターがクライアントに返す（UIとのインターフェースを要検討）
• UIは承認ボタンを表示or修正が必要な場合はフィードバックするようなUIコンポーネントを表示
• UIは結果を会話履歴に入れてAPIへ返す
• 承認なら処理を継続、フィードバックがあれば再度修正してHuman approvalを呼び出す（プロンプト調整）

[07JP27]

@runceel @torumakabe
何かご意見があれば（特にUIとAPIのインターフェース）いただけますとー

[torumakabe]

いまのワークフローだと、承認Agentを追加してDeciderに判断させるというアイデアは実装しやすいと思います。ですが、他Agentの出力をDeciderは評価できないので、人間の承認が必要かどうかは、ユーザーからの入力の内容だけで判断、ということになるでしょうか。ユーザーからの入力だけで判断するプロンプトを書くのが難しそうに感じました。

いまの機能分担を変えられるのであれば、Synthesizerの中かその前に承認の要否を判断するGateタスクを入れる、ってデザインもありそうです。このサンプルの価値であるシンプルさが失われてしまう、という懸念はありますが。

[runceel]

ホテル予約前に OK, Cancel を仕込むのって結構めんどくさいですね…。
ホテル予約の Activity みたいな承認が伴うものはサブオーケストレーターにすればロジックの途中でいったん止めてとかできますけど、ちょっと複雑になっちゃいますね…。

[runceel]

例えば「ホテルをXXXXで予約していいですか？」という Human in the loop のルートに入った後に利用者が「あ、やっぱ沖縄の情報も出して」って言われたときとかに対応するのまで考えるとすごく対応が大変そう打と思いました。
Human in the loop の方に入ったら、必ず OK, Cancel をユーザーが選択しないといけないっていう縛りを設ければまだマシな感じで作れそうな気がします。

[runceel]

処理の流れ（Functions側だけ）のイメージ。追加部分の方が既存より大きそう。

なので、この機能を実装するには毎回手で動かして確認する今の状態だと限界が来るので Azure Functions 側の単体テストの整備を先にやることが必須だと思います。