Нужно как то мерить эффективность флоу относительно версий промтов.

[ivan-hilckov]

так как результат работы модели не детерминирован надо поянть как можно измерить результативность флоу

условно мы пиешем промты для наших базовых задач
чот в них меняем
и понять что результат не очень можем только если прокрутим это на своих задачах

кроме того этот результат "не очень" может быть от разных часте промта

надо как то уметь вычислять на базовых сченария что наш флоу стал лучше или хуже после внесения изменеий
надо как то уметь трекать точку в изменениях что бы понимить что конкретно поменялось и от этого стало хуже лучше.