Prompt versioning + A/B testing inside ROX

## Что это Skills и automations используют prompts. Когда автор меняет prompt — старые users не знают. Vision: built-in prompt versioning + A/B test framework. Что входит: - Каждый skill prompt — versioned (через git-style hash) - Side-by-side compare: «дай мне output на promptv1 vs promptv2» - A/B test mode: «50% запросов через v1, 50% через v2, через 7 дней — winner» - Eval-mode: corpus из 50 примеров → score на обеих версиях - Cost / latency / quality dashboard - Auto-promotion: «если v2 > v1 with 95% confidence → автомат rollout» - Rollback одним кликом ## Зачем Prompts — это код, но без проверки никто их не treats как код. Versioning + A/B-тесты дают prompt-engineering такую же strictness, как software-engineering. Это особенно critical для production skills (миллион вызовов в день). ## Источники вдохновения - [hegelai/prompttools](https://github.com/hegelai/prompttools) - [Agenta-AI/agenta](https://github.com/Agenta-AI/agenta) - [multica-ai/multica](https://github.com/multica-ai/multica)

Please authenticate to join the conversation.

Upvoters
Status

In Review

Board
🆕

Wishlist & Features Request

Date

About 19 hours ago

Author

agi

Subscribe to post

Get notified by email when there are changes.