Фідбек після кількох місяців використання Тестомату

[olena-palii]

Привіт!

Хочу поділитися своїм досвідом використання за останні кілька місяців на роботі. Це не класичний баг-репорт, а радше узагальнений фідбек про стабільність продукту. Зараз ми змушені обходити частину його функціоналу та покладатися на CI/локальні інструменти замість нього.

1. Синхронізація тестів між repo і Тестоматом

• При великій кількості тестів (1000+) виникають серверні помилки, і доводиться синкати репозиторій частинами (така порада від сапорту). Через це фіча з detached-тестами фактично не підходить для використання в нашому випадку.
• Нам довелося відмовитися від ідеї мати різну структуру тест-кейсів і автотестів, бо коли трапляються помилки, зручніше зробити purge для ID і засинкати заново, ніж фіксити проблеми вручну. Навіть вказати вкладену папку як головну не вийшло, бо ця фіча не працює.
• Також були проблеми з test aliases і .failed тестами для Playwright — у підсумку нам було простіше змінити свій проєкт, ніж репортити і чекати на можливі фікси.
• Кількість тестів у папці та фактична кількість тестів, що відображається в дереві й на панелі справа, можуть відрізнятися. Потрібно чекати добу: іноді за цей час дані оновлюються, а іноді — ні; наприклад, можуть не враховуватися automated tests без description.

Таким чином ми підлаштовуєм проект під Тестомат і обходим баги як можем, але доводиться жертвувати фічами.

2. Запуск тестів через Тестомат

• Не завжди є впевненість, що ран буде коректно затригерений або що будуть передані правильні ID. Іноді це залежить від контексту запуску (наприклад, relaunch), і складно передбачити, коли саме виникне проблема.
• Періодично треба зробити запуск по неповному тегу, наприклад @smoke, який включає всі @smokeUI, @smokeAPI тести, що неможливо з Тестомату якщо я не хочу перераховувати всі теги вручну і контролювати, що цей список актуальний.

Тому наразі ми уникаємо запусків через Тестомат і використовуємо локальні або CI-запуски.

3. Результати тест-ранів

• Інколи частина тестів може «зникати» або з’являтися із затримкою.
• Раніше були проблеми із закриттям ранів і зі статистикою часу виконання.
• У певні дні (середа, четвер) можуть виникати проблеми з доступністю сайту.

Через це ми додатково покладаємося на стандартний Playwright-репорт як більш надійне джерело результатів.

4. Історія тест-ранів

• Usability: потрібно постійно скидати фільтри по папці в історії ранів для тесту, незручна навігація між тестами в рані і результатами теста в різних ранах.
• Час від часу некоректний порядок при порівнянні ранів (не в порядку запуску).
• Optimistic, realistic, pessimistic вердикт для папки не працює надійно, бо там не завжди враховуються всі рани і тести, тому я не можу довіряти вердикту без ручної перевірки.

Це частина продукту, яку ми використовуємо часто і вручну, а не через скріпти, тому її зручність важлива.

---

Це лише вершина айсбергу, з чим стикаюсь найчастіше і що болить найбільше. Я дуже хотіла б мати можливість покладатися на Тестомат як на стабільний інструмент у щоденній роботі, але зараз мій досвід можна описати як

• Пошуки обхідних шляхів
• Набивання шишок і вивчення які фічі робочі, а яких краще уникати
• Уникання використання Тестомату без потреби

Також хочу підсвітити, що через кількість проблем у мене немає можливості якісно відтворювати і оформлювати кожен баг. У поточному вигляді це потребує занадто багато часу і ресурсів з боку користувача. І у вас чудовий сапорт, але він працює з наслідками, а не причинами цієї ситуації.

Сподіваюсь, що цей фідбек буде корисним, не хотіла залишати його на сайті з відгуками, куди мене посилав банер на сайті, бо не хочу відлякувати потенційних користувачів, я лише хочу покращень.
Дякую!