Формы из списка исключений не должны трактоваться как пропущенные тесты

[kuntashov]

В последних версиях дымовых тестов проверки форм, попадающих под исключения трактуются как пропущенные тесты (желтая полоса) и отображаются в браузере тестов (а при запуске из ком. строки попадают в отчет о тестировании).

Это очень не удобно: лишняя информация в интерактивном режиме, желтый статус теста при запуске на CI, хотя на самом деле я ЯВНО исключил проверку формы.

Предлагаю по умолчанию такое поведение отключить: проверки форм из исключений не должны отображаться в браузере тестов и не должны попадать в отчет о тестировании вообще, как будто их нет вовсе (на то и исключения).

Для тех, кому нужно видеть такие проверки пропущенными предлагаю добавить настройку ТрактоватьИсключенныеТестыКакПропущенные (булево). По умолчанию (и в случае отсутствия в файле) - false. Т.е. тесты в браузере не отображаются. Если значение true, то поведение будет как сейчас.

[kuntashov]

@artbear что думаешь?
Ты вообще помнишь, кто этот функционал добавил? Какая была мотивация?

[artbear]

Не согласен.
Добавлял я,
Специально для того, чтобы было понимание о том, что какие-то возможности мы явно пропустили.
Чтобы не пропадало то, что указано в исключениях.
Иначе была ситуация - отключили какую-то форму и все, про нее практически забывали :(

Если тебе сильно нужно, сделай спец. настройку УбиратьИсключенныеТестыИзСпискаТестов

[kuntashov]

Иначе была ситуация - отключили какую-то форму и все, про нее практически забывали :(

А для чего тогда исключения нужны?

Мне исключение форм из проверок нужны для настройки тестирования конкретной конфигурации: забыть форму, насчет которой принято решение - не тестировать в данном проекте (т.к. не используется или невозможно протестировать, а доработка только для целей тестирования нецелесообразна, т.к. данная форма остается типовой).

Например, когда в БП ведется включен режим учета ЗП "в другой программе", то формы зарплатных документов не надо проверять: они не будут открываться, этот функционал не будет дорабатываться.

Но из-за текущего поведения эти проверки всегда будут светиться желтым и отвлекать от реально желтых ситуаций.

Второй пример - документы из подсистемы для электронного документооборота с налоговыми органами (ЭДО). Если подсистема не используется они всегда светятся желтым, а это десяток документов и справочников + по 2-4 формы в каждом, это порядка 50 желтых тестовых случаев. Их в настоящий момент по крайней мере в обычных формах дымовыми тестами не проверить (сама форма документа не открывается, там все формы на формах обработок сделаны).

Исключения будут во всех конфигурациях, а поэтому в текущей реализации дымовые тесты всегда будут желтыми, это не правильно, т.к. дезинформирует.

Если тебе сильно нужно, сделай спец. настройку УбиратьИсключенныеТестыИзСпискаТестов

Себе и так сделал, потому что иначе пользоваться невозможно: ошибки исправляются, тесты проходят, а результат все равно всегда желтый - это не правильное поведение, т.к. невозможно по отчету в итоге понять, изменилось ли состояние после доработок в положительную сторону или нет.

[artbear]

Да, я понимаю твои резоны и частично с ними согласен.
Думается мне, что настройка УбиратьИсключенныеТестыИзСпискаТестов позволит разрулить эту проблему.
Жду PR :)

[1cgh]

Согласен с @kuntashov, и настройка скорее должна быть ОтображатьИсключенныеТестыКакПропущенные
Т.е. дефолтным поведением должно быть, когда исключенные тесты НЕ показываются, как пропущенные.

[Ndochp]

Скорее надо 2 списка, так как фактически надо не одному человеку так, а другому иначе, а одни формы так, другие иначе. (ну или настройка на каждую строку исключения) С уважением, Неумойчев Дмитрий 15 декабря 2017 г., 12:47 пользователь Nenashev Anatoliy < notifications@github.com> написал:

…

Согласен с @kuntashov <https://github.com/kuntashov>, и настройка скорее должна быть ОтображатьИсключенныеТестыКакПропущенные Т.е. дефолтным поведением должно быть, когда исключенные тесты НЕ показываются, как пропущенные. — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#770 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AHGECVUeqVpqVcJsS0rFIDu9eRLkeG6jks5tAkBIgaJpZM4RCvmG> .

[kuntashov]

Скорее надо 2 списка

Что имеете в виду под "два списка"?

так как фактически надо не одному человеку так, а другому иначе

Смысл фразы не понятен. Можете пояснить?

одни формы так, другие иначе

В каких случаях может потребоваться одни формы из исключений показывать желтым цветом, а другие - скрывать? Можете привести пример из вашей практики, когда такое нужно было?

[Ndochp]

Я разрабатываю АРМ в рамках ЕРП. Соответственно, в разработку попадает сам АРМ и пяток связанных форм выбора, подбора, контроля. Все эти формы скорее всего не должны попадать в исключения, и к моменту окончания разработки они должны будут стать зелёными. Но пока я их не реализовал, они должны желтеть. С другой стороны, в нашей славной ЕРП есть куча типовых форм, которые упадут на дымовом тесте, и это меня устраивает. Они должны быть полностью пропущены. С уважением, Неумойчев Дмитрий 15 декабря 2017 г., 13:39 пользователь Alexander Kuntashov < notifications@github.com> написал:

…

Скорее надо 2 списка Что имеете в виду под "два списка"? так как фактически надо не одному человеку так, а другому иначе Смысл фразы не понятен. Можете пояснить? одни формы так, другие иначе В каких случаях может потребоваться одни формы из исключений показывать желтым цветом, а другие - скрывать? Можете привести пример из вашей практики, когда такое нужно было? — You are receiving this because you commented. Reply to this email directly, view it on GitHub <#770 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/AHGECfgQsmYCORwc3A0G4pLzCYhzK8u0ks5tAkxZgaJpZM4RCvmG> .

[kuntashov]

@Ndochp спасибо! Хороший кейс.