Всё хорошее когда-нибудь заканчивается, пора завершать и наш тест-драйв. А что нужно сделать в конце любого дела? Правильно, написать отчёт. А в нашем случае – протестировать его.
Правил и принципов тестирования отчётов, по сравнению с другими объектами системы, меньше всего. Но это не потому, что они такие простые и лёгкие – всё ровно наоборот, сложно выделить жёсткий и неизменный перечень необходимых и достаточных проверок, потому как:
отчёты содержат максимум «свободного» контента, который может компоноваться в различных сочетаниях. Количество комбинаций при этом может быть настолько велико, что полноценная проверка неосуществима чисто физически;
отчёты могут строиться в различных приложениях-редакторах, каждый из которых может накладывать свои ограничения;
отчёты, по моему мнению, являются наиболее критичным объектом системы в части требований к быстродействию.
Входные данные и правила тестирования
В качестве входных данных для тестирования будем рассматривать:
систему DIRECTUM с доступом к тестируемому отчёту;
проектную документацию, содержащую описание отчёта;
достаточное количество тестовых данных, используемых для наполнения отчёта.
При этом в случае проверки текстового контента, не рекомендуется использовать наполнение вида «тест» или «ыдлвоадшыдвлаытдйцук», т.к. это не выявит возможных проблем с форматированием. Старайтесь отталкиваться от реальных данных, используйте большие объёмы текста, разбивая их на абзацы, маркированные списки, нумерацию, таблицы – всё, что может содержаться в тестируемом отчёте в реальных условиях;
максимально приближенные к реальному использованию настройки системы.
Ну и традиционное правило: построение отчётов следует осуществлять исключительно имитацией работы пользователей, посредством подключения к базе под их учётными записями. Тестирование с привилегиями администратора категорически не рекомендуется.
Проверки, выполняемые при тестировании отчёта
Запуск отчёта
Проверяем доступность отчёта для запуска требуемым пользователям / группам пользователей. Помним, что отчёты могут быть аналитическими и интегрированными, что влияет на способ их запуска и принцип назначения прав доступа.
Проверяем запуск отчёта в случае использования спецсимволов в логинепользователя. Например, отчёт может быть уязвим к точкам в логинах.
Проверяем запуск отчёта при отсутствии отчётных данных. Эта ситуация может обрабатываться как выдачей корректного пользовательского сообщения, так и недоступностью отчёта, как такового.
Проверяем параметры отчёта. Количество и характеристики запрашиваемых параметров проверяются по аналогии с типовыми маршрутами. По кнопке OK продолжается построение отчёта, с учётом указанных значений, по кнопке Отмена прекращается построение отчёта.
Проверяем скорость построения отчёта. Проектная документация редко содержит в себе чёткие требования на этот счёт, но опытный консультант способен оценить соответствие объёма данных отчёта длительности его построения. В случае обоснованно длительного построения проверяем наличие и корректную визуализацию полосы прогресса.
Для несохраняемых отчётов проверяем повторный запуск, не закрывая предыдущий построенный отчёт. При отсутствии необходимости сохранения отчёта в системе DIRECTUM, в большинстве случаев он сохраняется во временных директориях Windows для отображения пользователю. Таким образом, при повторном построении занятость временного файла отчёта должна отрабатывать корректно.
Для сохраняемых отчётов проверяем корректное сохранение и пересохранение документа. Так, например, при повторном построении система может запрашивать действие – открыть существующий отчёт или построить его заново; перезаписать существующий документ или создать новую версию; и т.д.
Проверяем завершение процесса приложения-редактора после закрытия построенного отчёта.
Содержание отчёта
Проверяем структуру отчёта, полноту и соответствие выводимой информации исходным данным в объектах-источниках, а также запрашиваемым параметрам.
Проверяем корректность обработки и компоновки данных в случае отсутствия части из них – не должно быть лишних пробелов, абзацев, пустот, ошибок обработки данных.
Проверяем корректность обработки отсутствия данных в полях типа «Дата». В ряде случаев, если в объекте-источнике дата не заполнена, отчёт может выводить 30.12.1899.
Проверяем работоспособность гиперссылок в отчёте.
Проверяем корректность подстановок в отчёт персон / пользователей / работников / контактных лиц, особенно в случае необходимости склонения их ФИО и/или должностей.
Проверяем корректность подсчётов, ведущихся в рамках отчёта, например количество присутствующих и отсутствующих участников заседания, указываемое в протоколе.
Проверяем условно-постоянный контент отчёта. Таким контентом могут быть блоки текста, содержащиеся в шаблоне отчёта по умолчанию. Такой текст не должен содержать ошибок и опечаток, а также должен совпадать с образцами, предоставленными Заказчиком.
Проверяем корректность структуры отчёта при наличии в контенте отчёта символа «;». Данный символ используется по умолчанию в разработке для разделения контента, что может повлиять на корректность отображения содержимого отчёта.
Форматирование отчёта
Проверяем форматирование отчёта: приложение-редактор, параметры и количество страниц, форматирование контента (шрифты, начертание, цвет, выравнивание, отступы и т.д.)
Проверяем корректность разметки отчёта для печати без необходимости дополнительных действий со стороны пользователя.
Проверяем неизменность форматирования отчёта в случае объёмного контента, корректное масштабирование отчёта или перенос по страницам. Дополнительно необходимо учитывать ограничение MS Excel на максимально возможное количество символов для ячейки.
Проверяем неизменность форматирования отчёта в случае использования различных версий ПО: MS Office или прочих приложений-редакторов.
Красивых, правильных и быстрых вам отчётов.
А цикл «Тест-драйв» на этом заканчивается. Надеюсь, мои материалы помогли вам обрести новые или структурировать имеющиеся знания об особенностях объектов системы DIRECTUM и тонкостях их тестирования.
Спасибо и до новых встреч на просторах DIRECTUM Club
Спасибо, Валя, материал как всегда полезен и информативен. Теперь лично мой процесс тестирования будет более последовательным и логичным ))))) Единственное на что хочется обратить внимание:
достаточное количество тестовых данных, используемых для наполнения отчёта
с этим пунктом очень часто возникают проблемы. Достаточно сложно оценить "достаточное количество" - это сколько? и зачастую баги, связанные именно с тестовыми данными, отлавливаются уже в рамках опытной эксплуатации.
с этим пунктом очень часто возникают проблемы. Достаточно сложно оценить "достаточное количество" - это сколько? и зачастую баги, связанные именно с тестовыми данными, отлавливаются уже в рамках опытной эксплуатации.
Всё верно, Наташ, это одна из тех особенностей отчётов, которая не позволяет установить чёткие и конкретные рамки и принципы его тестирования. Здесь очень многое зависит от опыта и настойчивости тестирующего.
Если отчёт собирает данные по ЗЗУ того или иного ТМ-а, я стараюсь создать не менее десятка задач, если речь идёт о достаточно простом ТМ-е, и несколько десятков - если о сложном. При этом обязательно несколько задач должны идти по абсолютно разным веткам, несколько
- по одинаковым, некоторые должны быть прекращены, некоторые рестартованы/возобновлены и т.д.
Если отчёт компонует блоки текстов, рекомендации уже даны в самой статье - не лениться брать большие объёмы текста, использовать разное форматирование, обеспечивать вариативность включения тех или иных блоков, проверяя корректность обработки отсутствующих
данных.
Если отчёт что-то считает, нужно продумать возможные комбинации подсчётов с обязательными "пустотами". Особенно, если отчёт считает людей - здесь очень хорошо нужно помнить о том, что я озвучивала
в самом первом материале цикла в части соотношений пользователей и работников. В процессе тестирования "считающих" отчётов зачастую хорошо вскрываются недостатки проектирования,
когда объекты системы разработаны так, что, допустим, возможно деление на ноль (реквизит необязателен или нет ограничений по вводимым значениям).
Хорошо, когда в компании уже есть образец того, что мы должны повторить, тогда реальные условия воспроизвести намного проще. Но если образца нет - здесь только опыт, практика и фантазия. Зачастую - нездоровая
Спасибо, Валя, материал как всегда полезен и информативен. Теперь лично мой процесс тестирования будет более последовательным и логичным ))))) Единственное на что хочется обратить внимание:
с этим пунктом очень часто возникают проблемы. Достаточно сложно оценить "достаточное количество" - это сколько? и зачастую баги, связанные именно с тестовыми данными, отлавливаются уже в рамках опытной эксплуатации.
Всё верно, Наташ, это одна из тех особенностей отчётов, которая не позволяет установить чёткие и конкретные рамки и принципы его тестирования. Здесь очень многое зависит от опыта и настойчивости тестирующего.
Если отчёт собирает данные по ЗЗУ того или иного ТМ-а, я стараюсь создать не менее десятка задач, если речь идёт о достаточно простом ТМ-е, и несколько десятков - если о сложном. При этом обязательно несколько задач должны идти по абсолютно разным веткам, несколько - по одинаковым, некоторые должны быть прекращены, некоторые рестартованы/возобновлены и т.д.
Если отчёт компонует блоки текстов, рекомендации уже даны в самой статье - не лениться брать большие объёмы текста, использовать разное форматирование, обеспечивать вариативность включения тех или иных блоков, проверяя корректность обработки отсутствующих данных.
Если отчёт что-то считает, нужно продумать возможные комбинации подсчётов с обязательными "пустотами". Особенно, если отчёт считает людей - здесь очень хорошо нужно помнить о том, что я озвучивала в самом первом материале цикла в части соотношений пользователей и работников. В процессе тестирования "считающих" отчётов зачастую хорошо вскрываются недостатки проектирования, когда объекты системы разработаны так, что, допустим, возможно деление на ноль (реквизит необязателен или нет ограничений по вводимым значениям).
Хорошо, когда в компании уже есть образец того, что мы должны повторить, тогда реальные условия воспроизвести намного проще. Но если образца нет - здесь только опыт, практика и фантазия. Зачастую - нездоровая
Авторизуйтесь, чтобы написать комментарий