- план тестирования или технические требования (спецификацию) к тестированию, содержащие контрольные примеры (для каждого контрольного примера указаны его цели, см. 2.6);
- все результаты, связанные с контрольными примерами, включая все ошибки, выявленные при выполнении теста;
- штат персонала, вовлеченного в тестирование.
В отчете о тестировании должны быть суммированы цели и результаты тестирования (описанные в протоколах тестирования для каждого теста). Отчет о тестировании должен иметь следующую структуру.
1 Обозначение продукта.
2 Вычислительные системы, использованные при тестировании (технические средства, программные средства и их конфигурация).
3 Использованные документы (включая их обозначения).
4 Результаты тестирования описания продукта, документации пользователя, программ и данных.
5 Перечень несоответствий требованиям.
6 Либо перечень несоответствий рекомендациям, либо перечень не учтенных в продукте рекомендаций, либо формулировка того, что продукт не был протестирован на соответствие рекомендациям.
7 Дата окончания тестирования.
8 раздел 4 отчета о тестировании (Результаты тестирования) должны быть включены формулировки, соответствующие наименованию каждого пункта 3.1-4.2.
В разделе 6 отчета о тестировании дополнительно к формулировке, что продукт не был протестирован на соответствие рекомендациям, может быть приведен перечень замеченных несоответствий рекомендациям.
Обозначение отчета о тестировании (испытательная лаборатория, обозначение продукта, дата выпуска отчета о тестировании) и общее число его страниц должны проставляться на каждой странице отчета о тестировании. Отчет о тестировании должен включать:
- формулировку, что результаты тестирования относятся только к протестированным компонентам продукта;
- формулировку, что полная копия отчета о тестировании не может быть изготовлена без письменного разрешения соответствующей испытательной лаборатории (Руководство ИСО/МЭК 25 [6]).
Отчет о тестировании должен соответствовать положениям Руководства ИСО/МЭК 25 [6], относящимся к отчетам о тестировании.
4.5 Дополнительное тестирование
Когда продукт, который уже был протестирован, тестируется повторно (с учетом результатов предыдущего тестирования), тогда:
- все измененные части документов, функций и данных должны быть протестированы как новый продукт;
- все неизмененные части, на которые могут влиять измененные части или изменения в необходимой системе (в соответствии с опытной оценкой тестировщика), должны быть протестированы как новый продукт;
- все другие части должны быть по крайней мере выборочно протестированы.
ПРИЛОЖЕНИЕ А (справочное)
Определения из других нормативных документов
В настоящем приложении приведены некоторые термины и определения, используемые в настоящем стандарте, но описанные в других нормативных документах. К моменту публикации настоящего стандарта действуют редакции нормативных документов, указанные в приложении С.
А.1.1 программное средство (software): Все или часть программ, процедур, правил и любой соответствующей документации системы обработки информации. (ИСО/МЭК 2382-1 [30], без примечания).
А.1.2 пакет программ (software package): Полный и документально оформленный набор программ, поставляемый отдельным пользователям для реализации общих приложений или функций (ИСО/МЭК 2382-20 [12], без примечания).
А.1.3 системное программное средство (system software): Независимое от приложения программное средство, которое обеспечивает выполнение прикладного программного средства (ИСО/МЭК 2382-20 [12]).
А.1.4 сервисная программа (utility routine, utility program): Программа (машинная программа), которая обеспечивает общие, часто используемые услуги для пользователей компьютера и обслуживающего персонала (ИСО/МЭК 2382-7 [31], без примеров).
А.1.5 функциональный модуль (functional unit): Объект технических или (и) программных средств, имеющий конкретное назначение (ИСО/МЭК 2382-1 [30]).
А.1.6 (машинная) программа [(computer) program]: Синтаксический блок, соответствующий правилам конкретного языка программирования и формирующий описания и операторы или команды, необходимые для решения (выполнения) некоторой функции, задачи или проблемы (ИСО/МЭК 2382-1 [30]).
А.1.7 интерфейс (interface): Общая граница между двумя функциональными блоками, определяемая различными характеристиками, относящимися к функциям, физическим соединениям, обменам сигналами, и другими соответствующими характеристиками блоков (ИСО/МЭК 2382-9 [32], без примечания).
А.1.8 интерфейс пользователя (user interface): Интерфейс, обеспечивающий возможность обмена информацией между пользователем (человеком) и компонентами технических или программных средств вычислительной системы (АНСИ/ИИИЭ Стд 610.12 [33]).
А.1.9 конфигурация (configuration): Способ организации и взаимосвязи технических и программных средств системы обработки информации (ИСО/МЭК 2382-1 [30]).
А.2 Характеристики продукта
А.2.1 функциональные возможности (functionality): Набор атрибутов, относящихся к сути набора функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).
А.2.2 надежность (reliability): Набор атрибутов, относящихся к способности программного средства сохранять свой уровень качества функционирования при установленных условиях за установленный период времени (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).
А.2.3 практичность (usability): Набор атрибутов, относящихся к объему работ, требуемых для использования и индивидуальной оценки такого использования определенным или предполагаемым кругом пользователей (ГОСТ Р ИСО/МЭК 9126 [14], без примечаний).
А.2.4 эффективность (efficiency): Набор атрибутов, относящихся к соотношению между уровнем качества функционирования программного средства и объемом используемых ресурсов при установленных условиях (ГОСТ Р ИСО/МЭК 9126 [14], без примечания).
А.2.5 сопровождаемость (maintainability): Набор атрибутов, относящихся к объему работ, требуемых для проведения конкретных изменений (модификаций) (ГОСТ Р ИСО/МЭК 9126 [14], без примечания).
А.2.6 мобильность (portability): Набор атрибутов, относящихся к способности программного средства быть перенесенным из одного окружения (среды) в другое (ГОСТ Р ИСО/МЭК 9126 [14], без примечания).
А.3.1 данные (data): Представление информации в формализованном виде, пригодном для передачи, интерпретации или обработки (ИСО/МЭК 2382-1 [30], без примечаний).
А.3.2 носитель данных (data medium): Материал, в котором или на котором данные могут быть записаны и с которого они могут быть восстановлены (ИСО/МЭК 2382-1 [30]).
А.4.1 тестирование (test): Техническая операция, которая заключается в определении одной или нескольких характеристик данного продукта, процесса или услуги по соответствующей процедуре (Руководство ИСО/МЭК 2 [15]).
А.4.2 тестовые (контрольные) данные (test data): Данные, используемые для контрольной задачи (ИСО/МЭК 2382-8 [34]).
А.4.3 контрольная задача (check problem): Задача с известным решением, используемая для того, чтобы определить, правильно ли функционирует функциональный модуль (ИСО/МЭК 2382-8 [34]).
А.4.4 метод тестирования (test method): Конкретная техническая процедура для проведения тестирования (Руководство ИСО/МЭК 2 [15]).
А.4.5 план тестирования, план тестирования и оценки системы (test plan, system test and evaluation plan): План, в котором устанавливаются уточненные требования, критерии, общая методология, обязанности и проводится общее планирование тестирования и оценки системы (ИСО/МЭК 2382-20 [12]).
А.4.6 отчет о тестировании (test report): Документ, в котором представляются результаты тестирования и другая информация, относящаяся к тестированию (Руководство ИСО/МЭК 2 [15]).
А.5.1 руководство по сопровождению программы (program maintenance manual): Документ, в котором приводится вся информация, необходимая для сопровождения программы (ИСО/МЭК 2382-20 [12]).
А.5.2 сопровождение системы (system maintenance): Изменение (модификация) системы в целях корректировки ошибок, повышения производительности или адаптации системы к изменившимся условиям среды эксплуатации или к изменившимся требованиям (ИСО/МЭК 2382-20 [12]).
А.5.3 рабочая задача (work task): Предусмотренный результат функционирования рабочей системы (ИСО 6385 [35]).
