Из ГОСТ Р 57700.18–2019 Высокопроизводительные вычислительные системы. Требования к тестовым программам приемочных испытаний

Настоящий стандарт определяет требования к номенклатуре и функциональности тестовых программ, применяемых при разработке высокопроизводительных вычислительных систем (ВВС), а также при проведении приемочных испытаний ВВС в соответствии с ГОСТ 34.601 с целью получения оценки работоспособности ВВС в целом и количественной оценки отдельных параметров [из 1 Область применения ГОСТ Р 57700.18—2019]

В настоящем стандарте использована нормативная ссылка на следующий стандарт:

• ГОСТ 34.601 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания

[из 2 Нормативные ссылки ГОСТ Р 57700.18—2019]

В настоящем стандарте применены следующие термины с соответствующими определениями:

В настоящем стандарте использованы следующие сокращения:

• ВВС — высокопроизводительная вычислительная система;
• ТП — тестовая программа;
• ТЗ — техническое задание;
• ПО — программное обеспечение;
• ПО КМ — программное обеспечение компьютерного моделирования.

[из 3.2 Сокращения ГОСТ Р 57700.18—2019]

4.1 Основной целью тестирования является общая оценка возможности эффективного применения ВВС для решения задач различного класса, характерных для организации–пользователя, а также подтверждение количественных характеристик ВВС, заявленных в ТЗ. Кроме того, тестовые программы используются в процессе разработки и наладки ВВС [из 4.1 ГОСТ Р 57700.18—2019]

4.2 Эффективность применения ВВС в основном определяется оптимальным сочетанием производительности вычислительных устройств, коммуникационной подсистемы (эффективность распараллеливания), файловой подсистемы, а также работой систем планирования заданий, мониторинга и диагностики [из 4.2 ГОСТ Р 57700.18—2019]

4.3 Тестирование ВВС включает в себя следующие направления:

• оценка эффективности применения ВВС в целом, а также оценка отдельных подсистем, компонент и параметров;
• оценка производительности ВВС в целом, а также отдельных вычислительных устройств в различных режимах на актуальных для организации–пользователя задачах и алгоритмах;
• оценка эффективности распараллеливания (возможности масштабирования) для задач различного класса с учетом особенностей алгоритмов распараллеливания;
• оценка надежности ВВС в целом и ее отдельных компонент при проведении расчетов характерных задач в различных режимах;
• оценка отдельных параметров коммуникационной подсистемы ВВС (максимальная и средняя скорость межпроцессорных обменов в зависимости от размера сообщения, бисекция и т. п.);
• оценка производительности файловой подсистемы ВВС;
• оценка работоспособности систем планирования заданий, мониторинга и диагностики.

[из 4.3 ГОСТ Р 57700.18—2019]

4.4 Рассмотренный спектр направлений работ по тестированию ВВС определяет необходимость применения достаточно широкого набора тестов, начиная от системных до построенных на основе ПО КМ организации–пользователя.

По своему назначению и содержанию тесты разделяют на четыре группы:

• специальные тесты для количественной оценки отдельных компонент и характеристик ВВС;
• международные прикладные тесты для оценки производительности, эффективности распараллеливания, а также оценки отдельных параметров ВВС;
• методические прикладные тесты для оценки правильности функционирования, эффективности распараллеливания и производительности ВВС. Могут создаваться организацией–пользователем ВВС либо сторонней организацией;
• производственные тесты для оценки работоспособности и надежности ВВС на характерных для организации–пользователя задачах с использованием ПО КМ. Могут создаваться организацией–пользователем ВВС либо сторонней организацией.

[из 4.4 ГОСТ Р 57700.18—2019]