Проверка модели.: Проверка модели представляет собой процесс, в ходе которого

Гост р 57412-2017 компьютерные модели в процессах разработки, производства и эксплуатации изделий. общие положения

Проверка модели.:  Проверка модели представляет собой процесс, в ходе которого

Компьютерные модели в процессах разработки, производства и эксплуатации изделий. Общие положения ГОСТ Р 57412-2017.pdf ГОСТ Р 57412-2017.doc

НАЦИОНАЛЬНЫЙ СТАНДАРТ РОССИЙСКОЙ ФЕДЕРАЦИИ

КОМПЬЮТЕРНЫЕ МОДЕЛИ В ПРОЦЕССАХ РАЗРАБОТКИ, ПРОИЗВОДСТВА И ЭКСПЛУАТАЦИИ ИЗДЕЛИЙ

Общие положения

Computer models of products in design, manufacturing and maintenance. General

ОКС 01.040.01

Дата введения 2017-07-01

Предисловие

Предисловие

1 РАЗРАБОТАН Акционерным обществом «Научно-исследовательский центр «Прикладная Логистика» (АО НИЦ «Прикладная Логистика»), Открытым акционерным обществом «Т-Платформы» (ОАО «Т-Платформы») и Федеральным государственным унитарным предприятием «Научно-исследовательский институт стандартизации и унификации» (ФГУП «НИИСУ»)

2 ВНЕСЕН Техническим комитетом по стандартизации ТК 700 «Математическое моделирование и высокопроизводительные вычислительные технологии» совместно с Техническим комитетом по стандартизации ТК 482 «Интегрированная логистическая поддержка экспортируемой продукции военного назначения»

3 УТВЕРЖДЕН И ВВЕДЕН В ДЕЙСТВИЕ Приказом Федерального агентства по техническому регулированию и метрологии от 10 марта 2017 г. N 110-ст

4 ВВЕДЕН ВПЕРВЫЕ

5 ПЕРЕИЗДАНИЕ. Август 2018 г.

Правила применения настоящего стандарта установлены в статье 26 Федерального закона от 29 июня 2015 г. N 182-ФЗ «О стандартизации в Российской Федерации».

Информация об изменениях к настоящему стандарту публикуется в ежегодном (по состоянию на 1 января текущего года) информационном указателе «Национальные стандарты», а официальный текст изменений и поправок — вежемесячном информационном указателе «Национальные стандарты».

В случае пересмотра (замены) или отмены настоящего стандарта соответствующее уведомление будет опубликовано в ближайшем выпуске ежемесячного информационного указателя «Национальные стандарты».

Соответствующая информация, уведомление и тексты размещаются также в информационной системе общего пользованияна официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет (www.gost.ru)

Введение

В связи с развитием современных информационных технологий расширяется использование технологий компьютерного моделирования при решении задач разработки, производства и обеспечения эксплуатации изделий.

Компьютерные модели становятся одной из форм представления результатов проектно-конструкторской деятельности.

При этом одновременно возрастает роль компьютерного моделирования как альтернативы физическим испытаниям, позволяющего существенно сократить затраты на испытания в ходе создания изделий.

1 Область применения

Стандарт устанавливает общие требования к компьютерным моделям, их классификации и применению на всех стадиях жизненного цикла промышленной продукции (далее — изделий).

________________

В настоящем стандарте под промышленной продукцией [1] понимается преимущественно продукция машиностроения и приборостроения.

На основе настоящего стандарта допускается, при необходимости, разрабатывать стандарты, учитывающие особенности выполнения компьютерных моделей конкретных видов изделий в зависимости от их специфики.

2 Нормативные ссылки

В настоящем стандарте использованы нормативные ссылки на следующие стандарты:

ГОСТ 2.052 Единая система конструкторской документации. Электронная модель изделия. Общие положения

ГОСТ 2.053 Единая система конструкторской документации. Электронная структура изделия. Общие положения

ГОСТ 2.058 Единая система конструкторской документации.

Правила выполнения реквизитной части электронных конструкторских документов

ГОСТ 2.307 Единая система конструкторской документации. Нанесение размеров и предельных отклонений

ГОСТ 2.308 Единая система конструкторской документации. Указания допусков формы и расположения поверхностей

ГОСТ 2.309 Единая система конструкторской документации.

Обозначения шероховатости поверхностей

ГОСТ 20886 Организация данных в системах обработки данных. Термины и определения

ГОСТ Р 15.000 Система разработки и постановки продукции на производство. Основные положения

ГОСТ Р 15.301 Система разработки и постановки продукции на производство. Продукция производственно-технического назначения.

Порядок разработки и постановки продукции на производство

ГОСТ Р 53392 Интегрированная логистическая поддержка. Анализ логистической поддержки. Основные положения

ГОСТ Р 54089 Интегрированная логистическая поддержка. Электронное дело изделия.

Основные положения

Примечание — При пользовании настоящим стандартом целесообразно проверить действие ссылочных стандартов в информационной системе общего пользования — на официальном сайте Федерального агентства по техническому регулированию и метрологии в сети Интернет или по ежегодному информационному указателю «Национальные стандарты», который опубликован по состоянию на 1 января текущего года, и по выпускам ежемесячного информационного указателя «Национальные стандарты» за текущий год. Если заменен ссылочный стандарт, на который дана недатированная ссылка, то рекомендуется использовать действующую версию этого стандарта с учетом всех внесенных в данную версию изменений. Если заменен ссылочный стандарт, на который дана датированная ссылка, то рекомендуется использовать версию этого стандарта с указанным выше годом утверждения (принятия). Если после утверждения настоящего стандарта в ссылочный стандарт, на который дана датированная ссылка, внесено изменение, затрагивающее положение, на которое дана ссылка, то это положение рекомендуется применять без учета данного изменения. Если ссылочный стандарт отменен без замены, то положение, в котором дана ссылка на него, рекомендуется применять в части, не затрагивающей эту ссылку.

3.1 Термины и определения

В настоящем стандарте применены следующие термины с соответствующими определениями:

3.1.1 модель: Сущность, воспроизводящая явление, объект или свойство объекта реального мира* .________________

Здесь и далее знаком «*» отмечены пункты, к которым даны комментарии в приложении А.

3.1.2 объект моделирования: Явление, объект или свойство объекта реального мира*.

3.1.3 аспект моделирования: Отдельное свойство или совокупность свойств объекта моделирования, являющихся предметом исследования с помощью моделирования.

3.1.4 математическая модель: Модель, в которой сведения об объекте моделирования представлены в виде математических символов и выражений*.

3.1.5 информационная модель: Модель, в которой сведения об объекте моделирования представлены в виде совокупности элементов данных и отношений между ними*.

Примечание — Состав (номенклатура) данных определяется областью интереса разработчика модели и потенциального или реального пользователя.

3.1.6 моделирование: Изучение свойств и/или поведения объекта моделирования, выполненное с использованием его моделей*.

3.1.7 компьютерная модель (электронная модель): Модель, выполненная в компьютерной (вычислительной) среде и представляющая собой совокупность данных и программного кода, необходимого для работы с данными.

3.1.8 проверка адекватности компьютерной модели: Совокупность действий с моделью, результатом которых является подтверждение ее соответствия моделируемому объекту реального мира*.

3.1.9 контроль результатов компьютерного моделирования: Совокупность действий, результатом которых является подтверждение соответствия компьютерной реализации модели исходной математической или информационной модели*.

3.1.10 компьютерная модель изделия: Компьютерная модель, в которой объектом моделирования является изделие(ия)*.

Источник: https://allgosts.ru/01/040/gost_r_57412-2017

Проверка адекватности модели

Проверка модели.:  Проверка модели представляет собой процесс, в ходе которого

При моделировании исследователя прежде всего интересует, насколько хорошо модель представляет моделируемую систему (объект моделирования). Модель, поведение которой слишком отличается от поведения моделируемой системы, практически бесполезна.

Различают модели существующих и проектируемых систем.

Если реальная система (или ее прототип) существует, дело обстоит достаточно просто. Поэтому для моделей существующих систем исследователь должен выполнить проверку адекватности имитационной модели объекту моделирования, т.е. проверить соответствие между поведением реальной системы и поведением модели.

На реальную систему воздействуют переменные G*, которые можно измерять, но нельзя управлять, параметры Х*, которые исследователь может изменять в ходе натурных экспериментов. На выходе системы возможно измерение выходных характеристикY*.

При этом существует некоторая неизвестная исследователю зависимость между ними Y*=f*(Х*, G*).

Имитационную модель можно рассматривать как преобразователь входных переменных в выходные. В любой имитационной модели различают составляющие: компоненты, переменные, параметры, функциональные зависимости, ограничения, целевые функции.

Модель системы определяется как совокупность компонент, объединенных для выполнения заданной функции Y = f(Х, G).Здесь Y, Х, G — векторы соответственно результата действия модели системы выходных переменных, параметров моделирования, входных переменных модели.

Параметры модели Х исследователь выбирает произвольно, G -принимают только те значения, которые характерны для данных объекта моделирования.

Очевидный подход в оценке адекватности состоит в сравнении выходов модели и реальной системы при одинаковых (если возможно) значениях входов.

И те, и другие данные (данные, полученные на выходе имитационной модели и данные, полученные в результате эксперимента с реальной системой) — статистические.

Поэтому применяют методы статистической теории оценивания и проверки гипотез.

Используя соответствующий статистический критерий для двух выборок, мы можем проверить статистические гипотезы (Н0) о том, что выборки выходов системы и модели являются выборками из различных совокупностей или (Н1), что они «практически» принадлежат одной совокупности.

Могут быть рекомендованы два основных подхода к оценке адекватности:

1 способ: по средним значениям откликов модели и системы.

Проверяется гипотеза о близости средних значений каждый n-й компоненты откликов модели Yn известным средним значениям n-й компоненты откликов реальной системы .

Проводят N1 опытов на реальной системе и N2опытов на имитационной модели (обычно N2 >N1).

Оценивают для реальной системы и имитационной модели математическое ожидание и дисперсию, и соответственно.

Гипотезы о средних значениях проверяются с помощью критерия f-Стьюдента, можно использовать параметрический критерий Манны-Уитни и др.

Например, продемонстрируем использование f-статистики. Основой проверки гипотез является En = (Yn -Y'n), оценка её дисперсии:

t-статистика:

.

Берут таблицу распределения t-статистики с числом степеней свободы:
g = N1 + N2 — 2 (обычно с уровнем значимости a = 0,05).

По таблицам находят критическое значение tкр. Если tn £ tкр, гипотеза о близости средних значений n-й компоненты откликов модели и системы принимается. И т.д.

по всем n компонентам вектора откликов.

2 способ: по дисперсиям отклонений откликов модели от среднего значения откликов систем.

Сравнение дисперсии проводят с помощью критерия F (проверяют гипотезы о согласованности), с помощью критерия согласия ?2 (при больших выборках, п>100), критерия Колмогорова- Смирнова (при малых выборках, известны средняя и дисперсия совокупности), Кохрена и др.

Проверяется гипотеза о значимости различий оценок двух дисперсий: и .

Составляется F-статистика: (задаются обычно уровнем значимости
a = 0,05, при степенях свободы ), по таблицам Фишера для F-распределения находят Fкр. Если F > Fкр, гипотеза о значимости различий двух оценок дисперсий принимается, значит — отсутствует адекватность реальной системы и имитационной модели по n-ой компоненте вектора отклика.

Процедура повторяется аналогичным образом по всем компонентам вектора отклика. Если хотя бы по одной компоненте адекватность отсутствует, то модель неадекватна.

В последнем случае, если обнаружены незначительные отклонения в модели, может проводиться калибровка имитационной модели (вводятся поправочные, калибровочные коэффициенты в моделирующий алгоритм), с целью обеспечения адекватности.

А если не существует реальной системы (что характерно для задач проектирования, прогнозирования)? Проверку адекватности выполнить в этом случае не удается, поскольку нет реального объекта.

Для целей исследования модели иногда проводят специальные испытания (например, так поступают при военных исследованиях).

Это позволяет убедиться в точности модели, полезности ее на практике, несмотря на сложность и дороговизну проводимых испытаний.

Могут использоваться и другие подходы к проведению валидации имитационной модели [56], кроме статистических сравнений между откликами реальной системы и модели.

В отдельных случаях полезна валидация внешнего представления, когда проверяется насколько модель выглядит адекватной с точки зрения специалистов, которые с ней будут работать, так называемый тест Тьюринга (установление экспертами различий между поведением модели и реальной системы).

В процессе валидации требуется постоянный контакт с заказчиком модели, дискуссии с экспертами по системе.

Рекомендуется также проводить эмпирическое тестирование допущений модели, в ходе которого может осуществляться графическое представление данных, проверка гипотез о распределениях, анализ чувствительности и др.

Важным инструментом валидации имитационной модели является графическое представление промежуточных результатов и выходных данных, а также анимация процесса моделирования. Наиболее эффективными являются такие представления данных, как гистограммы, временные графики отдельных переменных за весь период моделирования, графики взаимозависимости, круговые и линейчатые диаграммы. Методика применения статистических технологий зависит от доступности данных по реальной системе.

Не нашли то, что искали? Воспользуйтесь поиском:

Источник: https://studopedia.ru/15_63080_proverka-adekvatnosti-modeli.html

Процесс Data Mining. Построение и использование модели

Проверка модели.:  Проверка модели представляет собой процесс, в ходе которого

Проверка модели подразумевает проверку ее достоверности или адекватности. Эта проверка заключается в определении степени соответствия модели реальности. Адекватность модели проверяется путем тестирования.

Адекватность модели (adequacy of a model) — соответствие модели моделируемому объекту или процессу.

Понятия достоверности и адекватности являются условными, поскольку мы не можем рассчитывать на полное соответствие модели реальному объекту, иначе это был бы сам объект, а не модель.

Поэтому в процессе моделирования следует учитывать адекватность не модели вообще, а именно тех ее свойств, которые являются существенными с точки зрения проводимого исследования.

В процессе проверки модели необходимо установить включение в модель всех существенных факторов. Сложность решения этой проблемы зависит от сложности решаемой задачи.

Проверка модели также подразумевает определение той степени, в которой она действительно помогает менеджеру при принятии решений.

Оценка модели подразумевает проверку ее правильности. Оценка построенной модели осуществляется путем ее тестирования.

Тестирование модели заключается в «прогонке» построенной модели, заполненной данными, с целью определения ее характеристик, а также в- проверке ее работоспособности. Тестирование модели включает в себя проведение множества экспериментов.

На вход модели могут подаваться выборки различного объема. С точки зрения статистики, точность модели увеличивается с увеличением количества исследуемых данных.

Алгоритмы, являющиеся основой для построения моделей на сверхбольших базах данных, должны обладать свойством масштабирования.

Если модель достаточно сложна, а значит, требуется много времени на ее обучение и последующую оценку, то иногда бывает можно построить и протестировать модель на небольшой части выборки.

Однако этот вариант подходит только для однородных данных, в противном случае необходимо использовать все доступные данные [98]. Построенные модели рекомендуется тестировать на различных выборках для определения их обобщающих способностей.

В ходе экспериментов можно варьировать объем выборки (количество записей), набор входных и выходных переменных, использовать выборки различной сложности.

Выявленные соотношения и закономерности должны быть проанализированы экспертом в предметной области — он поможет определить, как являются выясненные закономерности (возможно, слишком общими или узкими и специфическими).

Для оценки результатов полученных моделей следует использовать знания специалистов предметной области. Если результаты полученной модели эксперт считает неудовлетворительными, следует вернуться на один из предыдущих шагов процесса Data Mining, а именно: подготовка данных, построение модели, выбор модели.

Если же результаты моделирования эксперт считает приемлемыми, ее можно применять для решения реальных задач.

Если в результате моделирования нами было построено несколько различных моделей, то на основании их оценки мы можем осуществить выбор лучшей из них. В ходе проверки и оценки различных моделей на основании их характеристик, а также с учетом мнения экспертов, следует выбор наилучшей. Достаточно часто это оказывается непростой задачей.

Основные характеристики модели, которые определяют ее выбор, — это точность модели и эффективность работы алгоритма [77].

В некоторых программных продуктах реализован ряд методов, разработанных для выбора модели. Многие из них основаны на так называемой «конкурентной оценке моделей «, которая состоит в применении различных моделей к одному и тому же набору данных и последующем сравнении их характеристик.

Например, в пакете Statistica (Statsoft) [39] эти методы рассматриваются как ядро «предсказывающей добычи данных», они включают: накопление (ание, усреднение); бустинг; мета-обучение.

После тестирования, оценки и выбора модели следует этап применения модели. На этом этапе выбранная модель используется применительно к новым данным с целью решения задач, поставленных в начале процесса Data Mining. Для классификационных и прогнозирующих моделей на этом этапе прогнозируется целевой (выходной) атрибут (target attribute).

По прошествии определенного установленного промежутка времени с момента начала использования модели Data Mining следует проанализировать полученные результаты, определить, действительно ли она «успешна» или же возникли проблемы и сложности в ее использовании.

Однако даже если модель с успехом используется, ее не следует считать абсолютно верной на все времена. Дело в том, что необходимо периодически оценивать адекватность модели набору данных, а также текущей ситуации (следует учитывать возможность изменения внешних факторов).

Даже самая точная модель со временем перестает быть таковой. Для того чтобы построенная модель выполняла свою функцию, следует работать над ее коррекцией (улучшением). При появлении новых данных требуется повторное обучение модели. Этот процесс называют обновлением модели.

Работы, проводимые с моделью на этом этапе, также называют контролем и сопровождением модели.

Существует много причин, требующих обучить модель заново, т.е. обновить ее, чтобы отразить определенные изменения.

Основными причинами являются следующие:

  • изменились входящие данные или их поведение;
  • появились дополнительные данные для обучения;
  • изменились требования к форме и количеству выходных данных;
  • изменились цели бизнеса, которые повлияли на критерии принятия решений;
  • изменилось внешнее окружение или среда (макроэкономика, политическая ситуация, научно-технический прогресс, появление новых конкурентов и товаров и т.д.).

Причины, перечисленные выше, могут обесценить допущения и исходную информацию, на которых основывалась модель при построении.

Приведем простой пример из задачи о туристическом агентстве.

Рассматриваемое правило гласит: «Если ДОХОД>20 и СЕМЕЙНОЕ ПОЛОЖЕНИЕ = «married», то класс «1». Эта модель может успешно работать на протяжении какого-то периода, но затем, например, в силу инфляции в стране, модель должна быть скорректирована. В результате рассматриваемое правило может выглядеть таким образом: «Если ДОХОД>30 и СЕМЕЙНОЕ ПОЛОЖЕНИЕ = «married», то класс «1».

Источник: http://www.intuit.ru/studies/courses/6/6/lecture/196?page=5

Имитационное моделирование экономических процессов

Проверка модели.:  Проверка модели представляет собой процесс, в ходе которого

При моделировании исследователя прежде всего интересует, насколько хорошо модель представляет моделируемую систему (объект моделирования). Модель, поведение которой слишком отличается от поведения моделируемой системы, практически бесполезна.

Различают модели существующих и проектируемых систем.

Если реальная система (или ее прототип) существует, дело обстоит достаточно просто. Поэтому для моделей существующих систем исследователь должен выполнить проверку адекватности имитационной модели объекту моделирования, т.е. проверить соответствие между поведением реальной системы и поведением модели.

На реальную систему воздействуют переменные G*, которые можно измерять, но нельзя управлять, параметры Х*, которые исследователь может изменять в ходе натурных экспериментов. На выходе системы возможно измерение выходных характеристикY*.

При этом существует некоторая неизвестная исследователю зависимость между ними Y*=f*(Х*, G*).

Имитационную модель можно рассматривать как преобразователь входных переменных в выходные. В любой имитационной модели различают составляющие: компоненты, переменные, параметры, функциональные зависимости, ограничения, целевые функции.

Модель системы определяется как совокупность компонент, объединенных для выполнения заданной функции Y = f(Х, G).Здесь Y, Х, G — векторы соответственно результата действия модели системы выходных переменных, параметров моделирования, входных переменных модели.

Параметры модели Х исследователь выбирает произвольно, G -принимают только те значения, которые характерны для данных объекта моделирования.

Очевидный подход в оценке адекватности состоит в сравнении выходов модели и реальной системы при одинаковых (если возможно) значениях входов.

И те, и другие данные (данные, полученные на выходе имитационной модели и данные, полученные в результате эксперимента с реальной системой) — статистические.

Поэтому применяют методы статистической теории оценивания и проверки гипотез.

Используя соответствующий статистический критерий для двух выборок, мы можем проверить статистические гипотезы (Н0) о том, что выборки выходов системы и модели являются выборками из различных совокупностей или (Н1), что они «;практически»; принадлежат одной совокупности.

Могут быть рекомендованы два основных подхода к оценке адекватности:

1 способ: по средним значениям откликов модели и системы.

Проверяется гипотеза о близости средних значений каждый n-й компоненты откликов модели Ynизвестным средним значениям n-й компоненты откликов реальной системы .

Проводят N1 опытов на реальной системе и N2опытов на имитационной модели (обычно N2 >N1).

Оценивают для реальной системы и имитационной модели математическое ожидание и дисперсию, и соответственно.

Гипотезы о средних значениях проверяются с помощью критерия f-Стьюдента, можно использовать параметрический критерий Манны-Уитни и др.

Например, продемонстрируем использование f-статистики. Основой проверки гипотез является En = (YnY'n), оценка её дисперсии:

t-статистика:

.

Берут таблицу распределения t-статистики с числом степеней свободы:
 = N1 + N2 — 2 (обычно с уровнем значимости  = 0,05).

По таблицам находят критическое значение tкр. Если tntкр, гипотеза о близости средних значений n-й компоненты откликов модели и системы принимается.

И т.д. по всем n компонентам вектора откликов.

2 способ: по дисперсиям отклонений откликов модели от среднего значения откликов систем.

Сравнение дисперсии проводят с помощью критерия F (проверяют гипотезы о согласованности), с помощью критерия согласия ?2 (при больших выборках, п>100), критерия Колмогорова- Смирнова (при малых выборках, известны средняя и дисперсия совокупности), Кохрена и др.

Проверяется гипотеза о значимости различий оценок двух дисперсий: и .

Составляется F-статистика: (задаются обычно уровнем значимости
 = 0,05, при степенях свободы ), по таблицам Фишера для F-распределения находят Fкр.

Если F>Fкр, гипотеза о значимости различий двух оценок дисперсий принимается, значит — отсутствует адекватность реальной системы и имитационной модели по n-ой компоненте вектора отклика.

Процедура повторяется аналогичным образом по всем компонентам вектора отклика. Если хотя бы по одной компоненте адекватность отсутствует, то модель неадекватна.

В последнем случае, если обнаружены незначительные отклонения в модели, может проводиться калибровка имитационной модели (вводятся поправочные, калибровочные коэффициенты в моделирующий алгоритм), с целью обеспечения адекватности.

А если не существует реальной системы (что характерно для задач проектирования, прогнозирования)? Проверку адекватности выполнить в этом случае не удается, поскольку нет реального объекта.

Для целей исследования модели иногда проводят специальные испытания (например, так поступают при военных исследованиях).

Это позволяет убедиться в точности модели, полезности ее на практике, несмотря на сложность и дороговизну проводимых испытаний.

Могут использоваться и другие подходы к проведению валидации имитационной модели [56], кроме статистических сравнений между откликами реальной системы и модели.

В отдельных случаях полезна валидация внешнего представления, когда проверяется насколько модель выглядит адекватной с точки зрения специалистов, которые с ней будут работать, так называемый тест Тьюринга (установление экспертами различий между поведением модели и реальной системы).

В процессе валидации требуется постоянный контакт с заказчиком модели, дискуссии с экспертами по системе.

Рекомендуется также проводить эмпирическое тестирование допущений модели, в ходе которого может осуществляться графическое представление данных, проверка гипотез о распределениях, анализ чувствительности и др.

Важным инструментом валидации имитационной модели является графическое представление промежуточных результатов и выходных данных, а также анимация процесса моделирования. Наиболее эффективными являются такие представления данных, как гистограммы, временные графики отдельных переменных за весь период моделирования, графики взаимозависимости, круговые и линейчатые диаграммы. Методика применения статистических технологий зависит от доступности данных по реальной системе.

6.3 Верификация имитационной модели

Верификация модели — есть доказательство утверждений соответствия алгоритма ее функционирования замыслу моделирования и своему назначению.

На этапе верификации устанавливается верность логической структуры модели, реализуется комплексная отладка с использованием средств трассировки, ручной имитации, в ходе которой проверяется правильность реализации моделирующего алгоритма.

Комплексные процедуры верификации включают неформальные и формальные исследования программы-имитатора. Неформальные процедуры могут состоять из серии проверок следующего типа: проверка преобразования информации от входа к выходу; трассировка модели на реальном потоке данных (при заданных Gи X):

X изменяется по всему диапазону значений контролируется Y;

    • можно посмотреть, не будет ли модель давать абсурдные ответы, если ее параметры будут принимать предельные значения;
    • «;проверка на ожидаемость»;, когда в модели заменяют стохастические элементы на детерминированные и др.

Полезным при решении указанных задач могут быть также следующие приёмы [56]:

обязательное масштабирование временных параметров в зависимости от выбранного шага моделирования (валидация данных);

валидация по наступлению «;событий»; в модели и сравнение (если возможно) с реальной системой;

тестирование модели для критических значении и при наступлении редких событий;

фиксирование значений для некоторых входных параметров с последующим сравнением выходных результатов с заранее известными данными;

вариация значениями входных и внутренних параметров модели с последующим сравнительным анализом поведения исследуемой системы;

реализация повторных прогонов модели с неизменными значениями всех входных параметров;

оценка фактически полученных в результате моделирования распределений случайных величин и оценок их параметров (математическое ожидание и дисперсия) с априорно заданными

значениями;

сравнение исследователями поведения и результатов валидируемой модели с результатами уже существующих моделей, для которых доказана достоверность;

для существующей реальной исследуемой системы предсказание её будущего поведения и сравнение прогноза с реальными наблюдениями.

Формальные процедуры связаны с проверкой исходных предположений (выдвинутых на основе опыта, теоретических знаний, интуитивных представлений, на основе имеющейся информации). Общая процедура включает:

построение ряда гипотез о поведении системы и взаимодействии ее элементов;

проверка гипотез с помощью статистических тестов: используют методы статистической теории оценивания и проверки гипотез (методы проверки с помощью критериев согласия (2, Колмогорова-Смирнова, Кокрена и др.), непараметрические проверки и т.д., а также дисперсионный, регрессионный, факторный, спектральный анализы).

6.4 Валидация данных имитационной модели

Валидация данных имитационной модели предполагает исследование свойств имитационной модели, в ходе которого оценивается точность, устойчивость, чувствительность результатов моделирования и другие свойства имитационной модели.

Наиболее существенные процедуры исследования свойств модели: оценка точности результатов моделирования; оценка устойчивости результатов моделирования;

оценка чувствительности имитационной модели.

Получить эти оценки в ряде случаев бывает весьма сложно. Однако без успешных результатов этой работы, доверия к модели не будет, невозможно будет провести корректный проблемный анализ и сформулировать статистически значимые выводы на основе данных, полученных в результате имитации.

6.5 Оценка точности результатов моделирования

Экспериментальная природа имитации требует, чтобы мы учитывали случайную вариацию получаемых на модели характеристик. В ходе этих испытаний исследователь интересуется выходами модели, прежде всего его интересует:

какой разброс данных на выходе имитационной модели или точность

имитации;

и какие выводы можно сделать по полученным результатам

моделирования.

Точность имитации явлений представляет собой оценку влияния стохастических элементов на функционирование модели сложной системы.

Всем стохастическим элементам имитационной модели присущи флуктуации. Данные одного имитационного прогона представляют собой единичную выборку, т.е.

результаты прогонов на имитационной модели могут рассматриваться как случайные величины к ним должны быть применены все определения и правила математической статистики.

Ясно, для того, чтобы увеличить точность имитации (уменьшить разброс данных) необходимо выборку сделать большой (представительной).

Поэтому, для достижения заданной точности результатов эксперимента, либо повторяют эксперимент несколько раз, либо имитируют более продолжительный период времени и оценивают полученные результаты (см. основные задачи тактического планирования: определение продолжительности имитационного прогона, анализ установившегося состояния). Для повышения точности используют специальные методы понижения дисперсии.

Степень точности определяется величиной флуктуации случайного фактора (дисперсией). Мерой точности является доверительный интервал.

Для определения точности результатов имитации оцениваем доверительные интервалы. Если мы имеем оценку истинного среднего  совокупности, мы определяем верхнюю и нижнюю границы интервала, так, чтобы вероятность попадания истинного среднего в интервал, заключенный между этими границами, равнялась некоторой заданной величине (a -доверительная вероятность) следующим образом:

, где (6.5)

— выборочное среднее,

1 —  — вероятность того, что интервал µ ±dсодержит Х.

6.6 Оценка устойчивости результатов моделирования

Под устойчивостью результатов имитации будем понимать степень нечувствительности ее к изменению условий моделирования. Универсальной процедуры для такой проверки не существует.

Устойчивость результатов моделирования характеризуется сходимостью контролируемого параметра моделирования к определенной величине при увеличении времени моделирования варианта сложной системы.

На практике, рекомендуется устойчивость результатов моделирования оценивать дисперсией значений отклика (по выбранной компоненте). Если эта дисперсия при увеличении времени моделирования Тмодне увеличивается, значит, результаты моделирования устойчивы.

Может быть рекомендована следующая методика оценки устойчивости. В модельном времени с шагом t контролируются выходные параметры Y. Оценивается амплитуда изменений параметра Y. Рост разброса контролируемого параметра от начального значения при изменении t + tуказывает на неустойчивый характер имитации исследуемого процесса.

Для проверки статистической гипотезы о равенстве дисперсий значений откликов имитационной модели для испытаний с различными длительностями прогонов может быть использован критерий Бартлетта:

, где

,

.

Методика несмещенной оценки к-дисперсий нормальных генеральных совокупностей:

  1. Устанавливается длительность прогона (0, tмод);

  2. Выбирается контролируемая компонента вектора отклика yi;

  3. Задается шаг t.

На каждом шаге контролируется уi, оценивается дисперсия и т.д.

Формулируется нулевая статистическая гипотеза: о равенстве дисперсий и проверяется с помощью критерия Бартлетта.

Врасчсравнивается с тестовой. Если В > |2, то Н0принимается. Считается, что модель устойчива по i-й компоненте вектора отклика, и т.д. по всем компонентам

В случае удачной проверки, считается, что модель устойчива по всему вектору выходных переменных.

6.7 Анализ чувствительности имитационной модели

Анализ чувствительности модели определяет оценку влияния колебаний значений входных переменных на отклики (выходные переменные) модели. Необходимо установить, при каком разбросе входных данных сохраняется справедливость основных выводов, сделанных по результатам моделирования.

Под анализом чувствительности понимаем определение чувствительности наших окончательных результатов моделирования к изменению используемых значений параметров. Анализ означает, как меняется выходная переменная Yпри небольших изменениях различных параметров модели или ее входов X.

Простота проведения анализа чувствительности в имитационном моделировании -едно из преимуществ этого метода. Оценка чувствительности является исключительно важной процедурой и подготовительным этапом перед планированием имитационного эксперимента.

Дело в том, что величины параметров систематически варьируются в некоторых представляющих интерес пределах minХmax) и наблюдается влияние этих вариаций на характеристики системы (YminYmax).

Если при незначительных изменениях величин некоторых параметров результаты меняются очень сильно, то это -основание для затраты большого количества времени и средств с целью получения более точных оценок. И наоборот, если конечные результаты при изменении величин параметров в широких пределах не изменяются, то дальнейшее экспериментирование в этом направлении бесполезно и неоправданно.

Поэтому очень важно определить степень чувствительности результатов относительно выбранных для исследования величин параметров.

Исследование чувствительности является предварительной процедурой перед планированием эксперимента и позволяет определить стратегию планирования экспериментов на имитационной модели.

Этой информации бывает достаточно для ранжирования компонент вектора параметров модели Х по значению чувствительности вектора отклика модели.

Если модель оказывается малочувствительной по какой-либо q-й компоненте вектора параметров модели Хq, то зачастую не включают в план имитационного эксперимента изменение Хq, чем достигается экономия ресурса времени моделирования.

Анализ чувствительности поможет также внести коррективы в разрабатываемую модель — упростить, например, перейти от использования закона распределения к использованию среднего значения переменной, а некоторые подсистемы вообще отбросить (или процессы не детализировать). И наоборот, анализ чувствительности может показать, какие части модели было бы полезно разработать более детально.

Чувствительность имитационной модели представляется величиной минимального приращения выбранного критерия качества, вычисляемого по статистикам моделирования, при последовательном варьировании параметров моделирования на всем диапазоне их изменения.

Методика (процедура) оценки чувствительности [33]:

По каждому фактору Х определяется интервал изменения (minXq, maxXq). Остальные компоненты вектора Х не изменяются и соответствуют центральной точке.

Проводят пару модельных экспериментов и получают отклики модели (min Y, maxYсоответственно). Для оценки чувствительности используют абсолютные значения или относительные.

В последнем случае вычисляют приращение вектора параметров

и вычисляют приращение вектора отклика

.

Выбирают .

Итак, чувствительность модели по q-й компоненте вектора параметров Xопределяют парой значений .

Все рассмотренные процедуры в комплексе дают необходимую информационную базу обеспечения доверия к разработанной имитационной модели и перехода к следующим этапам работы с моделью.

Источник: https://textarchive.ru/c-2455614-p11.html

Гост р 57412-2017 компьютерные модели в процессах разработки, производства и эксплуатации изделий. общие положения, гост р от 10 марта 2017 года №57412-2017

Проверка модели.:  Проверка модели представляет собой процесс, в ходе которого

ГОСТ Р 57412-2017

ОКС 01.040.01

Дата введения 2017-07-01

Общие требования, предъявляемые к моделям

Проверка модели.:  Проверка модели представляет собой процесс, в ходе которого

ü Модель должна быть актуальной. Это значит, что модель должна быть нацелена на текущие, предстоящие, важные проблемы для лиц, принимающих решения.

ü Модель должна быть результативной. Это значит, что полученные peзyльтaты мoдeлиpoвaния мoгyт найти ycпeшнoe пpимeнeниe..

ü Модель должна быть дocтoвepнoй. Это значит, что модель будет соответствовать моделируемому целевому объекту, процессу или системе. Данное требование тесно связано с понятием адекватности, то есть, если модель неадекватна, то она не может давать достоверных результатов.

ü Модель должна быть экономичной. Это значит, что эффект от использования результатов мoдeлиpoвaния превышает расходы ресурсов на ее создание и исследование.

Эти требования (обычно их называют внешними) выполнимы при условии обладания моделью внутренними свойствами.

Модель должна:

§ обеспечивать понимание сущности поведения системы;

§ позволять получить широкий набор существенных сведений об изучаемом объекте;

§ достаточно простой для изучения и применения, реализуемой на компьютере;

§ открытой, т.е. позволяющей ее модификацию, расширение.

Основные цели моделирования.:

1. Понимание. Модель нужна для того, чтобы понять, как устроен конкретный объект, какова его структура, основные свойства, законы развития и взаимодействия с окружающим миром.

2. Управление. Модель нужна для того, чтобы научиться управлять объектом (или процессом) и определить наилучшие способы управления при заданных целях и критериях.

3. Прогнозирование. Модель используется для того, чтобы прогнозировать прямые и косвенные последствия воздействия на объект заданными способами.

Этапы разработки моделей

В этой работе мы будем рассматривать процесс создания компьютерной модели. Процесс моделирования имеет итерационный характер и проводится в рамках ранее сформулированных целей и с соблюдением границ моделирования.

Построение модели начинается с изучения (обследования) реальной системы, ее внутренней структуры и содержания взаимосвязей между ее элементами, а также внешних воздействий и завершается разработкой модели.

Моделирование – от постановки задачи до получения результатов – проходит следующие этапы:

I. Анализ требований и проектирование.

1. Определение цели моделирования. Постановка и анализ задачи.

2. Сбор и анализ исходной информации об объекте моделирования.

3. Построение концептуальной модели.

4. Проверка достоверности концептуальной модели.

II. Разработка модели.

1. Выбор среды моделирования.

2. Составление логической модели.

3. Назначение свойств модулям модели.

4. Задание модельного времени.

5. Верификация модели.

III. Проведение эксперимента.

1. Запуск модели, прогон модели.

2. Варьирование параметров модели и сбор статистики.

3. Анализ результатов моделирования.

IV. Подведение итогов моделирования согласно поставленной цели и задачи моделирования.

Проверка модели

В методах эксперимента с моделями экономических систем очень важным является вопрос оценки пригодности этих моделей и результатов эксперимента с ними.

Проверка модели представляет собой процесс, в ходе которого достигается приемлемый уровень уверенности пользователя в том, что любой вывод о поведении системы, сделанный на основе моделирования, будет правильным. На практике наиболее важным вопросом является вопрос функциональной полезности модели.

Модель можно считать адекватной, если, несмотря на некоторые неточности отображения системы-оригинала, она способна обеспечить достаточно надежное предсказание поведения системы. Общий метод проверки адекватности модели состоит в сопоставлении получаемых результатов с характеристиками системы.

Модель, например экономическая, считается пригодной, если доказано, что она верна. Доказательство «верности» модели в свою очередь означает, что определено множе­ство критериев для разграничения моделей «верных» и «неверных» и известно, как эти критерии применять к любой модели.

Учитывая трудности, возникающие в связи со множеством критериев оценки пригодности модели предлагается перенести внимание с вопроса о том, была ли установлена пригод­ность модели, на степень ее экспериментального подтверждения.

Если в ряде эмпирических испытаний модели не получено отрицательных результатов, а число положительных примеров постоянно увеличивается, то наше доверие к модели будет увеличиваться.

Таким образом, экспериментатор в ходе разработки модели должен провести серию проверок, с тем, чтобы укрепить свое доверие к модели. Для этого могут быть использованы проверки трех видов.

В первой следует убедиться, что модель верна, в первом приближении. Например, можно проверить: не будет ли модель давать абсурдные ответы, если ее параметры будут принимать предельные значения?

Второй метод оценки адекватности модели состоит в проверке исходных предположений, а третий — в проверке преобразований информации от входа к выходу.

Таким образом, вопрос оценки адекватности модели имеет две стороны — приобретение уверенности в том, что модель ведет себя таким же образом, как и реальная система, а также установление того, что выводы, полученные из экспериментов с моделью, справедливы и корректны.

Для того чтобы моделью можно было пользоваться, при ее разработке должны быть тщательно продуманы и потребности, и психология ее конечного потребителя. Имитационное моделирование должно быть процессом обучения как для создателя модели, так и для ее пользователя.

Источник: https://studopedia.net/4_56331_obshchie-trebovaniya-pred-yavlyaemie-k-modelyam.html

Scicenter1
Добавить комментарий