Приложение 9А. Оценка прогнозирования: Существуют способы оценки выполненного прогноза, которые

Содержание
  1. 2.4. Оценка качества прогнозов
  2. Обзор методов прогнозирования
  3. Введение в прогнозирование
  4. Что такое прогнозирование?
  5. Одна из классификаций методов прогнозирования
  6. Прогнозирование продаж
  7. Регрессионный анализ
  8. Обзор категорий методов прогнозирования
  9. Качественные методы в сравнении с количественными методами
  10. Метод средних
  11. «Наивный» подход
  12. Метод скользящих средних
  13. Сезонный “наивный” подход
  14. Методы временных рядов
  15. Причинно-следственные методы/эконометрические методы прогнозирования
  16. Методы экспертных оценок
  17. Методы искусственного интеллекта
  18. Точность прогнозирования
  19. Источники информации
  20. Точность прогнозирования
  21. «Точность прогнозирования»: формула, разновидности «ошибок прогноза»
  22. Примеры расчета точности прогнозирования:
  23. Оценка качества прогнозов: простейшие методы (Турунцева М.Ю., 2011)
  24. Классификация методов и моделей прогнозирования
  25. В чем разница между методом и моделью прогнозирования?
  26. Сначала классифицируем методы
  27. Далее сделаем общую классификация моделей
  28. Классифицируем модели временных рядов
  29. Общая классификация
  30. Прогнозирование с помощью количественных методов
  31. Оценка методов прогнозирования
  32. Оценка прогнозов, сделанных вне организации

2.4. Оценка качества прогнозов

Приложение 9А. Оценка прогнозирования: Существуют способы оценки выполненного прогноза, которые

Дляоценки качества прогноза принятоиспользовать такие характеристики какнадёжность, точность, достоверность,ошибки прогноза.

Поднадёжностьюпрогнозных расчётов понимается меранеопределённости поведения объектапрогнозирования во времени.

Достоверностьпрогноза определяется вероятностьюосуществления прогноза для заданноговарианта или доверительного интервала.

Точностьпрогноза характеризует интервальныйразброс прогнозных траекторий прификсированном уровне достоверности.

Ошибкипрогноза представляют собой меруотклонения прогнозных оценок от реальныхзначений состояния прогнозируемогообъекта.

Однако,описать такие характеристики какнадёжность, точность, достоверность,вычислить ошибки прогноза априори непредставляется возможным, посколькупрогнозные результаты не с чем сравнивать.

Поэтому и на сегодняшний день передразработчиками прогнозов встаётпроблема: «Как оценить качество прогнозаещё до его реализации?».

Определённыешаги в сторону улучшения качествапрогноза можно сделать, изучив факторы,влияющие на показатели качества прогноза(рис.8).

Качество исходной информации

Рис. 8. Факторы,влияющие на качество прогноза.

Качествоисходной информации, в свою очередь,определяется:

  • точностью экономических измерений;
  • качеством выборки;
  • отсутствием ошибок согласования (данные ошибки возникают в тех случаях, когда исходная информация для проведения прогнозных расчётов подготавливается различными специалистами, использующими разные методологические подходы).

Наибольшиепогрешности (стратегические ошибкипрогнозирования) возникают в результатенеудачного выбора метода прогнозирования.Например, на основании прогнозовсоциально-экономического развитияСССР, проводимых в 1960-е годы, Генеральныйсекретарь Коммунистической партииН.С.

Хрущёв заверил, что к 1980 году «СССРдогонит и перегонит Америку».

Стратегическаяошибка прогнозирования была обусловленатем, что для долгосрочного прогнозированияприменялись методы экстраполяциикоторые, как мы уже знаем, целесообразноиспользовать для краткосрочногопрогнозирования.

Погрешности,связанные с выбором модели прогноза,возникают в результате упрощения,несовершенства теоретических построенийили неадекватности моделей прогнозируемымсоциально-экономическим процессам.

Иногда для прогнозирования процессов,протекающих в нашей стране, используютсямодели разработанные зарубежнымиспециалистами и хорошо себя зарекомендовавшиедля прогнозирования аналогичныхпроцессов в других странах.

Однакоследует помнить о том, что данные моделимогут быть неадекватны социально-экономическимпроцессам, происходящим в нашей странеи их использование может привести ксерьезным ошибкам и просчетам.

Наиболеечасто на практике для анализа адекватностимодели прогноза исследуемымсоциально-экономическим процессамиспользуются абсолютные показатели,позволяющие количественно определитьвеличину ошибки моделирования в единицахизмерения прогнозируемого объекта. Кним относятся:

  • абсолютная ошибка, определяемая как разность между фактическим значением показателя и его расчётным значением ;
  • средняя абсолютная ошибка ;
  • среднеквадратическая ошибка .

Следуетотметить, что абсолютные показателималопригодны для сравнения и анализаточности моделирования разнородныхобъектов, так как их значения существеннозависят от масштаба измерения исследуемыхявлений. В этих случаях используютсяотносительные показатели:

  • относительная ошибка ;
  • средняя относительная ошибка .

ПримерРассчитать погрешности моделированияобъема продаж мяса птицы фабрикой«Первомайская» (см. параграф 2.3.1).

Решение: результатырасчёта оформим в виде таблицы (табл.17).

Таблица 17

Результаты расчётапогрешностей

Квартал,Цена реализации,Объём реализации расчётный,Объём реализации фактический,
125007919738000008027644327290,010
227004842664900005734328787560,012
33000663762650000137621893926440,021
275232867041290,043

средняя абсолютнаяошибка:

;

среднеквадратическаяошибка:

;

средняя относительнаяошибка:

.

Источник: https://studfile.net/preview/2902833/page:15/

Обзор методов прогнозирования

Приложение 9А. Оценка прогнозирования: Существуют способы оценки выполненного прогноза, которые

В данной статье представлен краткий обзор методов прогнозирования. Здесь даны общие определения и дан набор общепринятых методов для построения прогнозных моделей.

Введение в прогнозирование

Модель – это упрощенный образ объекта из реальной жизни, в котором отражаются его наиболее важные характеристики, с точки зрения исследования.

Что такое прогнозирование?

Прогнозирование — это предвидение (предсказание), которое предполагает состояние или описание возможных или желательных аспектов, состояний, решений, проблем будущего.

Прогноз — это результат процесса прогнозирования, выраженный в словесной, математической, графической или другой форме суждения о возможном состоянии объекта и его среды в будущий период времени.

Метод – это сложный прием, упорядоченная совокупность простых приемов, направленных на разработку прогноза в целом; путь, способ достижения цели, исходящий из знания наиболее общих закономерностей.

Методика – определенное сочетание приемов (способов) выполнения прогностических операций, получение и обработка информации о будущем на основе однородных методов разработки прогноза.
Методология прогнозирования – область знания о методах, способах, системах прогнозирования.
Система прогнозирования – это упорядоченная совокупность методик, технических средств, предназначенная для прогнозирования сложных явлений или процессов.

Одна из классификаций методов прогнозирования

Формализованные методы:

  • Метод эстраполяции трендов;
  • Методы корреляционного и регрессионного анализов;
  • Методы математического моделирования.

Экспертные методы прогнозирования:
1. Индивидуальные методы

  • Метод составления сценариев;
  • Метод «интервью»;
  • Метод аналитических докладных записок.

2. Коллективные методы

  • Метод анкетных опросов;
  • Метод «комиссий»;
  • Метод «мозговых атак»;
  • Метод «Дельфи».

Экспертиза: анкетирование, интервьюирование, метод мозговой атаки (штурма), метод контрольных вопросов, метод аналитических докладных записок, метод лицом к лицу, метод ситуационного анализа, метод суда, метод «комиссий» («круглого стола»), «дельфийская техника» (метод «Дельфи»)
Фактографические методы: экстраполяция, трендовая модель, тренд-анализ, интерполяция, моделирование, математическое моделирование, сценарии, «прогнозы до абсурда» и пр.
Статистические методы: корреляционный анализ, регрессионный анализ, факторный анализ, распознавание образов, вариационное исчисление, спектральный анализ, цепи Маркова, алгебра логики, теория игр и др.

Признаки классификации прогнозовВиды прогнозов
Временной охват (горизонт прогнозирования)краткосрочныесреднесрочныедолгосрочные
Типы прогнозированияэкстраполятивноеальтернативное
Степень вероятности будущих событийвариантныеинвариантные
Способ представления результатов прогнозаточечныеинтервальные

Прогнозирование продаж

1. Определение тренда (тенденции роста/падения)2. Оценка влияния стратегии компании на развитие тренда3. Применение коэффициентов сезонности4. Построение прогноза продаж

Экстраполяция динамических рядов предполагает, что закономерность развития, действующая в прошлом (внутри ряда динамики), сохранится и в будущем.

Тренд (тенденция) — это долговременная тенденция изменения исследуемого временного ряда.
Временной ряд – это числовые значения определенного статистического показателя в последовательные моменты или периоды времени.
Коэффициент сезонности — это величина, на которую увеличиваются / уменьшаются продажи по сравнению со средними в определенный период времени.

Регрессионный анализ

Регрессионный анализ — статистический метод исследования влияния одной или нескольких независимых переменных X1,X2,…,Xp на зависимую переменную Y.

Уравнение линейной регрессии Yх = a+b*X, где а и b оцененные коэффициенты регрессии.

Регрессия — функция, позволяющая по средней величине одного признака определить среднюю величину другого признака, корреляционно связанного с первым.

Обзор категорий методов прогнозирования

Прогнозирование — это процесс построение предсказания будущего на основе исторических данных, текущих данных (текущей ситуации) и на основе анализа трендов.

Риск и неопределенность являются центральными факторами для прогнозирования, поэтому в соответствии с лучшими практиками, необходимо указывать степень неопределенности по отношению к прогнозам.

Корректный подход к оценке метода прогнозирования включает несколько этапов. Следует выделить пять важных этапов:

  • тщательное изучение природы исследуемого объекта или процесса для выбора адекватного метода прогнозирования;
  • выделение двух групп среди доступных данных – для разработки прогнозов и для проверки полученных результатов;
  • уточнение исходных данных с целью обнаружения ошибок;
  • разработка прогнозов и оценка достоверности полученных результатов;
  • использование (интерпретация) полученных результатов и выполнение, при необходимости, уточнения и дополнения прогнозов.

Качественные методы в сравнении с количественными методами

Качественные методы прогнозирования — субъективны, основаны на мнении и суждении потребителей, экспертов. Качественные методы подходят тогда, когда отсутствуют исторические данные. Данные методы применяются, как правило, для среднесрочных и долгосрочных решений.

Примерами качественных методов прогнозирования являются исследование рынка, метод Делфи, историческая аналогия жизненного цикла и т.д.
Количественные модели прогнозирования используются для прогнозирования будущих данных в виде функции от исторических данных.

Они подходят для использования, когда исторические числовые данные доступны и когда ожидается сохранение динамики данных в будущем. Эти методы, как правило, применяются для краткосрочного и среднесрочного прогнозирования.

Примерами количественных методов прогнозирования являются: скользящие средние, экспоненциальное сглаживание, мультипликативные сезонные индексы и т.д.

Метод средних

В данном подходе прогнозирования, все будущие значения принимаются равными средним значениям исторических данных. Этот подход может быть использован для любых исторических данных.
Метод усреднения позволяет разработать прогноз, основываясь на среднем значении прошлых наблюдений.

«Наивный» подход

Наивный метод основан на предположении, что будущее лучше всего характеризуется последними изменениями. Метод основывается на предположении о том, что прогнозируемые показатели в будущем периоде равно показателям предшествующего периода.

Наивный прогноз позволяет работать при отсутствии исторических данных. Наивный прогноз понятен, прост в подготовке, быстр в реализации, не требует, фактически, никаких затрат. Основным недостатком наивного прогнозирования является вероятная низкая точность прогноза.

Метод скользящих средних

Метод скользящих средних является одним из широко известных методов сглаживания временных рядов. Применяя этот метод, можно элиминировать случайные колебания и получить значения, соответствующие влиянию главных факторов.

Сглаживание с помощью скользящих средних основано на том, что в средних величинах взаимно погашаются случайные отклонения. Это происходит вследствие замены первоначальных уровней временного ряда средней арифметической величиной внутри выбранного интервала времени.

Полученное значение относится к середине выбранного интервала времени (периода).Затем период сдвигается на одно наблюдение, и расчет средней повторяется. При этом периоды определения средней берутся все время одинаковыми. Таким образом, в каждом рассматриваемом случае средняя центрирована, т.е.

отнесена к серединной точке интервала сглаживания и представляет собой уровень для этой точки.

При сглаживании временного ряда скользящими средними в расчетах участвуют все уровни ряда. Чем шире интервал сглаживания, тем более плавным получается тренд. Сглаженный ряд короче первоначального на (n–1) наблюдений, где n – величина интервала сглаживания.

Сезонный “наивный” подход

Сезонный наивный метод прогнозирования приравнивает каждый прогнозируемый период равным соответствующему сезону в исторических данных. Например, прогнозируемые величины в апреле будут равны историческим данным за апрель предыдущего года. Данный метод применяется тогда, когда исторические данные характеризуются высоким уровнем сезонности.

Методы временных рядов

Методы временных рядов используют исторические данные в качестве основы для оценки будущих результатов.

  • Moving average (Скользящее среднее);
  • Weighted moving average (Взвешенная скользящая средняя);
  • Kalman filtering (фильтр Калмана);
  • Exponential smoothing (Экспоненциальное сглаживание);
  • Autoregressive moving average (ARMA) — Авторегрессия скользящего среднего;
  • Autoregressive integrated moving average (ARIMA) e.g. Box-Jenkins — интегрированная модель авторегрессии скользящего среднего, например, модель Бокса—Дженкинса;
  • Extrapolation (Экстраполяция);
  • Linear prediction (Линейное прогнозирование);
  • Trend estimation (Оценка тренда);
  • Growth curve (statistics) — Кривая роста (статистические данные).

Причинно-следственные методы/эконометрические методы прогнозирования

Некоторые методы прогнозирования пытаются идентифицировать основные факторы, которые могут повлиять на прогноз. Например, информация о погоде может помочь улучшить прогноз продаж зонтиков.
Причинно-следственные методы включают в себя:

  • Регрессионный анализ содержит в себе большую группу методов для прогнозирования будущих показателей, сюда входят параметрические методы (линейные и нелинейные) и непараметрические методы.
  • Autoregressive moving average with exogenous inputs (ARMAX) — Авторегрессия скользящего среднего с экзогенными входными данными.

Экзогенные переменные — переменные, задающиеся извне, значения которых задаются вне модели.
Эндогенные переменные — переменные, значение которых формируется внутри модели.

Методы экспертных оценок

  • Composite forecasts (составные прогнозы)
  • Cooke’s method (метод Кука)
  • Delphi method (метод Дельфи)
  • Forecast by analogy (Прогноз по аналогии)
  • Scenario building (Построение сценариев)
  • Statistical surveys (Статистическое обследование)
  • Technology forecasting (Прогнозирование технологий)

Методы искусственного интеллекта

Методы искусственного интеллекта

  • Искусственные нейронные сети
  • Групповые методы обработки данных
  • Метод опорных векторов

В настоящее время по данной категории активно применяются следующие методы в специализированных программах:

  • Data mining (Интеллектуальный анализ данных)
  • Machine Learning (Машинное обучение)
  • Pattern Recognition (Распознавание образов)

Точность прогнозирования

Рассмотрим наиболее часто рассчитываемые ошибки для прогнозов

  • Mean absolute error (MAE) — Средняя абсолютная ошибка
  • Mean Absolute Percentage Error (MAPE) — Средняя авбсолютная процентная ошибка
  • Mean Absolute Deviation (MAD) — Среднее абсолютное отклонение
  • Percent Mean Absolute Deviation (PMAD) — Процент среднего абсолютного отклонения
  • Mean squared error (MSE) — Средняя квадратичная ошибка
  • Mean squared prediction error (MSPE) — средняя квадратичная ошибка прогноза
  • Root Mean squared error (RMSE) — Средняя квадратическая ошибка
  • Forecast skill (SS) — Прогноз компетенций
  • Average of Errors (E) — Среднее значение всех ошибок

Источники информации

Источник: https://ivan-shamaev.ru/overview-forecast-methods/

Точность прогнозирования

Приложение 9А. Оценка прогнозирования: Существуют способы оценки выполненного прогноза, которые

Любому человеку, который занимается прогнозированием продаж, важно и необходимо оценивать корректность своих прогнозов. Для этого существует такой показатель, как «Точность прогнозирования». В данной статье именно о нем я и расскажу.

Хочу обратить внимание на то, что в некоторых компаниях данный показатель называют «Аккуратность прогнозирования». Не могу сказать, что это неправильно, но в данной статье будет фигурировать именно «Точность прогнозирования». Ведь мы оцениваем насколько точно наш прогноз совпадает с фактическими значениями, а не аккуратность, с которой мы его высчитывали.

Точность прогнозирования — это показатель, который характеризует качество прогноза. Он отражает насколько сформированный прогноз совпадает с истинными фактическими значениями.

«Точность прогнозирования»: формула, разновидности «ошибок прогноза»

Итак, чтобы рассчитать точность прогнозирования, необходимо сначала рассчитать ошибку прогнозирования в процентах, а затем, вычесть ее из 100%:

В качестве основной ошибки для расчета точности прогнозирования мы будем использовать Взвешенную Абсолютную Процентную Ошибку (WAPE — Weighted Absolute Percent Error), которая рассчитывается по формуле:

То есть: сумма всех отклонений прогноза от факта по модулю, деленное на сумму всех фактов и умноженное на 100%.

Важно! Если ошибка прогнозирования больше 100%, то точность прогнозирования всегда будет равна 0%.

Вообще, помимо WAPE (которую также называют MAD-Mean Ratio), существует множество ошибок, которые мы можем использовать в качестве основной ошибки для расчета точности прогнозирования. Например:

  1. Средняя Абсолютная Процентная Ошибка (MAPE — Mean Absolute Percent Error)
  2. Средняя Процентная Ошибка (MPE — Mean Percent Error)
  3. Медиана Абсолютной Процентной Ошибки (MdAPE — Median Absolute Percent Error)
  4. Средняя Абсолютная Масштабированная Ошибка (MASE — Mean Absolute Scaled Error)

И так далее (более подробно смотрите здесь). Однако при расчете точности прогнозирования, WAPE — наиболее оптимальный вариант ошибки, так как он наименее чувствителен к выбросам и искажениям, а также интуитивно-понятен и прост в расчете. В общем, WAPE — наш выбор!

Итоговая формула примет вид:

Про другие ошибки здесь я писать не буду, потому что и использовать мы их не будем, но если у Вас есть желание ознакомиться с ними, рекомендую к прочтению статьи «A survey of forecast error measures» и «Another look at measures of forecast accuracy», а также книгу «Forecasting: Principles and Practice». К сожалению, русскоязычной информации на просторах всемирной сети на эту тематику не очень много, поэтому для изучения материала необходимы минимальные знания английского языка.

Примеры расчета точности прогнозирования:

Итак, формула расчета точности у нас есть, теперь мы перейдем непосредственно к примеру расчета:

Все просто. У нас есть исходные данные: SKU, факт продаж и прогноз продаж. Для каждого SKU мы находим отклонения по модулю (|факт-прогноз|), а затем суммируем их, получаем 126.

Затем суммируем все фактические показатели, получаем 468. Находим ошибку прогнозирования: делим сумму отклонений на сумму фактических показателей — 126/468 = 0,269, то есть 27%.

И вычитаем значение ошибки прогнозирования из 100% и получаем точность 73%. Средний результат.

Также, бывают ситуации, когда необходимо рассчитать не общую точность по всем номенклатурам, а отдельно по каждому клиенту (или номенклатурной группе, или по каналам продаж и т.д.). На таблице ниже изображен изображен именно такой пример:

Суть расчетов не меняется, только теперь находим сумму отклонений и сумму фактов для каждого из клиентов по отдельности. Для первого клиента ошибка прогнозирования равна 126/468 = 27%, соответственно точность равна 73% (то же самое, что и в первом примере), а для второго клиента ошибка прогнозирования равна 206/662 = 31%, и точность равна 69%.

В общем-то и все. Мы нашли точность прогнозирования отдельно для списка SKU и отдельно по каждому клиенту. Важно(!) помнить некоторые правила:

  1. Если ошибка прогнозирования (WAPE) больше 100% — точность прогнозирования всегда 0%. Математически можно записать это так: Точность = Maximum of (1 — Ошибка, 0)
  2. Если сумма фактов равна нулю (ошибка подразумевает деление на сумму фактов, а на ноль делить нельзя), то рассматриваем два случая:
    • если прогноз тоже = 0, то точность всегда равна 100%
    • если прогноз ≠ 0, то точность всегда равна 0%
  3. Перед нахождением точности необходимо проконсолидировать данные, то есть просуммировать объемы по одинаковым позициям (для более подробной детализации — просуммировать объемы по одинаковым позициям для каждого элемента детализации).

Файл с примерами из статьи можно скачать здесь.

Источник: https://shtem.ru/%D1%82%D0%BE%D1%87%D0%BD%D0%BE%D1%81%D1%82%D1%8C-%D0%BF%D1%80%D0%BE%D0%B3%D0%BD%D0%BE%D0%B7%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F-%D1%84%D0%BE%D1%80%D0%BC%D1%83%D0%BB%D0%B0/

Оценка качества прогнозов: простейшие методы (Турунцева М.Ю., 2011)

Приложение 9А. Оценка прогнозирования: Существуют способы оценки выполненного прогноза, которые

Прогнозирование показателей экономической деятельности является неотъемлемой составляющей экономического процесса.

Существует много методов прогнозирования, в частности, экспертные оценки, обследования потребителей и предпринимателей, экстраполирование, модели временных рядов, эконометрические системы. В этой связи встает вопрос об оценке качества прогнозов, полученных различными способами.

Существует стандартный набор простейших статистик качества прогнозов и ряд довольно простых тестов, позволяющих ответить на вопрос о значимости различий между прогнозами того или иного показателя, если их было несколько. Необходимо отметить, что предложенные методы не зависят от того, каким из перечисленных выше способов получены прогнозы.

Простейшие статистики качества прогнозов 

К простейшим статистикам качества прогнозов относятся средняя абсолютная процентная ошибка прогнозирования (Mean Percent Error – MAPE), средняя абсолютная ошибка прогнозирования (Mean Error – MAE), корень квадратный из средней квадратичной ошибки прогнозирования (Root Mean Squared Error – RMSE).

Средняя абсолютная процентная ошибка прогнозирования является абсолютной мерой качества прогнозов в том смысле, что позволяет оценить его независимо от других прогнозов: достаточно выбрать некий уровень средней ошибки (например, 5%) и сравнивать рассчитанное по статистике значение с этим тестовым уровнем. Если расчетное значение меньше тестового, то прогноз считается хорошим, если больше – плохим.

Две другие меры качества прогнозов (MAE и RMSE) являются относительными, то есть могут быть использованы для сравнения двух (или более) различных прогнозов одного и того же показателя между собой: лучшим считается тот прогноз, у которого значение МАЕ или RMSE меньше.

При этом, очевидно, этот лучший прогноз может быть хорошим или плохим с точки зрения МАРЕ. Обычно все эти статистики не противоречат друг другу, то есть выбирают в качестве лучшего один и тот же прогноз, но наиболее часто для сравнения прогнозов используется RMSE.

Главными достоинствами всех перечисленных выше статистик является простота их расчета и независимость от свойств ошибок прогнозирования, главным недостатком – то, что они не позволяют получить ответ на вопрос о том, являются ли два прогноза показателя разными со статистической точки зрения. Поясним, что мы имеем в виду. 

Пусть у нас есть два различных прогноза одного и того же показателя. Например, эти прогнозы получены по двум разным моделям А и В. Мы знаем, что модель А является довольно простой (например, с точки зрения методов ее оценки), а модель В, напротив – сложной.

Рассчитав простейшие статистики качества получаем, что модель В обладает чуть лучшими характеристиками, например, ее МАРЕ равно 4,9%, а МАРЕ модели А – 5,3%. На первый взгляд, модель В лучше. Но мы знаем, что для ее оценки требуется гораздо больше усилий по сравнению с моделью А.

Соответственно, возникает вопрос: а стоит ли тратить много усилий на оценку модели, прогноз по которой получается не намного лучше, чем при использовании с гораздо более простой модели?

Для ответа на этот вопрос можно использовать специальные тесты: F-тест, тест Моргана – Грейнджера – Ньюболда, тест Миза – Рогоффа, тест знаков и ранговый тест знаков Вилкоксона, которые позволяют выяснить (проверить гипотезу) являются ли множества прогнозов, полученных двумя разными способами, различными с формальной (статистической) точки зрения. 

Отметим актуальность проблемы: многие эмпирические исследования показывают, что прогнозы по простым моделям очень часто оказываются лучше с точки зрения простейших статистик качества, чем прогнозы, полученные более сложными методами.

Тесты для проверки гипотезы о совпадении прогнозов

Самым простым способом проверки гипотезы о совпадении прогнозов, полученными двумя различными способами (А и В), является F-тест, который рассчитывается как отношение выборочной ковариации между ошибками прогнозирования, полученными по различным моделям, к выборочной дисперсии ошибки прогнозирования, полученной по модели В.

Для возможности применения теста необходимо, чтобы ошибки прогнозирования удовлетворяли всем стандартным требованиям, то есть имели нулевой средний уровень, являлись нормальными, а также серийно и однвременно некоррелированными.

Такие серьезные ограничения являются главным недостатком теста, поскольку сильно ограничивают возможности его корректного использования применительно к реальным данным.

В тесте Моргана – Грейнджера – Ньюболда можно ослабить предположение об одновременной коррелированности ошибок прогнозирования. Более того, Диболд и Мариано показали, что единственным предположением, которое не может быть ослаблено по сравнению с F-тестом, является необходимость использования в качестве базовой статистики RMSE.

Тест Миза – Рогоффа можно использовать, если ошибки прогнозирования являются и серийно, и одновременно коррелированными. И он совпадает с тестом Моргана – Грейнджера – Ньюболда, если ряды ошибок не являются серийно коррелированными.

Диболд и Мариано предложили тест, являющийся устойчивым к различным отклонениям от стандартных предположений о свойствах ошибок прогнозирования – они ослабили все предположения классического F-теста. С этой точки зрения, данный тест является универсальным инструментом проверки гипотезы об отсутствии значимых различий между прогнозами.

Главным недостатком всех рассмотренных тестов, является то, что они дают хорошие результаты, если в наличии имеются длинные ряды прогнозов. Но чаще всего это условие не выполняется.

В таком случае можно использовать тест знаков и ранговый тест знаков Вилкоксона, который является более мощным тестом (то есть при прочих равных условиях дает более достоверные результаты) по сравнению с тестом знаков.

Вывод

Все рассмотренные тесты хорошо работают при большом количестве наблюдений и при выполнении необходимых условий дают адекватные со статистической точки зрения результаты.

Понятие большой выборки определить довольно сложно и для разных тестов пороговые значения могут быть различными.

Например, для теста Миза – Рогоффа Диболд и Мариано определено, что достаточный размер выборки достигается при числе прогнозных точек больше 64.

Нарушение различных предположений тестов ведет к различным потерям, и мы не будем останавливаться на этом подробно. При наличии малого числа наблюдений лучше использовать тесты знаков, поскольку в этой ситуации они дают более адекватные результаты по сравнению с другими рассмотренными тестами.

Приложение

Пусть yT+i – фактическое значение показателя в момент T+i, fT,i – прогноз этого показателя в момент  Т на i шагов вперед, eT,i = yT+i – fT,i – ошибка прогноза в момент Т на i шагов вперед, h – горизонт прогнозирования.

1. (формула)

2. (формула)

3. (формула)

4. F-тест. Тестовая статистика выглядит следующим образом:

(формула),

где

h – горизонт прогнозирования; 

……. –векторы ошибок прогнозирования по моделям А и В, соответственно.

5. Тест Моргана – Грейнджера – Ньюболда. Тестовая статистика:

(формлула),

где ρxz – выборочный коэффициент корреляции между суммой (x) и разностью (z) ошибок прогнозирования различных моделей.

6. Тест Миза – Рогоффа. Тестовая статистик:

(формула),

где γxz – выборочный коэффициент ковариации между суммой и разностью ошибок прогнозирования моделей A и B;

Σ – состоятельная оценка ковариационной матрицы.

7. Тест знаков. В предположении о симметричности распределения разности функций потерь число положительных наблюдений в выборке размера h имеет биноминальное распределение с параметрами h и ½. Тогда тестовая статистика имеет вид:

где , …….. – разность функций потерь прогнозов А и В, g ( yT+i , fkT,i ) – функция потерь, характеризующая отклонения прогнозных значений показателя yt в момент Т на i шагов вперед, оцененных на основе модели k (например, по модели А, либо В), от истинного значения yT+i в этот момент времени. В случае больших выборок используется статистика:

 ……….    .

В случае отсутствия значимых различий прогнозных свойств моделей, статистика S2 должна быть приблизительно равна 0,5h , а S2a тогда принимает значение около нуля.

8. Ранговый тест знаков Вилкоксона. Можно использовать, если выполняются условия симметричности разности функций потерь ошибок прогнозирования различных моделей и разность функций потерь ошибок прогнозирования является независимой одинаково распределенной случайной величиной. В этом случае тестовая статистика может быть рассчитана как:

(формула)

где rank |di |– ранг абсолютной величины значения разности функций потерь ошибок прогнозирования различных моделей в момент времени i = 1 ,…, h.

Тогда S3 – сумма рангов положительных значений разности функций потерь ошибок прогнозирования разных моделей. Критические значения для небольших выборок (h – мало) можно найти в специальных таблицах, для больших выборок (асимптотически) статистика имеет стандартное нормальное распределение.

Источник: https://creativeconomy.ru/lib/6937

Классификация методов и моделей прогнозирования

Приложение 9А. Оценка прогнозирования: Существуют способы оценки выполненного прогноза, которые

Я занимаюсь прогнозированием временных рядов уже более 5 лет. В прошлом году мною была защищена диссертация по теме «Модель прогнозирования временных рядов по выборке максимального подобия», однако вопросов после защиты осталось порядочно. Вот один из них — общая классификация методов и моделей прогнозирования.

Обычно в работах как отечественных, так и англоязычных авторы не задаются вопросом классификации методов и моделей прогнозирования, а просто их перечисляют. Но мне кажется, что на сегодняшний день данная область так разрослась и расширилась, что пусть самая общая, но классификация необходима. Ниже представлен мой собственный вариант общей классификации.

В чем разница между методом и моделью прогнозирования?

Метод прогнозирования представляет собой последовательность действий, которые нужно совершить для получения модели прогнозирования. По аналогии с кулинарией метод есть последовательность действий, согласно которой готовится блюдо — то есть сделается прогноз.

Модель прогнозирования есть функциональное представление, адекватно описывающее исследуемый процесс и являющееся основой для получения его будущих значений. В той же кулинарной аналогии модель есть список ингредиентов и их соотношение, необходимый для нашего блюда — прогноза.

Совокупность метода и модели образуют полный рецепт!

В настоящее время принято использовать английские аббревиатуры названий как моделей, так и методов.

Например, существует знаменитая модель прогнозирования авторегрессия проинтегрированного скользящего среднего с учетом внешнего фактора (auto regression integrated moving average extended, ARIMAX).

Эту модель и соответствующий ей метод обычно называют ARIMAX, а иногда моделью (методом) Бокса-Дженкинса по имени авторов.

Сначала классифицируем методы

Если посмотреть внимательно, то быстро выясняется, что понятие «метод прогнозирования» гораздо шире понятия «модель прогнозирования». В связи с этим на первом этапе классификации обычно делят методы на две группы: интуитивные и формализованные [1].

Если мы вспомним нашу кулинарную аналогию, то и там можно разделить все рецепты на формализованные, то есть записанные по количеству ингредиентов и способу приготовления, и интуитивные, то есть нигде не записанные и получаемые из опыта кулинара. Когда мы не пользуемся рецептом? Когда блюдо очень просто: пожарить картошку или сварить пельмени — тут рецепт не нужен. Когда еще мы не пользуемся рецептом? Когда желаем изобрести что-то новенькое!

Интуитивные методы прогнозирования имеют дело с суждениями и оценками экспертов.

На сегодняшний день они часто применяются в маркетинге, экономике, политике, так как система, поведение которой необходимо спрогнозировать, или очень сложна и не поддается математическому описанию, или очень проста и в таком описании не нуждается. Подробности о такого рода методах можно глянуть в [2].

Формализованные методы — описанные в литературе методы прогнозирования, в результате которых строят модели прогнозирования, то есть определяют такую математическую зависимость, которая позволяет вычислить будущее значение процесса, то есть сделать прогноз.

На этом общая классификация методов прогнозирования на мой взгляд может быть закончена.

Далее сделаем общую классификация моделей

Здесь необходимо переходить к классификации моделей прогнозирования. На первом этапе модели следует разделить на две группы: модели предметной области и модели временных рядов.

Модели предметной области — такие математические модели прогнозирования, для построения которых используют законы предметной области. Например, модель, на которой делают прогноз погоды, содержит уравнения динамики жидкостей и термодинамики.

Прогноз развития популяции делается на модели, построенной на дифференциальном уравнении. Прогноз уровня сахара крови человека, больного диабетом, делается на основании системы дифференциальных уравнений. Словом, в таких моделях используются зависимости, свойственные конкретной предметной области.

Такого рода моделям свойственен индивидуальный подход в разработке.

Модели временных рядов — математические модели прогнозирования, которые стремятся найти зависимость будущего значения от прошлого внутри самого процесса и на этой зависимости вычислить прогноз.

Эти модели универсальны для различных предметных областей, то есть их общий вид не меняется в зависимости от природы временного ряда. Мы можем использовать нейронные сети для прогнозирования температуры воздуха, а после аналогичную модель на нейронных сетях применить для прогноза биржевых индексов.

Это обобщенные модели, как кипяток, в которые если бросить продукт, то он сварится вне зависимости от его природы.

Классифицируем модели временных рядов

Мне кажется, что составить общую классификацию моделей предметной области не представляется возможным: сколько областей, столько и моделей! Однако модели временных рядов легко поддаются простому делению [3]. Модели временных рядов можно разделить на две группы: статистические и структурные.

В статистических моделях зависимость будущего значения от прошлого задается в виде некоторого уравнения. К ним относятся:

  1. регрессионные модели (линейная регрессия, нелинейная регрессия);
  2. авторегрессионные модели (ARIMAX, GARCH, ARDLM);
  3. модель экспоненциального сглаживания;
  4. модель по выборке максимального подобия;
  5. и т.д.

В структурных моделях зависимость будущего значения от прошлого задается в виде некоторой структуры и правил перехода по ней. К ним относятся:

  1. нейросетевые модели;
  2. модели на базе цепей Маркова;
  3. модели на базе классификационно-регрессионных деревьев;
  4. и т.д.

Для обоих групп я указала основные, то есть наиболее распространенные и подробно описанные модели прогнозирования. Однако на сегодняшний день моделей прогнозирования временных рядов имеется уже громадное количество и для построения прогнозов, например, стали использовать SVM (support vector machine) модели, GA (genetic algorithm) модели и многие другие.

Общая классификация

Таким образом мы получили следующую классификацию моделей и методов прогнозирования.

Ссылки.

  1. Тихонов Э.Е. Прогнозирование в условиях рынка. Невинномысск, 2006. 221 с.
  2. Armstrong J.S. Forecasting for Marketing // Quantitative Methods in Marketing.

    London: International Thompson Business Press, 1999. P. 92 – 119.

  3. Jingfei Yang M. Sc. Power System Short-term Load Forecasting: Thesis for Ph.d degree.

    Germany, Darmstadt, Elektrotechnik und Informationstechnik der Technischen Universitat, 2006. 139 p.

UPD. 15.11.2016.
Господа, дошло до маразма! Недавно мне прислали на рецензию статью для ВАКовского издания со ссылкой на эту запись. Обращаю внимание, что ни в дипломах, ни в статьях, ни тем более в диссертациях ссылаться на блог нельзя! Если хотите ссылку, то используйте эту: Чучуева И.А. МОДЕЛЬ ПРОГНОЗИРОВАНИЯ ВРЕМЕННЫХ РЯДОВ ПО ВЫБОРКЕ МАКСИМАЛЬНОГО ПОДОБИЯ, диссертация… канд. тех. наук / Московский государственный технический университет им. Н.Э. Баумана. Москва, 2012.

Источник: https://habr.com/post/177633/

Прогнозирование с помощью количественных методов

Приложение 9А. Оценка прогнозирования: Существуют способы оценки выполненного прогноза, которые

Рассмотрим следующие количественные методы: исследование рынка, экстраполяция статистических тенденций, построение 5-кривой, группа методов прогнозирования на основе взаимосвязей (опережающие индикаторы, корреляционные и регрессивные методы, построение эконометрических моделей).

Исследование рынка. Оно включает выяснение точек зрения существующих и потенциальных потребителей с целью построения картины будущего рыночного спроса на основе изучения их мнений.

Это метод активного сбора мнений людей, покупающих или желающих купить определенный товар. Метод позволяет получить качественные показатели, такие как изменение отношения людей к товару и их мнения о нем.

Однако здесь существует ограничение: выясняется лишь то, что люди чувствуют сегодня, а не в будущем.

Метод нелишен недостатков, и главный из них — большие затраты.

Исследование рынка — один из наиболее дорогих методов прогнозирования для отдельной организации, хотя эти расходы могут быть снижены, если опрос проводится либо торговой организацией, такой, например, как Общество автомобильных производителей и торговцев Великобритании, либо профессиональными организациями, специализирующимися на анализе рынка для всей отрасли. Последние включают организации, подобные EIU (Economist Intelligence Unit), Mintel and Nielsens (занимающиеся прогнозами розничной торговли). В России действуют организации, которые специализировались на анализе рынков еще в советское время, — это Всероссийский научно-исследовательский институт конъюнктурной информации, а также отраслевые институты информации. Подготовка исследовательских отчетов может стоить от нескольких сотен до нескольких тысяч долларов. Ограниченное число экземпляров обычно означает большую стоимость, но, возможно, и больший объем информации, особенно важной для конкретной организации.

Другим недостатком метода является то, что требуется тщательная формулировка задаваемых вопросов, чтобы не было какой-либо «наводки» на определенный ответ. Люди могут давать ответы, которые, по их мнению, хотел бы услышать интервьюер, или такие, которые связаны с наименьшими неудобствами для них.

Эффективность некоторых из таких методов прогнозирования относительно недавно была поставлена под сомнение в связи с выяснением мнения по поводу российских президентских выборов и выборов в Государственную Думу в конце 1990-х гг.

Расхождение между результатами выборов и результатами предварительных исследований, публикуемых в рейтингах претендентов в СМИ, заставило усомниться в пользе подобных прогнозов.

Экстраполяция статистических тенденций. Второй метод прогнозирования — экстраполяция статистических тенденций. Существует две разновидности этого метода:

  • • экстраполяция временных рядов;
  • • определение скользящего среднего.

Экстраполяция — это, проще говоря, продление тенденции. Есть два основных вида экстраполяции. Первый -линейная экстраполяция.

Существует множество статистических пакетов компьютерных программ, с помощью которых проводят экстраполяцию на основании имеющихся данных. Второй вид — криволинейная экстраполяция, т.е.

продление тенденции по кривой. Это — криволинейная модификация линейной экстраполяции.

Некоторые виды экстраполяции, представленные на рис. 3.3, основаны на вычислении скользящего среднего, которое сглаживает колебания.

Рис. 3.3.Прогнозирование методом скользящего среднего

По своей сути прогнозирование с помощью скользящего среднего есть осреднение подъемов и спадов сезонных колебаний, продленное в будущее. Цель экстраполяции — сглаживание колебаний. Рассмотрим пример.

Кривая инфляции изменяется от месяца к месяцу, поэтому единственный путь выявить тенденцию — это сгладить колебания путем осреднения.

После получения данных по каждому очередному месяцу они усредняются, скажем, по последним трем месяцам для получения скользящего среднего па четырехмесячный период.

  • 5-кривая. 5-образная форма экстраполяционной кривой применяется при прогнозах темпов замены одной технологии на другую или одного вида товара другим. Пример 5-кривой для компакт-дисков представлен на рис. 3.4.
  • 5-кривая демонстрирует, как компакт-диски заменяли собой подобные им товары. Вертикальная ось — доля рынка, горизонтальная — время. Форма 5-кривой показывает темпы замены некоторых технологий звукозаписи компакт-дисками. Сначала темп медленный, но затем 5-кривая становится все более крутой, а со временем наклон кривой уменьшается.

Однако метод 5-кривой имеет определенные ограничения в применении. Вот одна из проблем. Хорошо известно, что данные ведут себя в форме 5-кривой, но какова ее форма на самом деле: пологая или крутая? Какой процент внедрения на рынок может быть в конце концов достигнут?

Рис. 3.4.5-кривая

Способствовало снижению крутизны роста 5-кривой для компакт-дисков внедрение фирмой Sony в 1990-е гг. нового вида цифровой звукозаписи на магнитную ленту — DAT (digital audio tape).

Прогнозирование на основе взаимосвязей. Третья группа методов прогнозирования прогнозирование на основе взаимосвязей. Согласно этим методам пытаются найти:

  • а) ассоциативную связь между двумя переменными, поведение одной из которых мы хотим спрогнозировать;
  • б) причинную взаимосвязь между двумя или более переменными с возможным запаздыванием по времени. Здесь мы рассмотрим три разновидности метода:
    • — опережающие индикаторы;
    • — корреляция и регрессия;
    • — эконометрические модели.

Опережающие индикаторы. Опережающие индикаторы представляют собой соотношение запаздывания но времени между двумя временными рядами, как это показано на рис. 3.5.

Рис. 3.5.Определение тенденций изменений с помощью опережающего индикатора

Одним из наиболее точных опережающих индикаторов экономического цикла считается индекс Доу-Джонса па фондовом рынке Нью-Йорка, который безошибочно предсказывает каждый экономический подъем, начиная с конца Второй мировой войны. Индекс FT-SE (Financial Times -Stock Exchange), рассчитываемый газетой «Financial Times» совместно с Лондонской фондовой биржей в Великобритании, является аналогом индекса Доу-Джонса.

Суть метода опережающего индикатора может быть кратко сформулирована следующим образом:

  • • определение тенденции, предваряющей другую тенденцию;
  • • определение изменения, предваряющего другое изменение.

Иными словами, тенденция изменения переменной А проявляется раньше, чем у переменной В; и аналогично, изгиб кривой А опережает изгиб кривой В.

Корреляционные и регрессионные методы.

Корреляционные и регрессионные методы прогнозируют поведение переменной величины исходя из временной взаимосвязи между ней и другой переменной, которая может быть выражена в виде статистической зависимости, называемой регрессией или корреляцией (детали данных понятий нам здесь не понадобятся). Иначе говоря, эти методы дают возможность установить зависимость изменения одной переменной в случае изменения другой на определенную величину.

Эконометрические модели. Последним из рассматриваемых нами методов прогнозирования на основе взаимосвязей являются эконометрические модели.

Как и в других моделях, здесь формируются прогнозы путем интегрирования некоторой системы уравнений.

Эти уравнения могут отражать либо основные элементы экономики в целом, либо некоторые факторы, воздействующие на некоторый показатель работы организации.

Оценка методов прогнозирования

Какой из методов прогнозирования является наилучшим? Однозначного и универсального ответа на этот вопрос нет. Однако можно заметить, что те или иные методы прогнозирования пригодны в зависимости от следующих факторов:

  • • целей или требований к прогнозу;
  • • условий внешнего окружения;
  • • ресурсов, которыми располагает компания.

Если требуется быстрый результат, то такие методы, как рыночное тестирование или исследование, требующие значительного времени для получения данных и их обработки, будут явно уступать методам, основанным на высказываниях и оценках, таким, как опрос продавцов или менеджеров, который можно провести довольно быстро.

Если условия внешнего окружения изменяются крайне быстро, и возникает опасение, что методы экстраполяции или осреднения не могут быть использованы, то лучше обратиться к сценариям или дельфийскому методу.

Если организационные ресурсы (наличие компьютеров, знания и опыт, финансы) ограничены, то разумно применить некоторые ассоциативные или причинные методы прогнозирования. Прогнозирование потребляет ресурсы начиная от затрат времени менеджером до финансовых расходов.

Прогнозирование на основе экстраполяции временных зависимостей или взаимосвязей требует массы данных за истекший период, обычно также нужны компьютеры, деньги и соответствующие знания, а при использовании методов, основанных на опросе мнений, можно обойтись гораздо меньшими ресурсами.

Решая вопрос о том, какой метод прогнозирования использовать, необходимо учитывать следующие факторы:

  • • период времени, охватываемый прогнозом;
  • • сроки выполнения прогноза;
  • • необходимость частого пересмотра прогноза;
  • • требуемую степень точности.

Что касается последнего требования — точности, то за правило можно принять следующее: желаемая точность прогноза зависит от его цели. Следует оценить, какова допустимая неточность прогноза, чтобы основанному на нем решению можно было доверять.

Оценка прогнозов, сделанных вне организации

Помимо разработки собственных прогнозов, компании могут покупать прогнозы, сделанные другими. Оценка приобретаемого прогноза предусматривает получение следующей информации: что собой представляет сам прогноз, источник прогноза и цели организации, которой требуется прогноз.

Во-первых, что представляет собой прогноз:

  • • что именно прогнозируется;
  • • на каких допущениях основан прогноз? Во-вторых, каковы цели компании:
  • • отвечает ли прогноз целям компании;
  • • будет ли прогноз убедительным? (Внутри компании прогноз — дело политическое.)

В-третьих, каков источник прогноза:

  • • что известно об организации, выполнившей прогноз;
  • • как и с какой целью был выполнен прогноз;
  • • насколько точны данные, использованные в прогнозе? Эффективно работающие компании делают большое число прогнозов по различным аспектам своего внешнего окружения. Сфера прогнозирования очень широка — от макроэкономических показателей, таких как валовой национальный продукт, инфляция и т.п., до прогнозов по отдельным отраслям промышленности или рынкам. Публикуемые прогнозы по таким переменным, как цены, рост производства, процентные ставки, могут быть использованы компаниями для собственных прогнозов, используемых в АКУ.

Источник: https://studme.org/1081080618794/ekonomika/prognozirovanie_pomoschyu_kolichestvennyh_metodov

Scicenter1
Добавить комментарий