Методи оцінки якості прогнозу

Часто при складанні будь-якого прогнозу забувають про способи оцінки його результатів. Бо часто буває прогноз є, а порівняння його з фактом відсутнє. Ще більше помилок трапляється, коли існують дві (або більше) моделі і не завжди очевидно - яка з них краща, точніша. Як правило, однією цифрою (R 2 ) складно обійтися. Якби вам сказали цей хлопець ходить у синій футболці. І вам відразу все стало про нього ясно)

Залишки

Отже, за порядком. Основна величина, через яку оцінюється точність прогнозу, це залишки (Іноді: помилки, error, e). У загальному вигляді це різниця між спрогнозованими значеннями та вихідними даними (або фактичними значеннями). Природно, що чим більше залишки, тим сильніше ми помилилися. Для обчислення порівняльних коефіцієнтів залишки перетворюють: або беруть за модулем, або зводять у квадрат (див. таблицю, колонки 4,5,6). У сирому вигляді майже використовують, оскільки сума негативних і позитивних залишків може звести сумарну помилку в нуль. А це безглуздо, самі розумієте.

Суворі MSE та R 2

Коли нам потрібно підігнати криву під наші дані, то точність цієї припасування оцінюватиметься програмою по середньоквадратичній помилці (mean squared error, MSE). Розраховується за нехитрою формулою

де n-кількість спостережень.

Відповідно, програма, розраховуючи криву припасування, прагне мінімізувати цей коефіцієнт. Квадрати залишків у чисельнику взяті саме з тієї причини, щоб плюси та мінуси не взаємознищилися. Фізичного сенсу MSE немаєАле чим ближче до нуля, тим модель краще.

Друга абстрактна величина це R 2 - коефіцієнт детермінації. Характеризує ступінь подібності вихідних даних і передбачених.

де Var(Y) - Дисперсія вихідних даних.

Безумовно, коефіцієнт детермінації — важливий критерій вибору моделі.

MAPE та MAD для порівняння моделей

Статистичні методи оцінки моделей на кшталт MSE і R 2 , на жаль, важко інтерпретувати, тому світлі голови вигадали полегшені, але зручні для порівняння коефіцієнти.

Середнє абсолютне відхилення (mean absolute deviation, MAD) визначається як часткове від суми залишків по модулю до числа спостережень. Зручно? прогноз.

MAPE покликаний надати моделі ще більш наочний зміст. середня абсолютна помилка у відсотках (mean percentage absolute error, MAPE).

де Y - значення вихідного ряду.

Виражається MAPE у відсотках, і в моєму випадку означає, що модель може помилятися в середньому на 16% Що, погодьтеся, цілком припустимо.

Нарешті, остання абсолютно синтетична величина – це Bias, чи просто зміщення. Справа в тому, що в реальному світі відхилення в одну сторону часто набагато болючіше, ніж в іншу. спостережень.У моєму випадку 44% спрогнозованих значень виявилися нижчими за вихідні. І можна пожертвувати іншими критеріями оцінки, щоби мінімізувати цей Bias.

Можете спробувати це самі в Excel та Numbers

Цікаво дізнатися, які методи оцінки якості прогнозування ви використовуєте у своїй роботі?

Розрахунок помилок прогнозу

Для аналізу результатів розрахунку прогнозу, протягом ряду ви можете розрахувати наступні помилки:

• MAPE - середня абсолютна помилка у %. Помилка оцінює, наскільки великі помилки в порівнянні зі значенням ряду і з помилками в сусідніх рядах.
  Детальніше читайте у статті на нашому сайті: http://4analytics.ru/metodi-analiza/mape-%E2%80%93-srednyaya-absolyutnaya-oshibka-praktika-primeneniya.html
• MRPE – середня відносна помилка у %, оцінює наскільки велика дельта між фактом та прогнозом. Чим ближче до 100%, тим більша помилка, чим ближче до нуля, тим менша помилка.
• MSE – середня квадратична помилка підкреслює великі помилки за рахунок зведення кожної помилки в квадрат.
  Докладніше читайте у статті на нашому сайті:
  http://4analytics.ru/metodi-analiza/mse-%E2%80%93-srednekvadraticheskaya-oshibka-v-excel.html
• MPE – середня відсоткова помилка – показує завищений чи занижений прогноз щодо факту. Якщо помилка менша за нуль, то прогноз послідовно завищений, якщо помилка більша за нуль, то прогноз послідовно занижений.
  Докладніше читайте у статті на нашому сайті:
  http://4analytics.ru/metodi-analiza/mpe-%E2%80%93-srednyaya-procentnaya-oshibka-v-excel.html
• MAD - Середнє абсолютне відхилення. Використовується, коли важливо виміряти помилку у тих самих одиницях, як і вихідний ряд.
  Докладніше читайте у статті на нашому сайті:
  http://4analytics.ru/planirovanie-i-prognozirovanie-praktika/dopolnitelnie-oborotnie-sredstva-za-schet-povisheniya-tochnosti-prognoza.html
• A MAPE - Помилка, яка показує відхилення середніх значень ряду до середніх значень моделі прогнозу. Має значення при нерівномірному перерозподілі значень ряду за періодами.
• S MAPE - Помилка, яка показує відхилення суми значення ряду до суми значень моделі прогнозу. Має значення при нерівномірному перерозподілі значень ряду за періодами.

А також 2 показники "Точність прогнозу":

• Точність прогнозу = 1 - МАРЕ
• Точність прогнозу 2 = 1 – MRPE

Для розрахунку помилок одночасно з прогнозом, натискаємо кнопку «Розрахунок помилок» у меню "FORECAST"

У вікні вибираємо потрібні для розрахунку помилки:

Тепер при розрахунку прогнозу, протягом ряду, програма автоматично зробить розрахунок зазначених Вами помилок:

3 способи оцінки точності прогнозу та вибору оптимальної моделі?

Існує безліч моделей прогнозу, але як вибрати серед них ту, яка найбільше точно зробить прогноз?

З цієї статті ви дізнаєтесь:

1. Які способи оцінки прогнозу ви можете використати?
2. Як вибрати оптимальну модель, яка допоможе зробити максимально точний прогноз?
3. Як розрахувати показник "Точність прогнозу"?

Які способи оцінки прогнозної моделі ви можете використовувати:

1. Оцінити ставлення фактичних продажів до прогнозу;

2. Розрахунок показника точність прогнозу - оцінка наскільки точно обрана модель описує аналізовані дані;

3. Графічний аналіз - будуємо графік і візуально оцінюємо адекватність моделі прогнозу щодо фактичних продажів за останній період;

1-й спосіб - Розрахунок ставлення фактичних продажів до прогнозу.

Спочатку розраховуємо прогноз різними способами та оцінюємо ставлення фактичних продажів до прогнозу. ВАЖЛИВО протестувати моделі не за одним товаром або напрямком продажів, а відразу взяти 10 і більше товарних позицій або напрямків продажів і розрахувати прогноз за ними на мінімум на 3 періоди вперед (кількість періодів та напрямки прогнозу) залежать від ваших завдань. Якщо завдання зробити точний прогноз на 6 місяців, то розраховуємо прогноз на 6 місяців декількома варіантами і оцінюємо ставлення факту до прогнозу за сумою півроку).

Розрахуємо прогноз 4 способами на півроку. Протестуємо такі моделі:

1. Лінійний тренд + сезонність - Лист "Лінійний" у доданому файлі (див. статтю "Як розрахувати прогноз з урахуванням зростання та сезонності в Excel")
2. Логарифмічний тренд + сезонність - Лист "Логарифмічний" у доданому файлі (див. статтю "5 способів розрахунку значень логарифмічного тренду")
3. Ковзна середня з сезонністю до 2-х місяців - Лист "Ковзна до 2-м" (див. статтю "Як розрахувати прогноз за методом ковзної середньої");
4. Ковзаюча середня з сезонністю до 3-х місяців - Лист "Ковзає до 3-м";

Для кожної із 4-х прогнозних моделей у аркуші "Оцінка моделей":

• Підсумовуємо фактичний продаж, які ми порівнюватимемо з прогнозом;

• Розраховуємо ставлення факту до прогнозу щодо кожної позиції для кожної моделі;

• Розраховуємо за кожною моделлю середнє ставлення факту до прогнозу;

• Вибираємо модель прогнозу, яка за показником "середнє ставлення факту до прогнозу" виявилася максимально наближеною до 100%;

Для наших даних найточнішою моделлю виявилася ковзна середня до 3-х місяців із сезонністю, середнє відхилення факту від прогнозу 97%.

Ми протестували кожну модель прогнозу на реальних даних та вибрали для себе оптимальну, яка в середньому показала мінімальне відхилення від факлічного продажу.

2-й спосіб оцінки моделі прогнозу - розрахунок показника точності прогнозу.

Показник точності прогнозу показує, наскільки точно обрана модель прогнозу визначає дані. Ідея в тому, що точніше обрана модель описує фактичні дані, то точніше вона зробить прогноз.

Як розрахувати точність прогнозу? Розглянемо з прикладу розрахунку моделі прогнозу з лінійним трендом і сезонністю.

1. Розраховуємо значення прогнозної моделі для кожного аналізованого моменту часу у минулому.

Для цього значення тренду для аналізованих періодів множимо на вирівняні коефіцієнти сезонності (див. файл із прикладом)

2. Розраховуємо помилку прогнозної моделі. Для цього за кожний період від фактичних значень віднімаємо значення прогнозної моделі.

3. Розраховуємо квадратичне відхилення помилки від значень прогнозної моделі (див. файл із прикладом);

4. Розраховуємо середнє значення квадратичного відхилення, тобто. середньоквадратичне відхилення

5. Точність прогнозу = (1- середньоквадратичне відхилення помилки прогнозної моделі)*100 (див. файл з прикладом).

Показник точності прогнозу виражається у відсотках:

• Якщо точність прогнозу дорівнює 100%, то обрана модель визначає фактичні значення 100%, тобто. дуже точно.
• Якщо 0% чи негативне число, то зовсім не визначає, і цій моделі довіряти не варто.

Вибрати відповідну модель прогнозу можна за допомогою розрахунку показника точність прогнозу. Модель прогнозу, у якої показник точність прогнозу буде ближчим до 100%, з більшою ймовірністю зробить більш точний прогноз. Таку модель можна назвати оптимальною для обраного часового ряду.

3. Спосіб оцінки прогнозної моделі – візуальний.

На графік виводимо аналізовані дані, тренд, значення моделі та прогноз (див. вкладений файл). Зазвичай візуально видно, яка модель адекватніше будує прогноз. 3-й спосіб по суті схожий з 1-м і другим, тільки ми віримо не цифрам, а тому, що ми бачимо на графіку.

Лінійна модель:

Логарифмічна модель:

За останніми періодами видно, що лінійна модель більш точно описує дані за останні місяці, і вона, найімовірніше, зробить точніший прогноз.

Яку модель прогнозу вибрати?

1. Яка виходячи з тестування на реальних даних для обраного проміжку часу (місяця, 3-х місяців, півроку, року) робитиме максимально точний прогноз, тобто. ставлення факту до прогнозу буде близько 1 чи 100%.

2. Модель, яка буде максимально точно описувати фактичні дані, тобто. показник точність прогнозу буде наближатися до 1, але не моделі точно описують дані роблять адекватні прогнози (це треба розуміти і оцінювати графічно).

3. Модель, якій візуально ви більше довіряєте з погляду опису вхідних даних та продовження прогнозної моделі у майбутнє.

Для підвищення точності прогнозу я у своїй практиці намагаюся використовувати 3 цих способи паралельно:

• По завершенні прогнозного періоду та у проміжках завжди оцінюю ставлення фактичних продажів до прогнозу.
• При побудові прогнозу аналізую показник "середньоквадратичне відхилення" та розраховую показник "точність прогнозу" для оцінки даних та моделі.
• А також на графік виводжу аналізовані дані та прогнозну модель для візуального контролю.

Оцінюючи прогноз за фактом чи у проміжні періоди у разі значних відхилень фактичних продажів від прогнозних, розбираю ситуацію та з'ясовую причини, у разі потреби вношу коригування у прогнозну модель.

За допомогою програми Forecast4AC PRO ви можете розрахувати показник точність прогнозу автоматично.

Також Forecast4AC вміє автоматично обирати оптимальну модель прогнозу для кожного часового ряду.

+ одним натисканням будувати графік "Аналізовані дані + модель прогнозу", на якому ви можете оцінити, як співвідносяться між собою:

• аналізовані дані;
• обраний тренд;
• модель прогнозу;

як у аналізованому періоді, і у майбутньому.

Точних прогнозів!

Приєднуйтесь до нас!

Завантажуйте безкоштовні програми для прогнозування та бізнес-аналізу:

• Novo Forecast Lite - автоматичний розрахунок прогнозу в Excel .
• 4analytics - ABC-XYZ-аналіз та аналіз викидів у Excel.
• Qlik Sense Desktop та QlikView Personal Edition - BI-системи для аналізу та візуалізації даних.

Тестуйте можливості платних рішень:

• Novo Forecast PRO - прогнозування Excel для великих масивів даних.

Отримайте 10 рекомендацій щодо підвищення точності прогнозів до 90% і вище.

Зареєструйтесь та скачайте рішення

Стаття корисна? Поділіться з друзями

Коментарі

Наскільки можна збільшувати (зменшити) незалежний параметр Х, щоб отримати хороший прогноз У, при множинні моделі?

Доброго дня! Підкажіть, будь ласка, як розрахувати прогноз щодо відвантаження на промислових підприємствах на 4 роки, якщо за поточний рік надано дані лише за 6-7 міс. та наведено показники за попередні два роки?

Дар'я, добрий день! Прогнозувати на 4 роки на підставі даних за 2.5 роки не коректно, для такого горизонту бажано дані за 4-8 років.
Але якщо хочеться можна, рекомендую за допомогою ось цієї моделі.

Доброго дня! Підкажіть, будь ласка, як розрахувати прогноз щодо відвантаження на промислових підприємствах на 4 роки, якщо за поточний рік надано дані лише за 6-7 міс. та наведено показники за попередні два роки?

Так у цьому випадку точність і буде у відсотках.
Так, точно, не звернув увагу, що ви ділите помилку на факт. Так також можна) Все можна, головне розуміти, що робиш і для чого)

Колеги, чому не можна просто:
1) ABS (Прогноз-Факт) = Помилка;
2) 1-помилка/Факт = Точність.
.

Олексію, добрий день!

Точність вимірюється у відсотках, тому помилку також необхідно отримати у відсотках.

А якщо говорити про спрощення, то можна і без точності просто помилку оцінити:
1) ABS (Прогноз-Факт) = Помилка;

Колеги, чому не можна просто:
1) ABS (Прогноз-Факт) = Помилка;
2) 1-помилка/Факт = Точність.
.

Олексію, добрий день!

Точність вимірюється у відсотках, тому помилку також необхідно отримати у відсотках.

А якщо говорити про спрощення, то можна і без точності просто помилку оцінити:
1) ABS (Прогноз-Факт) = Помилка;

Так у цьому випадку точність і буде у відсотках

Дякую за Ваші статті. Вони дуже допомагають. Але маю запитання.
1. Чи буде коректним розрахунок точності прогнозу за першим способом.Візьмемо приклад: факт. значення: 4 та 8.
значення за 1-м прогнозом: 2 і 10, за 2-м прогнозом: 3 і 7. За цим способом відношення факту до 1-го прогнозу покаже точність 100% (і він буде більш точним), а до 2-го прогнозу - 120%. Насправді 2-й прогноз точніший. Чому для оцінки точності не взяти % відхилення прогнозу від факту за кожним значенням низки і потім обчислити середнє відхилення.
2. Питання обчислення СКО. Чому у деяких інших джерелах у формулі розрахунку СКО сума квадратів відхилень поділяється на кількість значень n, а у Вас на n-1?

Заздалегідь дякую за відповідь

Дякуємо за ваш відгук!
За пунктами:
1. Для різних ситуацій використовується різні способи оцінки точності та помилок прогнозу і все залежить від особливостей низки – та конкретної ситуації. У деяких випадках правильніше рахувати за середньою, у деяких коректніше за сумою.

Наприклад, за сумою правильніше оцінюватиме точність, коли існує перетікання продажів через відкладений попит.
Якщо розглянути класичні джерела розрахунку помилок (книги з прогнозування), скрізь помилки і точність оцінюється за середньою. Але мій досвід показує, що в деяких ситуаціях за допомогою оцінки за сумою вдається підібрати більш точну модель.

2. На n ми ділимо, якщо розглядається вся генеральна сукупність даних.

На n-1, якщо аналізується весь масив наявних даних, а певна вибірка.

Найчастіше це вибірка, тому n-1

Якщо є питання, пишіть, радий допомогти.

Колеги, чому не можна просто:
1) ABS (Прогноз-Факт) = Помилка;
2) 1-помилка/Факт = Точність.
.