Кореляція, кореляційна залежність

Кореляція (Від лат. correlatio), кореляційна залежність - Взаємозалежність двох або декількох випадкових величин. Суть її полягає в тому, що при зміні значення однієї змінної відбувається закономірна зміна (зменшення або збільшення) іншої змінної.

При розрахунку кореляцій намагаються визначити, чи існує статистично достовірний зв'язок між двома чи декількома змінними в одній чи кількох вибірках. Наприклад, взаємозв'язок між зростанням та вагою дітей, взаємозв'язок між успішністю та результатами виконання тесту IQ, між стажем роботи та продуктивністю праці.

Важливо розуміти, що кореляційна залежність відображає лише взаємозв'язок між змінними і не говорить про причинно-наслідкові зв'язки. Наприклад, якби досліджуваній вибірці між зростанням і вагою людини існувала кореляційна залежність, це не означало б, що вага є причиною зростання людини, інакше скидаючи зайві кілограми зростання людини також зменшувалося. Кореляційна зв'язок лише свідчить про взаємопов'язаності даних параметрів, причому у цій конкретної вибірці, у інший вибірці ми можемо спостерігати отримані кореляції.

Показник кореляції. Коефіцієнт кореляції (r) характеризує величину відбиває ступінь взаємозв'язку двох змінних між собою. Він може варіювати в межах від -1 (Негативна кореляція) до +1 (Позитивна кореляція). Якщо коефіцієнт кореляції дорівнює 0 це говорить про відсутність кореляційних зв'язків між змінними. Причому якщо коефіцієнт кореляції ближче до 1 (або -1) то йдеться про сильну кореляцію, а якщо ближче до 0, то про слабку.

При позитивної кореляції збільшення (чи зменшення) значень однієї змінної веде до закономірного збільшення (чи зменшення) інший змінної тобто. взаємозв'язку типу збільшення-збільшення (зменшення-зменшення)

При негативної кореляції збільшення (або зменшення) значень однієї змінної веде до закономірного зменшення (або збільшення) іншою змінною тобто. взаємозв'язку типу збільшення-зменшення (зменшення-збільшення)

Кореляція (синоніми): співвідношення, співвідношення, взаємозв'язок, взаємозалежність, взаємозумовленість, взаємовідповідність.

Лінійний коефіцієнт кореляції Пірсона

Виявлення взаємозв'язків між явищами – одне з основних завдань статистичного аналізу. На те є дві причини. Перший. Якщо відомо, що процес залежить від іншого, то перший можна впливати через другий. Друга. Навіть якщо причинно-наслідковий зв'язок відсутній, то щодо зміни одного показника можна передбачити зміну іншого.

Взаємозв'язок двох змінних проявляється в спільної варіації: при зміні одного показника має місце тенденція зміни іншого. Такий взаємозв'язок називається кореляцією, а розділ статистики, що займається взаємозв'язками – кореляційний аналіз.

Кореляція – це, простими словами, взаємозалежне зміна показників. Вона характеризується напрямом, формою та тіснотою. Нижче наведено приклади кореляційного зв'язку.

Далі розглядатиметься тільки лінійна кореляція. На діаграмі розсіювання (графік кореляції) зображено взаємозв'язок двох змінних X і Y. Пунктиром показані середні.

При позитивному відхиленні X від своєї середньої, Y також у більшості випадків відхиляється в позитивну сторону від своєї середньої. X менше середнього, Y, Як правило, теж нижче середнього. пряма або позитивна кореляція. зворотна або негативна кореляція, коли позитивне відхилення від середньої X асоціюється з негативним відхиленням від середньої Y чи навпаки.

Лінійність Кореляція проявляється в тому, що точки розташовані вздовж прямої лінії. Позитивний або негативний нахил такої лінії визначається напрямом взаємозв'язку.

Вкрай важлива характеристика кореляції - тіснотаЧим тісніше взаємозв'язок, тим ближче до прямої точки на діаграмі.

Складати відхилення кожного показника від своєї середньої немає сенсу, отримаємо нуль.

Квадрат відхилення від середньої вимірює варіацію показника як би щодо самого себе. підступом.

Чим більше пар мають однаковий знак відхилення від середньої, тим більше сума в чисельнику (твори двох негативних чисел також дає позитивне число). кількості не збігаються, то коваріація прагне нуля, що говорить про відсутність лінійного взаємозв'язку.

Таким чином, чим більше за модулем коваріація, тим тісніше лінійний взаємозв'язок.Однак значення коваріації залежить від масштабу даних, тому неможливо порівнювати кореляцію різних змінних. Можна визначити лише напрямок за знаком. Для отримання стандартизованої величини тісноти взаємозв'язку потрібно позбавитися одиниць виміру шляхом поділу коваріації на добуток стандартних відхилень обох змінних. У результаті вийде формула коефіцієнта кореляції Пірсона.

Показник має повну назву лінійний коефіцієнт кореляції Пірсона або просто коефіцієнт кореляції.

Коефіцієнт кореляції показує тісноту лінійного взаємозв'язку та змінюється в діапазоні від -1 до 1. -1 (мінус один) означає повну (функціональну) лінійну зворотний взаємозв'язок. 1 (один) – повний (функціональний) лінійний позитивний взаємозв'язок. 0 - відсутність лінійної кореляції (але не обов'язково взаємозв'язку). Насправді завжди виходять проміжні значення. Для наочності нижче представлені кілька прикладів із різними значеннями коефіцієнта кореляції.

Таким чином, коваріація та кореляція відображають тісноту лінійного взаємозв'язку. Остання використовується набагато частіше, т.к. є відносним показником і немає одиниць виміру.

Діаграми розсіювання дають наочне уявлення, що вимірює коефіцієнт кореляції. Проте потрібна формальніша інтерпретація. Цю роль виконує квадрат коефіцієнта кореляції r 2 , який називається коефіцієнтом детермінації, і зазвичай застосовується в оцінці якості регресійних моделей. Знову уявіть лінію, навколо якої розташовані точки.

Лінійна функція є моделлю взаємозв'язку між X іY і показує очікуване значення Y при заданому X. Коефіцієнт детермінації – це співвідношення дисперсії очікуваних Y (точок на прямій лінії) до загальної дисперсії Y, або частка поясненої варіації Y. При r = 0,1 r 2 = 0,01 або 1%, при r = 0,5 r 2 = 0,25 чи 25%.

Вибірковий коефіцієнт кореляції

Коефіцієнт кореляції зазвичай розраховують за вибіркою. Значить, у аналітика у розпорядженні не справжнє значення, а оцінка, яка завжди є помилковою. Якщо вибірка була репрезентативною, то справжнє значення коефіцієнта кореляції знаходиться десь недалеко від оцінки. Наскільки далеко можна визначити через довірчі інтервали.

Відповідно до Центральної Граничної Теореми розподіл оцінки будь-якого показника прагне нормального зі зростанням вибірки. Але є проблемка. Розподіл коефіцієнта кореляції поблизу придільних значень перестав бути симетричним. Нижче приклад розподілу при справжньому коефіцієнті кореляції ρ = 0,86.

Граничне значення не дає вийти за 1 і, як би підтискає розподіл справа. Симетрична ситуація спостерігається, якщо коефіцієнт кореляції близький до -1.

Загалом розраховувати на властивості нормального розподілу не можна. Тому Фішер запропонував провести перетворення вибіркового коефіцієнта кореляції за такою формулою:

Розподіл z для тих же r має такий вигляд.

Набагато ближче до нормального. Стандартна помилка z дорівнює:

Далі виходячи з властивостей нормального розподілу нескладно знайти верхню та нижню межі довірчого інтервалу для z. Визначимо квантиль стандартного нормального розподілу заданої довірчої ймовірності, тобто. кількість стандартних відхилень від центру розподілу.

c_γ – квантиль стандартного нормального розподілу;
N-1 - Функція зворотного стандартного розподілу;
γ - Довірча ймовірність (часто 95%).
Потім розрахуємо межі довірчого інтервалу.

Тепер зворотним перетворенням Фішера з z повернемося до r.
Нижній кордон r:

То була теоретична частина. Переходимо до практики розрахунків.

Як порахувати коефіцієнт кореляції в Excel

Кореляційний аналіз Excel краще починати з візуалізації.

На діаграмі видно взаємозв'язок двох змінних. Розрахуємо коефіцієнт парної кореляції за допомогою функції Excel Корел. У аргументах потрібно вказати два діапазони.

Коефіцієнт кореляції 0,88 показує досить тісний взаємозв'язок між двома показниками. Але це лише оцінка, тож переходимо до інтервального оцінювання.

Розрахунок довірчого інтервалу для коефіцієнта кореляції в Excel

У Екселі немає готових функцій для розрахунку довірчого інтервалу коефіцієнта кореляції, як для середньої арифметичної. Тому план такий:

- Робимо перетворення Фішера для r.
— На основі нормальної моделі розраховуємо довірчий інтервал для z.
- Робимо зворотне перетворення Фішера з z в r.

Дивно, але для перетворення Фішера на Excel є спеціальна функція ФІШЕР.

Стандартна помилка z легко підраховується формулою.

Використовуючи функцію НОРМ.СТ.ОБР, визначимо квантиль нормального розподілу Довірчу ймовірність візьмемо 95%.

Значення 1,96 добре відоме будь-якому досвідченому аналітику. У межах ±1,96σ від середньої перебуває 95% нормально розподілених величин.

Використовуючи z, стандартну помилку та квантиль, легко визначимо довірчі кордони z.

Останній крок – зворотне перетворення Фішера з z назад у r за допомогою функції Excel ФІШЕРОБР. Отримаємо довірчий інтервал коефіцієнта кореляції.

Нижня межа 95% довірчого інтервалу коефіцієнта кореляції - 0,724, верхня межа - 0,953.

Треба пояснити, що означає значуща кореляція. Коефіцієнт кореляції статистично значущий, якщо його довірчий інтервал не включає 0, тобто справжнє значення за генеральною сукупністю, напевно, має той же знак, що і вибіркова оцінка.

Декілька важливих зауважень

1. Коефіцієнт кореляції Пірсона чутливий до викидів. Одне аномальне значення може суттєво спотворити коефіцієнт. Тому перед проведенням аналізу слід перевірити та при необхідності видалити викиди. Інший варіант – перейти до рангового коефіцієнта кореляції Спірмена. Розраховується також, тільки за вихідними значеннями, а, по їх рангам (приклад показаний у ролику під статтею).

2. Синонім кореляції – це взаємозв'язок чи спільна варіація. Тому наявність кореляції (r ≠ 0) ще не означає причинно-наслідковий зв'язок між змінними. Цілком можливо, що спільна варіація обумовлена ​​впливом третьої змінної. Спільна зміна змінних без причинно-наслідкового зв'язку називається хибна кореляція.

3. Відсутність лінійної кореляції (r = 0) значить відсутність взаємозв'язку. Вона може бути нелінійною. Частково цю проблему вирішує рангова кореляція Спірмена, яка показує спільне зростання чи зниження рангів незалежно від форми взаємозв'язку.

У відео показаний розрахунок коефіцієнта кореляції Пірсона з довірчими інтервалами, ранговий коефіцієнт кореляції Спірмена.