Значение коэффициента множественной корреляции. Коэффициенты корреляции

Практическая значимость уравнения множественной регрессии оценивается с помощью показателя множественной корреляции и его квадрата – коэффициента детерминации.

Коэффициент детерминации показывает долю вариации результативного признака, находящегося под воздействием факторных признаков, т.е. определяет, какая доля вариации признака у учтена в модели и обусловлена влиянием на него факторов, включенных в модель:

Множественный коэффициент корреляции может быть найден как корень квадратный из коэффициента детерминации. Чем ближе коэффициент корреляции к единице, тем теснее связь между результатом и всеми факторами и уравнение регрессии лучше описывает фактические данные. Если множественный коэффициент корреляции близок к нулю, то уравнение регрессии плохо описывает фактические данные, и факторы оказывают слабое влияние на результат. Этот коэффициент в отличие от парного коэффициента корреляции не может быть использован для интерпретации направления связи.

Значение коэффициента множественной корреляции больше или равно величине максимально коэффициента парной корреляции:

Для линейной множественной регрессии коэффициент множественной корреляции может быть рассчитан по следующей формуле:

Соответственно множественный коэффициент детерминации:

Существует еще одна формула для расчета множественного коэффициента корреляции для линейной регрессии:

где - определитель полной матрицы линейных парных коэффициентов корреляции (т.е. включающей парные линейные коэффициенты корреляции факторов с результатом и между собой):

Определитель матрицы линейных парных коэффициентов корреляции факторов между собой:

Рассчитывается также скорректированный коэффициент детерминации:

где n – число наблюдений;

m – число параметров уравнения регрессии без учета свободного члена (для линейной регрессии, например, это число равно числу факторов, включенных в модель).

Скорректированный коэффициент детерминации применяется для решения двух задач: оценки реальной тесноты связи между результатом и факторами и сравнения моделей с разным числом параметров. В первом случае обращают внимание на близость скорректированного и нескорректированного коэффициентов детерминации. Если эти показатели велики и различаются незначительно, модель считается хорошей.

При сравнении разных моделей предпочтение при прочих равных условиях отдается той, у которой больше скорректированный коэффициент детерминации.

Следует отметить, что область применения скорректированного коэффициента детерминации ограничивается только этими задачами. Его нельзя использовать в формулах, где применяется обычный коэффициент детерминации. Скорректированный коэффициент детерминации нельзя интерпретировать как долю вариации результата, объясненную вариацией факторов, включенных в модель регрессии.

Для проверки существенности коэффициента множественной корреляции используют F -критерий Фишера, который определяется по формуле:

где R 2 – множественный коэффициент детерминации;

m – число параметров при факторах х в уравнении множественной регрессии (в парной регрессии m =1).

Полученное значение F-критерия сравнивается с табличным при определенном уровне значимости и m и n-m-1 степенях свободы. Если расчетное значение F -критерия больше табличного, уравнение множественной регрессии признается значимым.

До сих пор мы рассматривали корреляционные связи между двумя признаками: результативным (у ) и фактор­ным (х). Например, выпуск продукции зависит не только от размера основного капитала, но и от уровня квалифи­кации рабочих, состояния оборудования, обеспеченности и качества сырья и материалов, организации труда и т.д. В связи с этим возникает необходимость в изучении, из­мерении связи между результативным признаком, двумя и более факторными. Этим занимается множественная корреляция.

Множественная корреляция решает три задачи. Она определяет:

1) форму связи;

2) тесноту связи;

3) влияние отдельных факторов на общий результат.

Определение формы свя­зи сводится обычно к отысканию уравнения связи у с фак­торами x,z,w,...у. Так, линейное уравнение зависимости результативного признака от двух факторных определяет­ся по формуле

Для определения параметров а 0 , а } и а 2 , по способу наименьших квадратов необходимо решить следующую систему трех нормальных уравнений:

(8.29.)

При определении тесноты связи для множественной зависимости пользуются коэф­фициентом множественной (совокупной) корреляции, предварительно исчислив коэффициенты парной корреля­ции. Так, при изучении связи между результативным признаком у и двумя факторными признаками - х и z, нужно предварительно определить тесноту связи между у и х, между у и z, т.е. вычислить коэффициенты парной кор­реляции, а затем для определения тесноты связи резуль­тативного признака от двух факторных исчислить коэф­фициент множественной корреляции по следующей фор­муле:

(8.30.)

где r xy , r zy , r xz - парные коэффициенты корреляции.

Коэффициент множественной корреляции колеблется в пределах от 0 до 1. Чем он ближе к 1, тем в большей мере учтены факторы, определяющие конечный резуль­тат.

Если коэффициент множественной корреляции возве­сти в квадрат, то получим совокупный коэффициент де­терминации, который характеризует долю вариации резуль­тативного признака у под воздействием всех изучаемых факторных признаков.

Совокупный коэффициент детерминации, как и при парной корреляции, можно исчислить по следующей фор­муле:

где - дисперсия факторных признаков, - диспер­сия результативного признака. Однако вычисление теоретических значений Y при множественной корреляции и сложно, и громоздко. Поэтому факторную дисперсию исчисляют по следующей формуле.

Множественный коэффициент корреляции используется в качестве меры степени тесноты статистической связи между результирующим показателем (зависимой переменной) y и набором объясняющих (независимых) переменных или, иначе говоря, оценивает тесноту совместного влияния факторов на результат.

Множественный коэффициент корреляции может быть вычислен по ряду формул 5 , в том числе:

с использованием матрицы парных коэффициентов корреляции

, (3.18)

где r - определитель матрицы парных коэффициентов корреляции y ,
,

r 11 - определитель матрицы межфакторной корреляции
;

. (3.19)

Для модели, в которой присутствуют две независимые переменные, формула (3.18) упрощается

. (3.20)

Квадрат множественного коэффициента корреляции равен коэффициенту детерминации R 2 . Как и в случае парной регрессии, R 2 свидетельствует о качестве регрессионной модели и отражает долю общей вариации результирующего признака y , объясненную изменением функции регрессии f (x ) (см. 2.4). Кроме того, коэффициент детерминации может быть найден по формуле

. (3.21)

Однако использование R 2 в случае множественной регрессии является не вполне корректным, так как коэффициент детерминации возрастает при добавлении регрессоров в модель. Это происходит потому, что остаточная дисперсия уменьшается при введении дополнительных переменных. И если число факторов приблизится к числу наблюдений, то остаточная дисперсия будет равна нулю, и коэффициент множественной корреляции, а значит и коэффициент детерминации, приблизятся к единице, хотя в действительности связь между факторами и результатом и объясняющая способность уравнения регрессии могут быть значительно ниже.

Для того чтобы получить адекватную оценку того, насколько хорошо вариация результирующего признака объясняется вариацией нескольких факторных признаков, применяют скорректированный коэффициент детерминации

(3.22)

Скорректированный коэффициент детерминации всегда меньше R 2 . Кроме того, в отличие от R 2 , который всегда положителен,
может принимать и отрицательное значение.

Пример (продолжение примера 1) . Рассчитаем множественный коэффициент корреляции, согласно формуле (3.20):

Величина множественного коэффициента корреляции, равного 0,8601, свидетельствует о сильной взаимосвязи стоимости перевозки с весом груза и расстоянием, на которое он перевозится.

Коэффициент детерминации равен: R 2 =0,7399.

Скорректированный коэффициент детерминации рассчитываем по формуле (3.22):

=0,7092.

Заметим, что величина скорректированного коэффициента детерминации отличается от величины коэффициента детерминации.

Таким образом, 70,9% вариации зависимой переменной (стоимости перевозки) объясняется вариацией независимых переменных (весом груза и расстоянием перевозки). Остальные 29,1% вариации зависимой переменной объясняются факторами, неучтенными в модели.

Величина скорректированного коэффициента детерминации достаточно велика, следовательно, мы смогли учесть в модели наиболее существенные факторы, определяющие стоимость перевозки. 

Коэффициент корреляции - это степень связи между двумя переменными. Его расчет дает представление о том, есть ли зависимость между двумя массивами данных. В отличие от регрессии, корреляция не позволяет предсказывать значения величин. Однако расчет коэффициента является важным этапом предварительного статистического анализа. Например, мы установили, что коэффициент корреляции между уровнем прямых иностранных инвестиций и темпом роста ВВП является высоким. Это дает нам представление о том, что для обеспечения благосостояния нужно создать благоприятный климат именно для зарубежных предпринимателей. Не такой уж и очевидный вывод на первый взгляд!

Корреляция и причинность

Пожалуй, нет ни одной сферы статистики, которая бы так прочно вошла в нашу жизнь. Коэффициент корреляции используется во всех областях общественных знаний. Основная его опасность заключается в том, что зачастую его высокими значениями спекулируют для того, чтобы убедить людей и заставить их поверить в какие-то выводы. Однако на самом деле сильная корреляция отнюдь не свидетельствует о причинно-следственной зависимости между величинами.

Коэффициент корреляции: формула Пирсона и Спирмана

Существует несколько основных показателей, которые характеризуют связь между двумя переменными. Исторически первым является коэффициент линейной корреляции Пирсона. Его проходят еще в школе. Он был разработан К. Пирсоном и Дж. Юлом на основе работ Фр. Гальтона. Этот коэффициент позволяет увидеть взаимосвязь между рациональными числами, которые изменяются рационально. Он всегда больше -1 и меньше 1. Отрицательно число свидетельствует об обратно пропорциональной зависимости. Если коэффициент равен нулю, то связи между переменными нет. Равен положительному числу - имеет место прямо пропорциональная зависимость между исследуемыми величинами. Коэффициент ранговой корреляции Спирмана позволяет упростить расчеты за счет построения иерархии значений переменных.

Отношения между переменными

Корреляция помогает найти ответ на два вопроса. Во-первых, является ли связь между переменными положительной или отрицательной. Во-вторых, насколько сильна зависимость. Корреляционный анализ является мощным инструментом, с помощью которого можно получить эту важную информацию. Легко увидеть, что семейные доходы и расходы падают и растут пропорционально. Такая связь считается положительной. Напротив, при росте цены на товар, спрос на него падает. Такую связь называют отрицательной. Значения коэффициента корреляции находятся в пределах между -1 и 1. Нуль означает, что зависимости между исследуемыми величинами нет. Чем ближе полученный показатель к крайним значениям, тем сильнее связь (отрицательная или положительная). Об отсутствии зависимости свидетельствует коэффициент от -0,1 до 0,1. Нужно понимать, что такое значение свидетельствует только об отсутствии линейной связи.

Особенности применения

Использование обоих показателей сопряжено с определенными допущениями. Во-первых, наличие сильной связи, не обуславливает того факта, что одна величина определяет другую. Вполне может существовать третья величина, которая определяет каждую из них. Во-вторых, высокий коэффициент корреляции Пирсона не свидетельствует о причинно-следственной связи между исследуемыми переменными. В-третьих, он показывает исключительно линейную зависимость. Корреляция может использоваться для оценки значимых количественных данных (например, атмосферного давления, температуры воздуха), а не таких категорий, как пол или любимый цвет.

Множественный коэффициент корреляции

Пирсон и Спирман исследовали связь между двумя переменными. Но как действовать в том случае, если их три или даже больше. Здесь на помощь приходит множественный коэффициент корреляции. Например, на валовый национальный продукт влияют не только прямые иностранные инвестиции, но и монетарная и фискальная политика государства, а также уровень экспорта. Темп роста и объем ВВП - это результат взаимодействия целого ряда факторов. Однако нужно понимать, что модель множественной корреляции основывается на целом ряде упрощений и допущений. Во-первых, исключается мультиколлинеарность между величинами. Во-вторых, связь между зависимой и оказывающими на нее влияние переменными считается линейной.

Области использования корреляционно-регрессионного анализа

Данный метод нахождения взаимосвязи между величинами широко применяется в статистике. К нему чаще всего прибегают в трех основных случаях:

1. Для тестирования причинно-следственных связей между значениями двух переменных. В результате исследователь надеется обнаружить линейную зависимость и вывести формулу, которая описывает эти отношения между величинами. Единицы их измерения могут быть различными.
2. Для проверки наличия связи между величинами. В этом случае никто не определяет, какая переменная является зависимой. Может оказаться, что значение обеих величин обуславливает какой-то другой фактор.
3. Для вывода уравнения. В этом случае можно просто подставить в него числа и узнать значения неизвестной переменной.

Человек в поисках причинно-следственной связи

Сознание устроено таким образом, что нам обязательно нужно объяснить события, которые происходят вокруг. Человек всегда ищет связь между картиной мира, в котором он живет, и получаемой информацией. Часто мозг создает порядок из хаоса. Он запросто может увидеть причинно-следственную связь там, где ее нет. Ученым приходится специально учиться преодолевать эту тенденцию. Способность оценивать связи между данными объективно необходима в академической карьере.

Предвзятость средств массовой информации

Рассмотрим, как наличие корреляционной связи может быть неправильно истолковано. Группу британских студентов, отличающихся плохим поведением, опросили относительно того, курят ли их родители. Потом тест опубликовали в газете. Результат показал сильную корреляцию между курением родителей и правонарушениями их детей. Профессор, который проводил это исследование, даже предложил поместить на пачки сигарет предупреждение об этом. Однако существует целый ряд проблем с таким выводом. Во-первых, корреляция не показывает, какая из величин является независимой. Поэтому вполне можно предположить, что пагубная привычка родителей вызвана непослушанием детей. Во-вторых, нельзя с уверенностью сказать, что обе проблемы не появились из-за какого-то третьего фактора. Например, низкого дохода семей. Следует отметить эмоциональный аспект первоначальных выводов профессора, который проводил исследование. Он был ярым противником курения. Поэтому нет ничего удивительного в том, что он интерпретировал результаты своего исследования именно так.

Выводы

Неправильное толкование корреляции как причинно-следственной связи между двумя переменными может стать причиной позорных ошибок в исследованиях. Проблема состоит в том, что оно лежит в самой основе человеческого сознания. Многие маркетинговые трюки построены именно на этой особенности. Понимание различия между причинно-следственной связью и корреляцией позволяет рационально анализировать информацию как в повседневной жизни, так и в профессиональной карьере.

Коэффициент множественной корреляции (R ) характеризует тесноту связи между результативным показателем и набором фактор­ных показателей:

где σ 2 - общая дисперсия эмпирического ряда, характеризующая общую вариацию результативного показателя (у) за счет факторов;

σ ост 2 - остаточная дисперсия в ряду у, отражающая влияния всех факто­ров, кроме х;

у - среднее значение результативного показателя, вычисленное по ис­ходным наблюдениям;

s - среднее значение результативного показателя, вычисленное по уравнению регрессии.

Коэффициент множественной корреляции принимает только поло­жительные значения в пределах от 0 до 1. Чем ближе значение коэффи­циента к 1, тем больше теснота связи. И, наоборот, чем ближе к 0, тем за­висимость меньше. При значении R < 0,3 говорят о малой зависимости между величинами. При значении 0,3 < R < 0,6 говорят о средней тесноте связи. При R > 0,6 говорят о наличии существенной связи.

Квадрат коэффициента множественной корреляции называется коэффициентом детерминации (D ): D = R 2 . Коэффициент детермина­ции показывает, какая доля вариации результативного показателя свя­зана с вариацией факторных показателей. В основе расчета коэффици­ента детерминации и коэффициента множественной корреляции лежит правило сложения дисперсий, согласно которому общая дисперсия (σ 2) равна сумме межгрупповой дисперсии (δ 2) и средней из групповых дис­персий σ i 2):

σ 2 = δ 2 + σ i 2 .

Межгрупповая дисперсия характеризует колеблемость результа­тивного показателя за счет изучаемого фактора, а средняя из групповых дисперсий отражает колеблемость результативного показателя за счет всех прочих факторов, кроме изучаемого.

Математические модели корреляционного анализа в форме коэф­фициентов имеют ограниченные аналитические возможности. Зная лишь направление ковариации показателей и тесноту связи, невозмож­но определить закономерности формирования уровня результативного показателя под влиянием исследуемых факторов, оценить интенсив­ность их влияния, классифицировать факторы на основные и второсте­пенные. Для этих целей используются модели регрессионного анализа. Линейная модель (уравнение) регрессионного анализа может быть пред­ставлена в виде

у = bo + b 1 x 1 + b 2 x 2 +... + b n x n ,

где у - результативный показатель;

x 1 , x 2 , ..., x n - факторные модели;

b 0 , b 1 , b 2 , ..., b n - коэффициенты регрессии.

Смотрите также: