Лекция 4
- Элементы статистического анализа модели
- Проверка статистической значимости параметров уравнения регрессии
- Анализ дисперсии
- Проверка общего качества уравнения регрессии
- F-статистика. Распределение Фишера в регрессионном анализе.
Оценивая зависимость между эндогенными и экзогенными переменными (y и x) по выборочным данным не всегда удается на первом этапе получить удачную модель регрессии. При этом каждый раз следует оценивать качество полученной модели. Качество модели оценивается по 2м направлениям:
· Статистическая оценка качества модели
Статистический анализ модели включает следующие элементы:
- Проверку статистической значимости параметров уравнения регрессии
- Проверку общего качества уравнения регрессии
- Проверку свойств данных, выполнение которых предполагалось при оценивании уравнения
Статистическая значимость параметров уравнения регрессии определяется по t-статистике или статистике Стьюдента. Так:
tb – t-статистика для коэффициента регрессии b
mb – стандартная ошибка коэффициента регрессии.
Так же рассчитывают t-статистику для коэффициентов корреляции R:
Таким образом tb^2=t r ^2=F. То есть проверка статистической значимости коэффициента регрессии b равносильна проверке статистической значимости коэффициента корреляции
Коэффициент корреляции показывает тесноту корреляционной связи(между х и у).
Для линейной регрессии коэффициент корреляции:
Для определения тесноты связи используют обычно таблицу Чеглока
R 0,1 – 0,3 слабая
R 0,3 – 0,5 умеренная
R 0,5-,07 заметная
R 0,7-0,9 высокая
R 0,9 до 0,99 весьма высокая связь между х и у
Коэффициент корреляции -1 Часто для практических целей рассчитывают коэффициент эластичности, бета-коэффициент: Эластичностью функции у=f(x) называется предел отношения относительных переменных у и х Эластичность показывает на сколько %-в изменится у при изменении х на 1 %. Для парной линейной регрессии коэффициент эластичности вычисляется по формуле: Он показывает на сколько %-в изменится у в среднем при изменении х в среднем на 1 %. Бетта-коэффициент равен: – среднее квадрат отклонение x – Среднее квадрат отклонение у Бетта-коэффициент показывает на какую величину от своего среднего квадратического отклонения изменится у при изменении х на величину своего среднего квадратического отклонения. Анализ дисперсии В анализе дисперсии особое место занимает разложение общей суммы квадратов отклонений переменой у от у среднего на две части: на сумму объясненную регрессией и сумму, не объясненную регрессией. Общая сумма квадратов отклонений равна сумме квадратов отклонений объясненной регрессией плюс остаточной сумме квадратов отклонений. Эти суммы связаны с числом степеней свободы df – это число свободы независимого варьирования признаков. Так общая сумма квадратов отклонений имеет общее число степеней свободы (n – 1). Сумма квадратов отклонений объясненная регрессией имеет степень свободы 1, так как переменная зависит от одной величины – коэффициента регрессии b. Между числом степеней свободы существует равенство, из которого: N – 1 = 1 + n – 2 Разделим каждую сумму на соответствующее число степеней свободы, получим средний квадрат отклонений или дисперсию: D общ = D факт + D ост Оценить общее качество уравнения регрессии означает, установить соответствует ли математическая модель, выражающая зависимость между переменными экспериментальным данным и достаточно ли включенных в модель переменных, объясняющих у. Оценить общие качества модели = оценить надежность модели = оценить достоверность уравнения регрессии. Оценка общего качества модели регрессии осуществляется на основе дисперсионного анализа. Для оценки качества модели рассчитывают коэффициент детерминации: В числителе выборочная оценка остаточной дисперсии, в знаменателе выборочная оценка общей дисперсии. Коэффициент детерминации характеризует долю вариации зависимой переменной, объясненной с помощью уравнения регрессии. Так, если R квадрат равен 0,97 это значит что на 97% изменений у обусловлено изменением х. Чем ближе R квадрат к единице, тем сильнее статистически значимая линейная связь между х и у. Для получения не смещенных оценок дисперсии(коэффициента детерминации) и числитель, и знаменатель в формуле делят на соответствующее число степеней свободы: Для определения статистической значимости коэффициента детерминации R квадрат проверяется нулевая гипотеза для F-статистики, рассчитываемой по формуле: Для парной линейной: F-расчетная сравнивается со значением статистики в таблице. F-табличная рассматривается с числом степеней свободы m, n-m-1, при уровне значимости альфа. Если F расч> F табл то нулевая гипотеза отвергается, принимается гипотеза о статистической значимости коэффициента детерминации R квадрат. F-критерий Фишера = факторная дисперсия / на остаточную дисперсию: Лекция №5 Проверка свойств данных, выполнение которых предполагалось при оценивании уравнения регрессии 1. Автокорреляция в остатках 2. Статистика Дарбина-Уотсона 3. Примеры При оценивании параметров модели регрессии предполагается, что отклонении
1. В случае, если взаимосвязь между х и у не линейна. 2. Связь между переменными х и у линейна, но на исследуемый показатель воздействует фактор, не включенный в модель. Величина такого фактора может менять свою динамику за рассматриваемый период. Особенно это характерно для лаговых переменных. Обе причины свидетельствуют о том, что полученное уравнение регрессии можно улучшить, оценив нелинейную зависимость или добавив в исходную модель дополнительный фактор. Четвертая предпосылка метода наименьших квадратов говорит о том, что отклонения являются независимыми между собой, однако при исследовании и анализе исходных данных на практике встречаются ситуации, когда эти отклонения содержат тенденцию или циклические колебания. Что такое регрессия?
Рассмотрим две непрерывные переменные x=(x 1 , x 2 , .., x n), y=(y 1 , y 2 , ..., y n).
Разместим точки на двумерном графике рассеяния и скажем, что мы имеем линейное соотношение
, если данные аппроксимируются прямой линией.
Если мы полагаем, что y
зависит от x
, причём изменения в y
вызываются именно изменениями в x
, мы можем определить линию регрессии (регрессия y
на x
), которая лучше всего описывает прямолинейное соотношение между этими двумя переменными. Статистическое использование слова "регрессия" исходит из явления, известного как регрессия к среднему, приписываемого сэру Френсису Гальтону (1889).
Он показал, что, хотя высокие отцы имеют тенденцию иметь высоких сыновей, средний рост сыновей меньше, чем у их высоких отцов. Средний рост сыновей "регрессировал" и "двигался вспять" к среднему росту всех отцов в популяции. Таким образом, в среднем высокие отцы имеют более низких (но всё-таки высоких) сыновей, а низкие отцы имеют сыновей более высоких (но всё-таки довольно низких).
Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии: x
называется независимой переменной или предиктором.
Y
- зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y
(в среднем), если мы знаем величину x
, т.е. это «предсказанное значение y
» Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия
. Рис.1. Линия линейной регрессии, показывающая пересечение a и угловой коэффициент b (величину возрастания Y при увеличении x на одну единицу)
Мы выполняем регрессионный анализ, используя выборку наблюдений, где a
и b
- выборочные оценки истинных (генеральных) параметров, α и β , которые определяют линию линейной регрессии в популяции (генеральной совокупности).
Наиболее простым методом определения коэффициентов a
и b
является метод наименьших квадратов
(МНК).
Подгонка оценивается, рассматривая остатки (вертикальное расстояние каждой точки от линии, например, остаток = наблюдаемому y
- предсказанный y
, Рис. 2).
Линию лучшей подгонки выбирают так, чтобы сумма квадратов остатков была минимальной. Рис. 2. Линия линейной регрессии с изображенными остатками (вертикальные пунктирные линии) для каждой точки.
Итак, для каждой наблюдаемой величины остаток равен разнице и соответствующего предсказанного Каждый остаток может быть положительным или отрицательным.
Можно использовать остатки для проверки следующих предположений, лежащих в основе линейной регрессии: Если допущения линейности, нормальности и/или постоянной дисперсии сомнительны, мы можем преобразовать или и рассчитать новую линию регрессии, для которой эти допущения удовлетворяются (например, использовать логарифмическое преобразование или др.). "Влиятельное" наблюдение, если оно опущено, изменяет одну или больше оценок параметров модели (т.е. угловой коэффициент или свободный член). Выброс (наблюдение, которое противоречит большинству значений в наборе данных) может быть "влиятельным" наблюдением и может хорошо обнаруживаться визуально, при осмотре двумерной диаграммы рассеяния или графика остатков.
И для выбросов, и для "влиятельных" наблюдений (точек) используют модели, как с их включением, так и без них, обращают внимание на изменение оценки (коэффициентов регрессии). При проведении анализа не стоит отбрасывать выбросы или точки влияния автоматически, поскольку простое игнорирование может повлиять на полученные результаты. Всегда изучайте причины появления этих выбросов и анализируйте их. При построении линейной регрессии проверяется нулевая гипотеза о том, что генеральный угловой коэффициент линии регрессии β равен нулю. Если угловой коэффициент линии равен нулю, между и нет линейного соотношения: изменение не влияет на Для тестирования нулевой гипотезы о том, что истинный угловой коэффициент равен нулю можно воспользоваться следующим алгоритмом:
Вычислить статистику критерия, равную отношению , которая подчиняется распределению с степенями свободы, где стандартная ошибка коэффициента Обычно если достигнутый уровень значимости нулевая гипотеза отклоняется.
где процентная точка распределения со степенями свободы что дает вероятность двустороннего критерия Это тот интервал, который содержит генеральный угловой коэффициент с вероятностью 95%. Для больших выборок, скажем, мы можем аппроксимировать значением 1,96 (то есть статистика критерия будет стремиться к нормальному распределению)
Из-за линейного соотношения и мы ожидаем, что изменяется, по мере того как изменяется
, и называем это вариацией, которая обусловлена или объясняется регрессией. Остаточная вариация должна быть как можно меньше.
Если это так, то большая часть вариации будет объясняться регрессией, а точки будут лежать близко к линии регрессии, т.е. линия хорошо соответствует данным. Долю общей дисперсии , которая объясняется регрессией называют коэффициентом детерминации
, обычно выражают через процентное соотношение и обозначают R 2
(в парной линейной регрессии это величина r 2
, квадрат коэффициента корреляции), позволяет субъективно оценить качество уравнения регрессии. Разность представляет собой процент дисперсии который нельзя объяснить регрессией.
Нет формального теста для оценки мы вынуждены положиться на субъективное суждение, чтобы определить качество подгонки линии регрессии. Можно применять регрессионную линию для прогнозирования значения по значению в пределе наблюдаемого диапазона (никогда не экстраполируйте вне этих пределов).
Мы предсказываем среднюю величину для наблюдаемых, которые имеют определенное значение путем подстановки этого значения в уравнение линии регрессии.
Итак, если прогнозируем как Используем эту предсказанную величину и ее стандартную ошибку, чтобы оценить доверительный интервал для истинной средней величины в популяции.
Повторение этой процедуры для различных величин позволяет построить доверительные границы для этой линии. Это полоса или область, которая содержит истинную линию, например, с 95% доверительной вероятностью.
Простые регрессионные планы содержат один непрерывный предиктор. Если существует 3 наблюдения со значениями предиктора P
, например, 7, 4 и 9, а план включает эффект первого порядка P
, то матрица плана X
будет иметь вид а регрессионное уравнение с использованием P
для X1
выглядит как Y = b0
+ b1
P Если простой регрессионный план содержит эффект высшего порядка для P
, например квадратичный эффект, то значения в столбце X1
в матрице плана будут возведены во вторую степень: а уравнение примет вид Y = b0
+ b1
P2
Сигма
-ограниченные и сверхпараметризованные методы кодирования не применяются по отношению к простым регрессионным планам и другим планам, содержащим только непрерывные предикторы (поскольку, просто не существует категориальных предикторов). Независимо от выбранного метода кодирования, значения непрерывных переменных увеличиваются в соответствующей степени и используются как значения для переменных X
. При этом перекодировка не выполняется. Кроме того, при описании регрессионных планов можно опустить рассмотрение матрицы плана X
, а работать только с регрессионным уравнением. Этот пример использует данные, представленные в таблице: Рис. 3. Таблица исходных данных.
Данные составлены на основе сравнения переписей 1960 и 1970 в произвольно выбранных 30 округах. Названия округов представлены в виде имен наблюдений. Информация относительно каждой переменной представлена ниже: Рис. 4. Таблица спецификаций переменных.
Для этого примера будут анализироваться корреляция уровня бедности и степень, которая предсказывает процент семей, которые находятся за чертой бедности. Следовательно мы будем трактовать переменную 3 (Pt_Poor
) как зависимую переменную. Можно выдвинуть гипотезу: изменение численности населения и процент семей, которые находятся за чертой бедности, связаны между собой. Кажется разумным ожидать, что бедность ведет к оттоку населения, следовательно, здесь будет отрицательная корреляция между процентом людей за чертой бедности и изменением численности населения. Следовательно мы будем трактовать переменную 1 (Pop_Chng
) как переменную-предиктор. Рис. 5. Коэффициенты регрессии Pt_Poor на Pop_Chng.
На пересечении строки Pop_Chng
и столбца Парам.
не стандартизованный коэффициент для регрессии Pt_Poor
на Pop_Chng
равен -0.40374
. Это означает, что для каждого уменьшения численности населения на единицу, имеется увеличение уровня бедности на.40374. Верхний и нижний (по умолчанию) 95%
доверительные пределы для этого не стандартизованного коэффициента не включают ноль, так что коэффициент регрессии значим на уровне p<.05
. Обратите внимание на не стандартизованный коэффициент, который также является коэффициентом корреляции Пирсона для простых регрессионных планов, равен -.65, который означает, что для каждого уменьшения стандартного отклонения численности населения происходит увеличение стандартного отклонения уровня бедности на.65. Коэффициенты корреляции могут стать существенно завышены или занижены, если в данных присутствуют большие выбросы. Изучим распределение зависимой переменной Pt_Poor
по округам. Для этого построим гистограмму переменной Pt_Poor
. Рис. 6. Гистограмма переменной Pt_Poor.
Как вы можете заметить, распределение этой переменной заметно отличается от нормального распределения. Тем не менее, хотя даже два округа (два правых столбца) имеют высокий процент семей, которые находятся за чертой бедности, чем ожидалось в случае нормального распределения, кажется, что они находятся "внутри диапазона." Рис. 7. Гистограмма переменной Pt_Poor.
Это суждение в некоторой степени субъективно. Эмпирическое правило гласит, что выбросы необходимо учитывать, если наблюдение (или наблюдения) не попадают в интервал (среднее ± 3 умноженное на стандартное отклонение). В этом случае стоит повторить анализ с выбросами и без, чтобы убедиться, что они не оказывают серьезного эффекта на корреляцию между членами совокупности. Если одна из гипотез априори
о взаимосвязи между заданными переменными, то ее полезно проверить на графике соответствующей диаграммы рассеяния. Рис. 8. Диаграмма рассеяния.
Диаграмма рассеяния показывает явную отрицательную корреляцию (-.65
) между двумя переменными. На ней также показан 95% доверительный интервал для линии регрессии, т.е., с 95% вероятностью линия регрессии проходит между двумя пунктирными кривыми. Рис. 9. Таблица, содержащая критерии значимости.
Критерий для коэффициента регрессии Pop_Chng
подтверждает, что Pop_Chng
сильно связано с Pt_Poor
, p<.001
. На этом примере было показано, как проанализировать простой регрессионный план. Была также представлена интерпретация не стандартизованных и стандартизованных коэффициентов регрессии. Обсуждена важность изучения распределения откликов зависимой переменной, продемонстрирована техника определения направления и силы взаимосвязи между предиктором и зависимой переменной. Статистика в последнее время получила мощную PR поддержку со стороны более новых и шумных дисциплин - Машинного Обучения
и Больших Данных
. Тем, кто стремится оседлать эту волну необходимо подружится с уравнениями регрессии
. Желательно при этом не только усвоить 2-3 приемчика и сдать экзамен, а уметь решать проблемы из повседневной жизни: найти зависимость между переменными, а в идеале - уметь отличить сигнал от шума. Для этой цели мы будем использовать язык программирования и среду разработки R
, который как нельзя лучше приспособлен к таким задачам. Заодно, проверим от чего зависят рейтинг Хабрапоста на статистике собственных статей. Если имеется корреляционная зависимость между переменными y и x , возникает необходимость определить функциональную связь между двумя величинами. Зависимость среднего значения называется регрессией y по x
. Основу регрессионного анализа составляет метод наименьших квадратов (МНК)
, в соответствии с которым в качестве уравнения регресии берется функция такая, что сумма квадратов разностей минимальна. Карл Гаусс открыл, или точнее воссоздал, МНК в возрасте 18 лет, однако впервые результаты были опубликованы Лежандром в 1805 г. По непроверенным данным метод был известен еще в древнем Китае, откуда он перекочевал в Японию и только затем попал в Европу. Европейцы не стали делать из этого секрета и успешно запустили в производство, обнаружив с его помощью траекторию карликовой планеты Церес в 1801 г. Вид функции , как правило, определен заранее, а с помощью МНК подбираются оптимальные значения неизвестных параметров. Метрикой рассеяния значений вокруг регрессии является дисперсия. Чаще всего используется модель линейной регрессии, а все нелинейные зависимости приводят к линейному виду с помощью алгебраических ухищрений, различных преобразования переменных y и x . Уравнения линейной регрессии можно записать в виде В матричном виде это выгладит Случайная величина может быть интерпретирована как сумма из двух слагаемых: Еще одно ключевое понятие - коэффициент корреляции R 2 . Для того, чтобы использовать модель линейной регрессии необходимы некоторые допущения относительно распределения и свойств переменных. Как обнаружить, что перечисленные выше условия не соблюдены? Ну, во первых довольно часто это видно невооруженным глазом на графике. Неоднородность дисперсии
При возрастании дисперсии с ростом независимой переменной имеем график в форме воронки. Нелинейную регрессии в некоторых случая также модно увидеть на графике довольно наглядно. Тем не менее есть и вполне строгие формальные способы определить соблюдены ли условия линейной регрессии, или нарушены. В этой формуле - коэффициент взаимной детерминации между и остальными факторами. Если хотя бы один из VIF-ов > 10, вполне резонно предположить наличие мультиколлинеарности. Почему нам так важно соблюдение всех выше перечисленных условий? Все дело в Теореме Гаусса-Маркова
, согласно которой оценка МНК является точной и эффективной лишь при соблюдении этих ограничений. Нарушения одной или нескольких ограничений еще не приговор. К сожалению, не все нарушения условий и дефекты линейной регрессии можно устранить с помощью натурального логарифма. Если имеет место автокорреляция возмущений
к примеру, то лучше отступить на шаг назад и построить новую и лучшую модель. Итак, довольно теоретического багажа и можно строить саму модель. Загружает данные из tsv файла. Проверка мультиколлинеарности. Вопреки моим ожиданиям наибольшая отдача
не от количества просмотров статьи, а от комментариев и публикаций в социальных сетях
. Я также полагал, что число просмотров и комментариев будет иметь более сильную корреляцию, однако зависимость вполне умеренная - нет надобности исключать ни одну из независимых переменных. Теперь собственно сама модель, используем функцию lm . В первой строке мы задаем параметры линейной регрессии. Строка points ~. определяет зависимую переменную points и все остальные переменные в качестве регрессоров. Можно определить одну единственную независимую переменную через points ~ reads , набор переменных - points ~ reads + comm . Перейдем теперь к расшифровке полученных результатов. Можно попытаться несколько улучшить модель, сглаживая нелинейные факторы: комментарии и посты в социальных сетях. Заменим значения переменных fb и comm их степенями. Проверим значения параметров линейной регрессии. Как видим в целом отзывчивость модели возросла, параметры подтянулись и стали более шелковистыми, F-статистика выросла, так же как и скорректированный коэффициент детерминации. Проверим, соблюдены ли условия применимости модели линейной регрессии? Тест Дарбина-Уотсона проверяет наличие автокорреляции возмущений. И напоследок проверка неоднородности дисперсии с помощью теста Бройша-Пагана. Конечно наша модель линейной регрессии рейтинга Хабра-топиков получилось не самой удачной. Нам удалось объяснить не более, чем половину вариативности данных. Факторы надо чинить, чтобы избавляться от неоднородной дисперсии, с автокорреляцией тоже непонятно. Вообще данных маловато для сколь-нибудь серьезной оценки. Но с другой стороны, это и хорошо. Иначе любой наспех написанный тролль-пост на Хабре автоматически набирал бы высокий рейтинг, а это к счастью не так. Теги:
Добавить метки Задание: рассмотреть процедуру регрессионного анализа на основе данных (цена продажи и жилая площадь) о 23 объектах недвижимости.
Режим работы "Регрессия" служит для расчета параметров уравнения линейной регрессии и проверки его адекватности исследуемому процессу. Для решения задачи регрессионного анализа в MS Excel выбираем в меню Сервис
команду Анализ данных
и инструмент анализа "Регрессия
". В появившемся диалоговом окне задаем следующие параметры: 1. Входной интервал Y
- это диапазон данных по результативному признаку. Он должен состоять из одного столбца. 2. Входной интервал X
- это диапазон ячеек, содержащих значения факторов (независимых переменных). Число входных диапазонов (столбцов) должно быть не больше 16. 3. Флажок Метки
, устанавливается втом случае, если в первой строке диапазона стоит заголовок. 4. Флажок Уровень надежности
активизируется, если в поле, находящееся рядом с ним необходимо ввести уровень надежности, отличный от установленного по умолчанию. Используется для проверки значимости коэффициента детерминации R 2 и коэффициентов регрессии. 5. Константа ноль.
Данный флажок необходимо установить, если линия регрессии должна пройти через начало координат (а 0 =0). 6. Выходной интервал/ Новый рабочий лист/ Новая рабочая книга -
указать адрес верхней левой ячейки выходного диапазона. 7. Флажки
в группе Остатки
устанавливаются, если необходимо включить в выходной диапазон соответствующие столбцы или графики. 8. Флажок График нормальной вероятности необходимо сделать активным, если требуется вывести на лист точечный график зависимости наблюдаемых значений Y от автоматически формируемых интервалов персентилей. После нажатия кнопки ОК в выходном диапазоне получаем отчет. С помощью набора средств анализа данных выполним регрессионный анализ исходных данных. Инструмент анализа "Регрессия" применяется для подбора параметров уравнения регрессии с помощью метода наименьших квадратов. Регрессия используется для анализа воздействия на отдельную зависимую переменную значений одной или нескольких независимых переменных. Величина множественный R
- это корень из коэффициента детерминации (R-квадрат). Также его называют индексом корреляции или множественным коэффициентом корреляции. Выражает степень зависимости независимых переменных (X1, X2) и зависимой переменной (Y) и равен квадратному корню из коэффициента детерминации, эта величина принимает значения в интервале от нуля до единицы. В нашем случае он равен 0,7, что говорит о существенной связи между переменными. Величина R-квадрат (коэффициент детерминации)
, называемая также мерой определенности, характеризует качество полученной регрессионной прямой. Это качество выражается степенью соответствия между исходными данными и регрессионной моделью (расчетными данными). Мера определенности всегда находится в пределах интервала . В нашем случае величина R-квадрат равна 0,48 , т.е. почти 50%, что говорит о слабой подгонке регрессионной прямой к исходным данным.Т.к. найденная величина R-квадрат = 48%<75%, то, следовательно, также можно сделать вывод о невозможности прогнозирования с помощью найденной регрессионной зависимости. Таким образом, модель объясняет всего 48% вариации цены, что говорит о недостаточности выбранных факторов, либо о недостаточном объеме выборки. Нормированный R-квадрат
- это тот же коэффициент детерминации, но скорректированный на величину выборки. Норм.R-квадрат=1-(1-R-квадрат)*((n-1)/(n-k)), регрессионный анализ линейный уравнение где n - число наблюдений; k - число параметров. Нормированный R-квадрат предпочтительнее использовать в случае добавления новых регрессоров (факторов), т.к. при их увеличении будет также увеличиваться значение R-квадрат, однако это не будет свидетельствовать об улучшении модели. Так как в нашем случае полученная величина равна 0,43 (что отличается от R-квадрат всего на 0,05), то можно говорить о высоком доверии коэффициенту R-квадрат. Стандартная ошибка
показывает качество аппроксимации (приближения) результатов наблюдений. В нашем случае ошибка равна 5,1. Рассчитаем в процентах: 5,1/(57,4-40,1)=0,294 ? 29% (Модель считается лучше, когда стандартная ошибка составляет <30%) Наблюдения
- указывается число наблюдаемых значений (23). ТАБЛИЦА ДИСПЕРСИОННЫЙ АНАЛИЗ Для получения уравнения регрессии определяется -статистика - характеристика точности уравнения регрессии, представляющая собой отношение той части дисперсии зависимой переменной которая объяснена уравнением регрессии к необъясненной (остаточной) части дисперсии. В столбце df
- приводится число степеней свободы k. Для регрессии это число регрессоров (факторов) - X1 (площадь) и X2 (оценка), т.е. k=2. Для остатка это величина, равная n-(m+1), т.е. число исходных точек (23) минус число коэффициентов (2) и минус свободный член (1). В столбце SS
- суммы квадратов отклонений от среднего значения результирующего признака. В нем представлены: Регрессионная сумма квадратов отклонений от среднего значения результирующего признака теоретических значений, рассчитанных по регрессионному уравнению. Остаточная сумма отклонений исходных значений от теоретических значений. Общая сумма квадратов отклонений исходных значений от результирующего признака. Чем больше регрессионная сумма квадратов отклонений (или чем меньше остаточная сумма), тем лучше регрессионное уравнение аппроксимирует облако исходных точек. В нашем случае остаточная сумма составляет около 50%. Следовательно, уравнение регрессии очень слабо аппроксимирует облако исходных точек. В столбце MS
- несмещенные выборочные дисперсии, регрессионная и остаточная. В столбце F
вычислено значение критериальной статистики для проверки значимости уравнения регрессии. Для осуществления статистической проверки значимости уравнения регрессии формулируется нулевая гипотеза об отсутствии связи между переменными (все коэффициенты при переменных равны нулю) и выбирается уровень значимости. Уровень значимости - это допустимая вероятность совершить ошибку первого рода - отвергнуть в результате проверки верную нулевую гипотезу. В рассматриваемом случае совершить ошибку первого рода означает признать по выборке наличие связи между переменными в генеральной совокупности, когда на самом деле ее там нет. Обычно уровень значимости принимается равным 5%. Сравнивая полученное значение = 9,4 с табличным значением = 3,5 (число степеней свободы 2 и 20 соответственно) можно говорить о том, что уравнение регрессии значимо (F>Fкр). В столбце значимость F
вычисляется вероятность полученного значения критериальной статистике. Так как в нашем случае это значение = 0,00123, что меньше 0,05 то можно говорить о том, что уравнение регрессии (зависимость) значимо с вероятностью 95%. Два выше описанных столба показывают надежность модели в целом. Следующая таблица содержит коэффициенты для регрессоров и их оценки. Строка Y-пересечение не связана ни с каким регрессором, это свободный коэффициент. В столбце
коэффициенты
записаны значения коэффициентов уравнения регрессии. Таким образом, получилось уравнение: Y=25,6+0,009X1+0,346X2 Регрессионное уравнение должно проходить через центр облака исходных точек: 13,02?M(b)?38,26 Далее сравниваем попарно значения столбцов Коэффициенты и Стандартная ошибка.
Видно, что в нашем случае, все абсолютные значения коэффициентов превосходят значения стандартных ошибок. Это может свидетельствовать о значимости регрессоров, однако, это грубый анализ. Столбец t-статистика содержит более точную оценку значимости коэффициентов. В столбце t-статистика
содержатся значения t-критерия, рассчитанные по формуле: t=(Коэффициент)/(Стандартная ошибка)
Этот критерий имеет распределение Стьюдента с числом степеней свободы n-(k+1)=23-(2+1)=20
По таблице Стьюдента находим значение tтабл=2,086. Сравнивая t с tтабл получаем, что коэффициент регрессора X2 незначим. Столбец p-значение
представляет вероятность того, что критическое значение статистики используемого критерия (статистики Стьюдента) превысит значение, вычисленное по выборке. В данном случае сравниваем p-значения
с выбранным уровнем значимости (0.05). Видно, что незначимым можно считать только коэффициент регрессора X2=0.08>0,05 В столбцах нижние 95% и верхние 95% приводятся границы доверительных интервалов с надежностью 95%. Для каждого коэффициента свои границы: Коэффициентtтабл*Стандартная ошибка
Доверительные интервалы строятся только для статистически значимых величин. Парная регрессия - уравнение связи двух переменных у и х: , где y - зависимая переменная (результативный признак); x - независимая, объясняющая переменная (признак-фактор). Различают линейные и нелинейные регрессии.
Задача дисперсионного анализа состоит в анализе дисперсии зависимой переменной:
F-тест - оценивание качества уравнения регрессии - состоит в проверке гипотезы Но о статистической незначимости уравнения регрессии и показателя тесноты связи. Для этого выполняется сравнение фактического F факт и критического (табличного) F табл значений F-критерия Фишера. F факт определяется из соотношения значений факторной и остаточной дисперсий, рассчитанных на одну степень свободы:
Уравнение регрессии: у =
76,88 - 0,35х.
С увеличением среднедневной заработной платы на 1 руб. доля расходов на покупку продовольственных товаров снижается в среднем на 0,35 %-ных пункта.
поскольку 1< F
<
¥
, следует рассмотреть F
-1 .
Для расчетов используем данные табл. 1.3. Таблица 1.3 Рассчитаем С иb:
1в
. Построению уравнения показательной кривой предшествует процедура линеаризации переменных при логарифмировании обеих частей уравнения:
Значения параметров регрессии A и В
составили:
Линия регрессии
Метод наименьших квадратов
Предположения линейной регрессии
Аномальные значения (выбросы) и точки влияния
Гипотеза линейной регрессии
,
- оценка дисперсии остатков.
Оценка качества линейной регрессии: коэффициент детерминации R 2
Применение линии регрессии для прогноза
Простые регрессионные планы
Пример: простой регрессионный анализ
Задача исследования
Просмотр результатов
Коэффициенты регрессии
Распределение переменных
Диаграмма рассеяния
Критерии значимости
Итог
Введение в регрессионный анализ
Линейная регрессия
Ограничения линейной регрессии
Как преодолеть эти ограничения
Линейная регрессия плюсов на Хабре
Мне давно было любопытно от чего зависит та самая зелененькая цифра, что указывает на рейтинг поста на Хабре. Собрав всю доступную статистику собственных постов, я решил прогнать ее через модель линейно регрессии.
> hist <- read.table("~/habr_hist.txt", header=TRUE)
> hist
points reads comm faves fb bytes
31 11937 29 19 13 10265
93 34122 71 98 74 14995
32 12153 12 147 17 22476
30 16867 35 30 22 9571
27 13851 21 52 46 18824
12 16571 44 149 35 9972
18 9651 16 86 49 11370
59 29610 82 29 333 10131
26 8605 25 65 11 13050
20 11266 14 48 8 9884
...
> cor(hist)
points reads comm faves fb bytes
points 1.0000000 0.5641858 0.61489369 0.24104452 0.61696653 0.19502379
reads 0.5641858 1.0000000 0.54785197 0.57451189 0.57092464 0.24359202
comm 0.6148937 0.5478520 1.00000000 -0.01511207 0.51551030 0.08829029
faves 0.2410445 0.5745119 -0.01511207 1.00000000 0.23659894 0.14583018
fb 0.6169665 0.5709246 0.51551030 0.23659894 1.00000000 0.06782256
bytes 0.1950238 0.2435920 0.08829029 0.14583018 0.06782256 1.00000000
regmodel <- lm(points ~., data = hist)
summary(regmodel)
Call:
lm(formula = points ~ ., data = hist)
Residuals:
Min 1Q Median 3Q Max
-26.920 -9.517 -0.559 7.276 52.851
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.029e+01 7.198e+00 1.430 0.1608
reads 8.832e-05 3.158e-04 0.280 0.7812
comm 1.356e-01 5.218e-02 2.598 0.0131 *
faves 2.740e-02 3.492e-02 0.785 0.4374
fb 1.162e-01 4.691e-02 2.476 0.0177 *
bytes 3.960e-04 4.219e-04 0.939 0.3537
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 16.65 on 39 degrees of freedom
Multiple R-squared: 0.5384, Adjusted R-squared: 0.4792
F-statistic: 9.099 on 5 and 39 DF, p-value: 8.476e-06
> hist$fb = hist$fb^(4/7)
> hist$comm = hist$comm^(2/3)
> regmodel <- lm(points ~., data = hist)
> summary(regmodel)
Call:
lm(formula = points ~ ., data = hist)
Residuals:
Min 1Q Median 3Q Max
-22.972 -11.362 -0.603 7.977 49.549
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 2.823e+00 7.305e+00 0.387 0.70123
reads -6.278e-05 3.227e-04 -0.195 0.84674
comm 1.010e+00 3.436e-01 2.938 0.00552 **
faves 2.753e-02 3.421e-02 0.805 0.42585
fb 1.601e+00 5.575e-01 2.872 0.00657 **
bytes 2.688e-04 4.108e-04 0.654 0.51677
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 16.21 on 39 degrees of freedom
Multiple R-squared: 0.5624, Adjusted R-squared: 0.5062
F-statistic: 10.02 on 5 and 39 DF, p-value: 3.186e-06
> dwtest(hist$points ~., data = hist)
Durbin-Watson test
data: hist$points ~ .
DW = 1.585, p-value = 0.07078
alternative hypothesis: true autocorrelation is greater than 0
> bptest(hist$points ~., data = hist)
studentized Breusch-Pagan test
data: hist$points ~ .
BP = 6.5315, df = 5, p-value = 0.2579
В заключение
Использованные материалы
ОТЧЕТ
ТАБЛИЦА РЕГРЕССИОННАЯ СТАТИСТИКА
Задачи регрессионного анализа
:
а) Установление формы зависимости. Относительно характера и формы зависимости между явлениями, различают положительную линейную и нелинейную и отрицательную линейную и нелинейную регрессию.
б) Определение функции регрессии в виде математического уравнения того или иного типа и установление влияния объясняющих переменных на зависимую переменную.
в) Оценка неизвестных значений зависимой переменной. С помощью функции регрессии можно воспроизвести значения зависимой переменной внутри интервала заданных значений объясняющих переменных (т. е. решить задачу интерполяции) или оценить течение процесса вне заданного интервала (т. е. решить задачу экстраполяции). Результат представляет собой оценку значения зависимой переменной.
Линейная регрессия: y = a + bx + ε
Нелинейные регрессии делятся на два класса: регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, и регрессии, нелинейные по оцениваемым параметрам.
Регрессии, нелинейные по объясняющим переменным:
.
Для линейных и нелинейных уравнений, приводимых к линейным, решается следующая система относительно a и b:
Можно воспользоваться готовыми формулами, которые вытекают из этой системы:
Тесноту связи изучаемых явлений оценивает линейный коэффициент парной корреляции для линейной регрессии :
и индекс корреляции - для нелинейной регрессии:
Оценку качества построенной модели даст коэффициент (индекс) детерминации, а также средняя ошибка аппроксимации .
Средняя ошибка аппроксимации - среднее отклонение расчетных значений от фактических:
.
Допустимый предел значений - не более 8-10%.
Средний коэффициент эластичности показывает, на сколько процентов в среднем по совокупности изменится результат у от своей средней величины при изменении фактора x на 1% от своего среднего значения:
.
,
где - общая сумма квадратов отклонений;
- сумма квадратов отклонений, обусловленная регрессией («объясненная» или «факторная»);
- остаточная сумма квадратов отклонений.
Долю дисперсии, объясняемую регрессией, в общей дисперсии результативного признака у характеризует коэффициент (индекс) детерминации R 2:
Коэффициент детерминации - квадрат коэффициента или индекса корреляции.
,
где n - число единиц совокупности; m - число параметров при переменных х.
F табл - это максимально возможное значение критерия под влиянием случайных факторов при данных степенях свободы и уровне значимости a. Уровень значимости a - вероятность отвергнуть правильную гипотезу при условии, что она верна. Обычно a принимается равной 0,05 или 0,01.
Если F табл < F факт, то Н о - гипотеза о случайной природе оцениваемых характеристик отклоняется и признается их статистическая значимость и надежность. Если F табл > F факт, то гипотеза Н о не отклоняется и признается статистическая незначимость, ненадежность уравнения регрессии.
Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитываются t-критерий Стьюдента и доверительные интервалы каждого из показателей. Выдвигается гипотеза Н о о случайной природе показателей, т.е. о незначимом их отличии от нуля. Оценка значимости коэффициентов регрессии и корреляции с помощью t-критерия Стьюдента проводится путем сопоставления их значений с величиной случайной ошибки:
; ; .
Случайные ошибки параметров линейной регрессии и коэффициента корреляции определяются по формулам:
Сравнивая фактическое и критическое (табличное) значения t-статистики - t табл и t факт - принимаем или отвергаем гипотезу Н о.
Связь между F-критерием Фишера и t-статистикой Стьюдента выражается равенством
Если t табл < t факт то H o отклоняется, т.е. a, b и не случайно отличаются от нуля и сформировались под влиянием систематически действующего фактора х. Если t табл > t факт то гипотеза Н о не отклоняется и признается случайная природа формирования а, b или .
Для расчета доверительного интервала определяем предельную ошибку D для каждого показателя:
, .
Формулы для расчета доверительных интервалов имеют следующий вид:
; ;
; ;
Если в границы доверительного интервала попадает ноль, т.е. нижняя граница отрицательна, а верхняя положительна, то оцениваемый параметр принимается нулевым, так как он не может одновременно принимать и положительное, и отрицательное значения.
Прогнозное значение определяется путем подстановки в уравнение регрессии соответствующего (прогнозного) значения . Вычисляется средняя стандартная ошибка прогноза :
,
где 
и строится доверительный интервал прогноза:
; 
; 
где 
.Пример решения
Задача №1
. По семи территориям Уральского района За 199Х г. известны значения двух признаков.
Таблица 1.
Требуется:
1. Для характеристики зависимости у от х рассчитать параметры следующих функций:
а) линейной;
б) степенной (предварительно нужно произвести процедуру линеаризации переменных, путем логарифмирования обеих частей);
в) показательной;
г) равносторонней гиперболы (так же нужно придумать как предварительно линеаризовать данную модель).
2. Оценить каждую модель через среднюю ошибку аппроксимации и F-критерий Фишера.
Решение (Вариант №1)
Для расчета параметров a и b линейной регрессии (расчет можно проводить с помощью калькулятора).
решаем систему нормальных уравнений относительно а
и b:
По исходным данным рассчитываем 
:
y
x
yx
x 2
y 2
A i
l
68,8
45,1
3102,88
2034,01
4733,44
61,3
7,5
10,9
2
61,2
59,0
3610,80
3481,00
3745,44
56,5
4,7
7,7
3
59,9
57,2
3426,28
3271,84
3588,01
57,1
2,8
4,7
4
56,7
61,8
3504,06
3819,24
3214,89
55,5
1,2
2,1
5
55,0
58,8
3234,00
3457,44
3025,00
56,5
-1,5
2,7
6
54,3
47,2
2562,96
2227,84
2948,49
60,5
-6,2
11,4
7
49,3
55,2
2721,36
3047,04
2430,49
57,8
-8,5
17,2
Итого
405,2
384,3
22162,34
21338,41
23685,76
405,2
0,0
56,7
Ср. знач. (Итого/n)
57,89
54,90
3166,05
3048,34
3383,68
X
X
8,1
s
5,74
5,86
X
X
X
X
X
X
s 2
32,92
34,34
X
X
X
X
X
X
Рассчитаем линейный коэффициент парной корреляции:
Связь умеренная, обратная.
Определим коэффициент детерминации:
Вариация результата на 12,7% объясняется вариацией фактора х. Подставляя в уравнение регрессии фактические значения х,
определим теоретические (расчетные) значения
.
Найдем величину средней ошибки аппроксимации :
В среднем расчетные значения отклоняются от фактических на 8,1%.
Рассчитаем F-критерий:
Полученное значение указывает на необходимость принять гипотезу Но о
случайной природе выявленной зависимости и статистической незначимости параметров уравнения и показателя тесноты связи.
1б.
Построению степенной модели предшествует процедура линеаризации переменных. В примере линеаризация производится путем логарифмирования обеих частей уравнения:
где
Y=lg(y), X=lg(x), C=lg(a).
Y
X
YX
Y 2
X 2
A i
1
1,8376
1,6542
3,0398
3,3768
2,7364
61,0
7,8
60,8
11,3
2
1,7868
1,7709
3,1642
3,1927
3,1361
56,3
4,9
24,0
8,0
3
1,7774
1,7574
3,1236
3,1592
3,0885
56,8
3,1
9,6
5,2
4
1,7536
1,7910
3,1407
3,0751
3,2077
55,5
1,2
1,4
2,1
5
1,7404
1,7694
3,0795
3,0290
3,1308
56,3
-1,3
1,7
2,4
6
1,7348
1,6739
2,9039
3,0095
2,8019
60,2
-5,9
34,8
10,9
7
1,6928
1,7419
2,9487
2,8656
3,0342
57,4
-8,1
65,6
16,4
Итого
12,3234
12,1587
21,4003
21,7078
21,1355
403,5
1,7
197,9
56,3
Среднее значение
1,7605
1,7370
3,0572
3,1011
3,0194
X
X
28,27
8,0
σ
0,0425
0,0484
X
X
X
X
X
X
X
σ 2
0,0018
0,0023
X
X
X
X
X
X
X
Получим линейное уравнение:
.
Выполнив его потенцирование, получим:
Подставляя в данное уравнение фактические значения х,
получаем теоретические значения результата. По ним рассчитаем показатели: тесноты связи - индекс корреляции и среднюю ошибку аппроксимации 
Характеристики степенной модели указывают, что она несколько лучше линейной функции описывает взаимосвязь.
Для расчетов используем данные таблицы.
Y
x
Yx
Y 2
x 2
A i
1
1,8376
45,1
82,8758
3,3768
2034,01
60,7
8,1
65,61
11,8
2
1,7868
59,0
105,4212
3,1927
3481,00
56,4
4,8
23,04
7,8
3
1,7774
57,2
101,6673
3,1592
3271,84
56,9
3,0
9,00
5,0
4
1,7536
61,8
108,3725
3,0751
3819,24
55,5
1,2
1,44
2,1
5
1,7404
58,8
102,3355
3,0290
3457,44
56,4
-1,4
1,96
2,5
6
1,7348
47,2
81,8826
3,0095
2227,84
60,0
-5,7
32,49
10,5
7
1,6928
55,2
93,4426
2,8656
3047,04
57,5
-8,2
67,24
16,6
Итого
12,3234
384,3
675,9974
21,7078
21338,41
403,4
-1,8
200,78
56,3
Ср. зн.
1,7605
54,9
96,5711
3,1011
3048,34
X
X
28,68
8,0
σ
0,0425
5,86
X
X
X
X
X
X
X
σ 2
0,0018
34,339
X
X
X
X
X
X
X
Получено линейное уравнение: 
.
Произведем потенцирование полученного уравнения и запишем его в обычной форме:
Тесноту связи оценим через индекс корреляции :
