Для оценки значимости параметров уравнения множественной регрессии используют критерий Стьюдента. Напомним, что значимость параметров означает их отличие от нуля с высокой долей вероятности. Нулевой гипотезой в данном случае является утверждение
Фактическое значение t-критерия определяется по формуле
(2.27)
В формуле (2.27) под оценкой параметра понимается как коэффициент регрессии, так и свободный член (при ). Величина среднего квадратического отклонения оцениваемого параметра определяется как корень из дисперсии , рассчитанной по формуле (2.25). Величину называют стандартной ошибкой параметра .
Формулу для оценки коэффициента регрессии (т.е. для ) можно привести к виду
(2.28)
где – среднее квадратическое отклонение результативной переменной ; – среднее квадратическое отклонение объясняющей переменной , являющейся сомножителем коэффициента ; – коэффициент детерминации, найденный для уравнения зависимости переменной от переменных , включая ; – коэффициент детерминации, найденный для уравнения зависимости переменной от других переменных , входящих в рассматриваемую модель множественной регрессии.
Теоретическое значение t-критерия находят по таблице значений критерия Стьюдента для уровня значимости а и числа степеней свободы . Уровень значимости а представляет собой вероятность ошибки первого рода, т.е. вероятность отвергнуть гипотезу , когда она верна. Как правило, а выбирают равным 0,1; 0,05 или 0,01.
Нулевая гипотеза о незначимости параметра : отвергается, если выполняется неравенство
(2.29)
где – теоретическое значение критерия Стьюдента.
На основе выражения (2.29) можно построить также доверительный интервал для оцениваемого параметра :
Выражение (2.30) позволяет как оценить значимость параметра, так и дать его экономическую интерпретацию (если оценивается коэффициент регрессии). Очевидно, что параметр будет значим, если в доверительный интервал (2.30) не входит нуль, т.е. с большой долей вероятности оцениваемый параметр не равен нулю.
Так как коэффициент регрессии является абсолютным показателем силы связи, границы доверительного интервала и для него также можно интерпретировать аналогичным образом: с вероятностью при единичном изменении независимой переменной зависимая переменная у изменится не меньше, чем на , и не больше, чем на .
Рассмотрим результаты оценки значимости параметров для примера 2.1. Стандартные ошибки параметров равны
Напомним, что под знаком корня в квадратных скобках стоит элемент матрицы , который находится на пересече-
нии j-й строки и j-го столбца, номер; равен номеру оцениваемого параметра.
Фактическое значение критерия Стьюдента равно
Табличное значение t-критерия для и уровне значимостисоставляет 2,0153, следовательно, все параметры, кроме свободного члена, значимы .
Найдем границы доверительных интервалов для коэффициентов регрессии.
Отметим, что, руководствуясь значениями границ доверительных интервалов, можно сделать те же выводы о значимости коэффициентов регрессии (так как нуль не попадает в доверительный интервал). Выводы в данном случае и не могли быть иными, чем при сравнении фактического и табличного значений критерия Стьюдента, так как формула (2.30) является следствием формулы (2.29). Дадим экономическую интерпретацию границ доверительных интервалов для коэффициентов регрессии.
Коэффициент является характеристикой силы связи между объемом поступления налогов и количеством занятых. С учетом значений границ доверительного интервала дляможно сказать, что изменение количества занятых на 1 тыс. человек приведет к изменению (с вероятностью 0,95 ()) поступления налогов не менее чем на 3,56 млн руб. и не более чем на 21,34 млн руб. при неизменном объеме отгрузки в обрабатывающих производствах и производстве энергии. Для двух других коэффициентов регрессии выводы будут следующими.
Изменение объема отгрузки в обрабатывающих производствах на 1 млн руб. приведет к изменению (с вероятностью 0,95 ()) поступления налогов не менее чем на 0,028 млн руб. и не более чем на 0,092 млн руб. при неизменных значениях количества занятых и производства энергии.
При изменении производства энергии на 1 млн руб. поступление налогов изменится (с вероятностью 0,95 ()) не менее чем на 0,13 млн руб. и не более чем на 0,18 млн руб. при неизменных значениях количества занятых и объема отгрузки в обрабатывающих производствах.
Как было отмечено в параграфе 2.2, при построении модели регрессии с использованием центрированных переменных коэффициенты регрессии не отличаются от коэффициентов регрессии в натуральной форме. Это утверждение относится также к величине стандартных ошибок коэффициентов регрессии и, следовательно, к фактическим значениям критерия Стьюдента.
При использовании стандартизованных переменных меняется масштаб их измерения, что приводит к другим, чем в исходной регрессии, значениям параметров (стандартизованных коэффициентов регрессии) и их стандартных ошибок. Однако фактические значения критерия Стьюдента для параметров уравнения в стандартизованном масштабе совпадают с теми значениями, которые были получены по уравнению в натуральном масштабе.
Для оценки значимости всего уравнения регрессии в целом используется критерий Фишера (F-критерий) , который в данном случае называют также общим F-критерием . Под незначимостью уравнения регрессии понимается одновременное равенство нулю (с высокой долей вероятности) всех коэффициентов регрессии в генеральной совокупности:
Фактическое значение F-критерия определяется как соотношение факторной и остаточной сумм квадратов, рассчитанных по уравнению регрессии и скорректированных на число степеней свободы:
(2.31)
где – факторная сумма квадратов; – остаточная сумма квадратов.
Теоретическое значение F-критерия находят по таблице значений критерия Фишера для уровня значимости α, числа степеней свободы и . Нулевая гипотеза отвергается, если
где – теоретическое значение критерия Фишера.
Отметим, что если модель незначима, то незначимы и показатели корреляции, рассчитанные по ней. Действительно, если
и линия регрессии параллельна оси абсцисс. Кроме того, из системы нормальных уравнений, полученной по методу наименьших квадратов (2.8), следует, что .
При нулевых значения всех коэффициентов регрессии имеем выражение
т.е. при равенстве всех коэффициентов регрессии нулю (их статистической незначимости) коэффициент детерминации также будет равен нулю (статистически незначим).
Формулу (2.31) расчета F-критерия можно преобразовать, разделив факторную и остаточную суммы квадратов на общую сумму квадратов:
После простых преобразований получаем выражение
Расчет общего F-критерия можно оформить в виде таблицы дисперсионного анализа (табл. 2.2).
Таблица 2.2. Анализ статистической значимости модели множественной регрессии
|
Источники вариации |
Число степеней свободы df |
Сумма квадратов SS |
Дисперсия на одну степень свободы MS = SS/df |
F-критерий Фишера |
|
|
фактическое значение |
табличное значение для а = 0,05 |
||||
Аналогичную таблицу дисперсионного анализа можно увидеть в результатах компьютерной обработки данных. Ее отличие
от приведенной выше таблицы заключается в содержании последнего столбца. В нашем случае это теоретическое значение критерия Фишера. В компьютерных вариантах в последнем столбце приводится значение вероятности допустить ошибку первого рода (отвергнуть верную нулевую гипотезу), которая соответствует фактическому значению F-критерия. В Excel эта величина называется "значимость F". Обозначим величину, выдаваемую компьютером в таблице дисперсионного анализа, как . Ее значение можно проинтерпретировать следующим образом: если теоретическое значение F-критерия равно его фактическому значению, то вероятность ошибки первого рода (уровень значимости) равна .
Выбирая для определения табличного значения критерия некий уровень значимости, мы соглашаемся на величину ошибки, равную. Следовательно, если , то фактическая ошибка будет меньше запланированной и можно говорить о значимости уравнения регрессии при заданном уровне значимости .
Проверим на статистическую значимость уравнение регрессии, полученное в примере 2.1. Фактическое значение F-критерия равно
Табличное значение критерия Фишера для а = 0,05, числа степеней свободы и равно 2,82. Так как фактическое значение F-критерия больше табличного, уравнение регрессии значимо с вероятностью Следовательно, значим также коэффициент детерминации, т.е. он с большой долей вероятности отличен от нуля.
При использовании опции "Регрессия" в ППП Excel для данного примера получена следующая таблица дисперсионного анализа (табл. 2.3).
Таблица 2.3. Таблица дисперсионного анализа, полученная при применении опции "Регрессия" в ППП Excel
Фактическое значение F-критерия содержится в предпоследнем столбце данной таблицы. Отметим, что его значение отличается от приведенного выше из-за ошибок округления. В последнем столбце табл. 2.3 приведена вероятность допустить ошибку первого рода. Она равна 1,10224Е -12, т.е. 0,00000000000110224. Нами задана максимальная величина этой вероятности, равная 0,05. Так как фактическое значение вероятности допустить ошибку первого рода меньше (значительно меньше) установленного нами максимального, нулевая гипотеза о незначимости уравнения регрессии должна быть отвергнута.
25.07.16 Ирина Аничина
33094 0
В данной статье мы поговорим о том, как понять, качественную ли модель мы построили. Ведь именно качественная модель даст нам качественные прогнозы.
Prognoz Platform обладает обширным списком моделей для построения и анализа. Каждая модель имеет свою специфику и применяется при различных предпосылках.
Объект «Модель» позволяет построить следующие регрессионные модели:
Начнём с модели линейной регрессии. Многое из сказанного будет распространяться и на другие виды.
Модель линейной регрессии (оценка МНК)
где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, e – вектор ошибок модели, b 0 , b 1 , …, b k – коэффициенты модели.
Итак, куда смотреть?
Коэффициенты модели
Для каждого коэффициента на панели «Идентифицированное уравнение» вычисляется ряд статистик: стандартная ошибка, t -статистика , вероятность значимости коэффициента . Последняя является наиболее универсальной и показывает, с какой вероятностью удаление из модели фактора, соответствующего данному коэффициенту, не окажется значимым.
Открываем панель и смотрим на последний столбец, ведь он – именно тот, кто сразу же скажет нам о значимости коэффициентов.
Факторов с большой вероятностью незначимости в модели быть не должно.
Как вы видите, при исключении последнего фактора коэффициенты модели практически не изменились.
Возможные проблемы: Что делать, если согласно вашей теоретической модели фактор с большой вероятностью незначимости обязательно должен быть? Существуют и другие способы определения значимости коэффициентов. Например, взгляните на матрицу корреляции факторов.
Матрица корреляции
Панель «Корреляция факторов» содержит матрицу корреляции между всеми переменными модели, а также строит облако наблюдений для выделенной пары значений.
Коэффициент корреляции показывает силу линейной зависимости между двумя переменными. Он изменяется от -1 до 1. Близость к -1 говорит об отрицательной линейной зависимости, близость к 1 – о положительной.
Облако наблюдений позволяет визуально определить, похожа ли зависимость одной переменной от другой на линейную.
Если среди факторов встречаются сильно коррелирующие между собой, исключите один из них. При желании вместо модели обычной линейной регрессии вы можете построить модель с инструментальными переменными, включив в список инструментальных исключённые из-за корреляции факторы.
Матрица корреляции не имеет смысла для модели нелинейной регрессии, поскольку она показывает только силу линейной зависимости.
Критерии качества
Помимо проверки каждого коэффициента модели важно знать, насколько она хороша в целом. Для этого вычисляют статистики, расположенные на панели «Статистические характеристики».
Коэффициент детерминации (R 2 ) – наиболее распространённая статистика для оценки качества модели. R 2 рассчитывается по следующей формуле:
где n
– число наблюдений; y i
— значения объясняемой переменной; 
— среднее значение объясняемой переменной; ỹ
i
— модельные значения, построенные по оцененным параметрам.
R 2 принимает значение от 0 до 1 и показывает долю объяснённой дисперсии объясняемого ряда. Чем ближе R 2 к 1, тем лучше модель, тем меньше доля необъяснённого.
Возможные проблемы: Проблемы с использованием R 2 заключаются в том, что его значение не уменьшается при добавлении в уравнение факторов, сколь плохи бы они ни были. Он гарантированно будет равен 1, если мы добавим в модель столько факторов, сколько у нас наблюдений. Поэтому сравнивать модели с разным количеством факторов, используя R 2 , не имеет смысла.
Для более адекватной оценки модели используется скорректированный коэффициент детерминации (Adj R 2 ) . Как видно из названия, этот показатель представляет собой скорректированную версию R 2 , накладывая «штраф» за каждый добавленный фактор:
где k – число факторов, включенных в модель.
Коэффициент Adj R 2 также принимает значения от 0 до 1, но никогда не будет больше, чем значение R 2 .
Аналогом t -статистики коэффициента является статистика Фишера (F -статистика) . Однако если t -статистика проверяет гипотезу о незначимости одного коэффициента, то F -статистика проверяет гипотезу о том, что все факторы (кроме константы) являются незначимыми. Значение F -статистики также сравнивают с критическим, и для него мы также можем получить вероятность незначимости. Стоит понимать, что данный тест проверяет гипотезу о том, что все факторы одновременно являются незначимыми. Поэтому при наличии незначимых факторов модель в целом может быть значима.
Возможные проблемы: Большинство статистик строится для случая, когда модель включает в себя константу. Однако в Prognoz Platform мы имеем возможность убрать константу из списка оцениваемых коэффициентов. Стоит понимать, что такие манипуляции приводят к тому, что некоторые характеристики могут принимать недопустимые значения. Так, R 2 и Adj R 2 при отсутствии константы могут принимать отрицательные значения. В таком случае их уже не получится интерпретировать как долю, принимающую значение от 0 до 1.
Для моделей без константы в Prognoz Platform рассчитываются нецентрированные коэффициенты детерминации (R 2 и Adj R 2 ). Модифицированная формула приводит их значения к диапазону от 0 до 1 даже в модели без константы.
Посмотрим значения описанных критериев для приведённой выше модели:
Как мы видим, коэффициент детерминации достаточно велик, однако есть ещё значительная доля необъяснённой дисперсии. Статистика Фишера говорит о том, что выбранная нами совокупность факторов является значимой.
Сравнительные критерии
Кроме критериев, позволяющих говорить о качестве модели самой по себе, существует ряд характеристик, позволяющих сравнивать модели друг с другом (при условии, что мы объясняем один и тот же ряд на одном и том же периоде).
Большинство моделей регрессии сводятся к задаче минимизации суммы квадратов остатков (sum of squared residuals , SSR ) . Таким образом, сравнивая модели по этому показателю, можно определить, какая из моделей лучше объяснила исследуемый ряд. Такой модели будет соответствовать наименьшее значение суммы квадратов остатков.
Возможные проблемы: Стоит заметить, что с ростом числа факторов данный показатель так же, как и R 2 , будет стремиться к граничному значению (у SSR, очевидно, граничное значение 0).
Некоторые модели сводятся к максимизации логарифма функции максимального правдоподобия (LogL ) . Для модели линейной регрессии эти задачи приводят к одинаковому решению. На основе LogL строятся информационные критерии, часто используемые для решения задачи выбора как регрессионных моделей, так и моделей сглаживания:
Все критерии учитывают число наблюдений и число параметров модели и отличаются друг от друга видом «функции штрафа» за число параметров. Для информационных критериев действует правило: наилучшая модель имеет наименьшее значение критерия.
Сравним нашу модель с её первым вариантом (с «лишним» коэффициентом):
Как можно увидеть, данная модель хоть и дала меньшую сумму квадратов остатков, оказалась хуже по информационным критериям и по скорректированному коэффициенту детерминации.
Анализ остатков
Модель считается качественной, если остатки модели не коррелируют между собой. В противном случае имеет место постоянное однонаправленное воздействие на объясняемую переменную не учтённых в модели факторов. Это влияет на качество оценок модели, делая их неэффективными.
Для проверки остатков на автокорреляцию первого порядка (зависимость текущего значения от предыдущих) используется статистика Дарбина-Уотсона (DW ) . Её значение находится в промежутке от 0 до 4. В случае отсутствия автокорреляции DW близка к 2. Близость к 0 говорит о положительной автокорреляции, к 4 — об отрицательной.
Как оказалось, в нашей модели присутствует автокорреляция остатков. От автокорреляции можно избавиться, применив преобразование «Разность» к объясняемой переменной или воспользовавшись другим видом модели – моделью ARIMA или моделью ARMAX.
Возможные проблемы: Статистика Дарбина-Уотсона неприменима к моделям без константы, а также к моделям, которые в качестве факторов используют лагированные значения объясняемой переменной. В этих случаях статистика может показывать отсутствие автокорреляции при её наличии.
Модель линейной регрессии (метод инструментальных переменных)
Модель линейной регрессии с инструментальными переменными имеет вид:
где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, x ̃ 1 , …, x ̃ k – смоделированные при помощи инструментальных переменных объясняющие ряды, z 1 , …, z l – инструментальные переменные, e , ∈ j – вектора ошибок моделей, b 0 , b 1 , …, b k – коэффициенты модели, c 0 j , c 1 j , …, c lj – коэффициенты моделей для объясняющих рядов.
Схема, по которой следует проверять качество модели, является схожей, только к критериям качества добавляется J -статистика – аналог F -статистики, учитывающий инструментальные переменные.
Модель бинарного выбора
Объясняемой переменной в модели бинарного выбора является величина, принимающая только два значения – 0 или 1.
где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, e – вектор ошибок модели, b 0 , b 1 , …, b k – коэффициенты модели, F – неубывающая функция, возвращающая значения от 0 до 1.
Коэффициенты модели вычисляются методом, максимизирующим значение функции максимального правдоподобия. Для данной модели актуальными будут такие критерии качества, как:
Нелинейная регрессия
Под моделью линейной регрессии будем понимать модель вида:
где y – объясняемый ряд, x 1 , …, x k – объясняющие ряды, e – вектор ошибок модели, b – вектор коэффициентов модели.
Коэффициенты модели вычисляются методом, минимизирующим значение суммы квадратов остатков. Для данной модели будут актуальны те же критерии, что и для линейной регрессии, кроме проверки матрицы корреляций. Отметим ещё, что F-статистика будет проверять, является ли значимой модель в целом по сравнению с моделью y = b 0 + e , даже если в исходной модели у функции f (x 1 , …, x k , b ) нет слагаемого, соответствующего константе.
Итоги
Подведём итоги и представим перечень проверяемых характеристик в виде таблицы:
Надеюсь, данная статья была полезной для читателей! В следующий раз мы поговорим о других видах моделей, а именно ARIMA, ARMAX.
Оценка качества модели по критериям Стьюдента и Фишера будет проводиться путём сравнения расчетных значений с табличными.
Для оценки качества модели по критерию Стьюдента фактическое значение этого критерия (t набл)
сравнивается с критическим значением t кр которое берется из таблицы значений t с учетом заданного уровня значимости (α = 0.05 ) и числа степеней свободы (n - 2) .
Если t набл > t кр, то полученное значение коэффициента парной корреляции признается значимым.
Критическое значение при и равно 
.
Проверим значимость коэффициента детерминации, используя F ‑критерий Фишера.
Вычислим статистику F по формуле:
m = 3 – число параметров в уравнении регрессии;
N = 37 – число наблюдений в выборочной совокупности.
Математической моделью статистического распределения F -статистики является распределение Фишера с и степенями свободы. Критическое значение этой статистики при и и степенях свободы равно .
| Критерий Фишера | ||
| F расч | F кр | Уравнение регрессии |
| 8916.383 | 3.276 | адекватно |
Таким образом, модель объясняет 99.8% общей дисперсии признака Y . Это указывает на то, что подобранная модель является адекватной.
Расчет прогнозных значений и суммы квадратов отклонений.
Введем в ячейку Q2 формулу =$F$54*N2+$E$54*O2 (расчет прогнозных значений), затем скопируем ее в ячейки Q3:Q38 . В ячейку R2 формулу =(P2-Q2)^2 (расчет суммы квадратов отклонений), затем скопируем ее в ячейки R3:R38 , и подсчитаем сумму полученных значений в ячейке R39 .
| X 2 | X 5 | Y | y(x) | (Y - y(x)) 2 |
| 605.1 | 2063.2 | 1626.7 | 1589.7 | 1367.523 |
| 620.1 | 2143.7 | 1602.5 | 1650.5 | 2303.318 |
| 2447.7 | 1880.7 | 1914.5 | 1144.709 | |
| 862.1 | 2406.4 | 1982.7 | 1876.9 | 11189.53 |
| 958.4 | 2592.9 | 2026.7 | 106.5821 | |
| 1488.9 | 2193.9 | 2180.4 | 182.342 | |
| 1231.5 | 2529.7 | 2152.1 | 2020.4 | 17335.88 |
| 1429.6 | 2644.9 | 2133.1 | 8814.026 | |
| 1679.5 | 2793.7 | 2344.4 | 2277.8 | 4436.216 |
| 1326.2 | 2669.2 | 2341.7 | 2135.8 | 42415.15 |
| 1456.8 | 2211.9 | 2282.7 | 5014.463 | |
| 2523.6 | 2990.5 | 2629.8 | 2543.9 | 7377.384 |
| 2659.8 | 2017.5 | 2059.0 | 1722.637 | |
| 923.8 | 2636.6 | 2009.4 | 2053.4 | 1939.955 |
| 1173.3 | 2943.1 | 2312.8 | 2792.24 | |
| 1156.7 | 2890.9 | 2400.1 | 2272.4 | 16298.85 |
| 1450.2 | 3051.5 | 2508.1 | 2432.0 | 5784.146 |
| 1845.2 | 2684.1 | 2633.3 | 2581.453 | |
| 1566.4 | 3052.6 | 2736.6 | 2449.8 | 82275.65 |
| 1729.7 | 3349.7 | 2824.5 | 2689.8 | 18152.31 |
| 1987.3 | 3456.3 | 2880.2 | 2804.9 | 5676.928 |
| 1902.7 | 3731.2 | 2812.9 | 2992.6 | 32297.9 |
| 1839.1 | 3517.8 | 2704.2 | 2828.0 | 15336.69 |
| 3953.7 | 3823.1 | 3224.2 | 3358.1 | 17922.28 |
| 1351.2 | 3482.9 | 2584.7 | 2731.6 | 21584.07 |
| 1185.3 | 3347.6 | 2466.7 | 2609.0 | 20246.66 |
| 1715.5 | 3585.4 | 2928.3 | 2859.2 | 4768.047 |
| 1536.4 | 3678.3 | 3036.4 | 2900.8 | 18389.81 |
| 1823.1 | 3801.6 | 3021.1 | 3032.3 | 124.6986 |
| 2452.1 | 4002.1 | 3237.6 | 3269.8 | 1034.273 |
| 2076.6 | 3990.3 | 3247.1 | 3206.5 | 1647.633 |
| 2129.2 | 3436.9 | 3375.5 | 3767.099 | |
| 2502.7 | 4154.2 | 3472.8 | 3387.8 | 7220.377 |
| 2238.7 | 4322.7 | 3504.1 | 3472.0 | 1028.291 |
| 2417.6 | 4623.1 | 3357.1 | 3716.7 | 129321.2 |
| 3838.4 | 4817.9 | 4034.7 | 4065.3 | 937.7363 |
| 1468.6 | 3450.4 | 3585.0 | 18128.14 | |
| ∑ | 532666.2 |
Форма отчета
Варианты
| Тарифы на размещение рекламы и характеристики журналов | |||||
| Название журнала | Y, тариф (одна страница цветной рекламы), дол. | X 1 , планируемая аудитория, тыс. человек | Х 2 , процент мужчин | Х 3 , медиана дохода семьи, дол | |
| Audubon | 25 315 | 51,1 | 38 787 | ||
| Better Homes & Gardens | 198 000 | 34 797 | 22,1 | ||
| Business Week | 68,1 | 63 667 | |||
| Cosmopolitan | 15 452 | 17,3 | 44 237 | ||
| Elle | 55 540 | 12,5 | 47 211 | ||
| Entrepreneur | 40 355 | 2 476 | 60,4 | 47 579 | |
| Esquire | 71,3 | 44 715 | |||
| Family Circle | 147 500 | 24 539 | 38 759 | ||
| first For Women | 28 059 | 3 856 | 3,6 | 43 850 | |
| Forbes | 59 340 | 68,8 | 66 606 | ||
| Fortune | 3 891 | 68,8 | 58 402 | ||
| Glamour | 85 080 | 7,8 | |||
| Goff Digest | 6 250 | 78,9 | |||
| Good Housekeeping | 166 080 | 25 306 | 12,6 | 38 335 | |
| Gourmet | 49 640 | 29,6 | 57 060 | ||
| Harper"s Bazaar | 52 805 | 2 621 | 11,5 | 44 992 | |
| Inc. | 70 825 | 66,9 | |||
| Kiplinger"s Personal Finance | 65,1 | 63 876 | |||
| Ladies" Home Journal | 127 000 | 6,8 | |||
| Life | 63 750 | 14 220 | 46,9 | ||
| Mademoiselle | 55 910 | ||||
| Martha Stewart"s Living | 93 328 | 4 849 | 16,6 | ||
| McCalls | 7,6 | 33 823 | |||
| Money | 98 250 | 60,6 | |||
| Motor Trend | 79 800 | 5 281 | 88,5 | 48 739 | |
| National Geographic | 44 326 | ||||
| Natural History | |||||
| Newsweek | 148 800 | 20 720 | 53,5 | 53 025 | |
| Parents Magazine | 72 820 | 18,2 | |||
| PC Computing | 40 675 | 57 916 | |||
| People | 125 000 | 33 668 | |||
| Popular Mechanics | 86,9 | ||||
| Reader"s Digest | 42,4 | 38 060 | |||
| Redbook | 95 785 | 13 212 | 8,9 | 41 156 | |
| Rolling Stone | 78 920 | 8 638 | 59,8 | 43 212 | |
| Runner"s World | 36 850 | 2 078 | 62,9 | 60 222 | |
| Scientific American | 37 500 | 2 704 | |||
| Seventeen | 71 115 | 5 738 | 37 034 | ||
| Ski | 32 480 | 2 249 | 64,5 | 58 629 | |
| Smart Money | 42 900 | 2 224 | 63,4 | ||
| Smithsonian | 73 075 | 8 253 | 47,9 | ||
| Soap Opera Digest | 35 070 | 7 227 | 10,3 | ||
| Sports Illustrated | 162 000 | 78,8 | 45 897 | ||
| Sunset | 56 000 | 5 276 | 38,7 | 52 524 | |
| Teen | 53 250 | 3 057 | 15,4 | ||
| The New Yorker | 62 435 | 3 223 | 48,9 | ||
| Time | 162 000 | 22 798 | 52,4 | ||
| True Story | 12,2 | ||||
| TV Guide | 42,8 | 37 396 | |||
| U.S. News & World Report | 98 644 | 9 825 | 57,5 | 52 018 | |
| Vanity Fair | 67 890 | 4 307 | 27,7 | ||
| Vogue | 63 900 | 12,9 | 44 242 | ||
| Woman"s Day | 137 000 | 22 747 | 6,7 | ||
| Working Woman | 87 500 | 6,3 | 44 674 | ||
| YM | 73 270 | 14,4 | 43 696 | ||
| Среднее значение | 83 534 | 39,7 | 47 710 | ||
| Среднеквадратическое отклонение | 25,9 | 10 225 |
Контрольные вопросы
Парная регрессия
1. Что понимается под парной регрессией?
2. Какие задачи решаются при построении уравнения регрессии?
3. Какие методы применяются для выбора вида модели регрессии?
4. Какие функции чаще всего используются для построения уравнения пар-
5. ной регрессии?
6. Какой вид имеет система нормальных уравнений метода наименьших
7. квадратов в случае линейной регрессии?
8. Как вычисляется и что показывает индекс детерминации?
9. Как проверяется значимость уравнения регрессии?
10. Как проверяется значимость коэффициентов уравнения регрессии?
11. Понятие доверительного интервала для коэффициентов регрессии.
12. Понятие точечного и интервального прогноза по уравнению линейной регрессии.
13. Как вычисляются и что показывают коэффициент эластичности Э , средний коэффициент эластичности Ý ?
Множественная регрессия
1. Что понимается под множественной регрессией?
2. Чем отличается модель множественной линейной регрессии от модели парной линейной регрессии? Запишите уравнение множественной линейной регрессии.
3. Какие задачи решаются при построении уравнения регрессии?
4. Какие задачи решаются при спецификации модели?
5. Какие требования предъявляются к факторам, включаемым в уравнение регрессии?
6. Что понимается под коллинеарностью факторов?
7. Как проверяется наличие коллинеарности?
8. Какие подходы применяются для преодоления межфакторной корреляции?
9. Какие функции чаще используются для построения уравнения множественной регрессии?
10. По какой формуле вычисляется индекс множественной корреляции?
11. Как вычисляются индекс множественной детерминации?
12. Что такое коэффициент детерминации? Как с его помощью оценивается адекватность модели?
13. Что означает низкое значение коэффициента множественной корреляции?
14. Как проверяется значимость уравнения регрессии и отдельных коэффициентов?
15. Как строятся гипотезы о проверке значимости параметров модели?
16. Как строятся частные уравнения регрессии?
17. Как вычисляются средние частные коэффициенты эластичности?
18. Как строятся доверительные интервалы для параметров модели?
19. Что понимается под гомоскедастичностью ряда остатков?
20. Как проверяется гипотеза о гомоскедастичности ряда остатков?
21. Как называют зависимую переменную в модели?
22. Как называют независимые переменные в модели?
23. Назовите основной метод построения модели.
24. Запишите модель множественной регрессии в общем виде с 3 незав.переменными
25. Запишите сумму квадратов отклонений модели(формула)
26. Что такое RSS?(определение и формула)
27. Как проверить значимость построенной модели в целом?
28. Как проверить значимость коэффициента при переменной X_3?
29. Сфомулируйте экономический смысл коэффициента например при переменно X_5
30. Что такое "короткая модель"множественной регрессии
Литература
1. Шанченко, Н. И.Эконометрика: лабораторный практикум: учебное пособие /Н. И. Шанченко. – Ульяновск: УлГТУ, 2011. – 117 с.
2. Давнис В.В., Тинякова В.И. Компьютерный практикум по эконометрическому моделированию. Воронеж, 2003. - 63 с.
Исходные данные характеризуют цену продажи некоторого товара в отдельные моменты времени. Необходимо построить регрессионную модель динамики изменения данного показателя. Факторы, предположительно оказывающие влияние на данную величину, включают цену продажи товара-субститута, объем продажи товара, объем затрат на рекламу, средние затраты на рекламу.
Цена продажи – зависимая величина, обозначим ее Y.
Факторы, влияющие (предположительно) на величину Y обозначим X i: X 1 – цена товара-субститута, X 2 – объем продаж, X 3 – объем затрат на рекламу, X 4 - средние затраты на рекламу.
Исходные данные
Расчет параметров и построение регрессионных моделей
Его цель - определить характер связи (прямая, обратная) и силу связи (связь отсутствует, связь слабая, умеренная, заметная, сильная, весьма сильная, полная связь). Корреляционный анализ создает информацию о характере и степени выраженности связи (коэффициент корреляции), которая используется для отбора существенных факторов, а также для планирования эффективной последовательности расчета параметров регрессионных уравнений. При одном факторе вычисляют коэффициент корреляции, а при наличии нескольких факторов строят корреляционную матрицу, из которой выясняют два вида связей: (1) связи зависимой переменной с независимыми, (2) связи между самими независимыми.
Рассмотрение матрицы позволяет, во первых, выявить факторы, действительно влияющие на исследуемую зависимую переменную, и выстроить (ранжировать) их по убыванию связи; во-вторых, минимизировать число факторов в модели, исключив часть факторов, которые сильно или функционально связаны с другими факторами (речь идет о связях независимых переменных между собой).
Известно, что наиболее надежными на практике бывают одно- и двухфакторные модели.
Если будет обнаружено, что два фактора имеют сильную или полную связь между собой, то в регрессионное уравнение достаточно будет включить один из них.
Здесь стремятся отыскать наиболее точную меру выявленной связи, для того чтобы можно было прогнозировать, предсказывать значения зависимой величины Y, если будут известны значения независимых величин Х 1 , Х 2 ,.... Х n
Эту меру обобщенно выражают математической моделью линейной множественной регрессионной зависимости:
Y = a 0 + b 1 Х 1 + b 2 Х 2 + ... +b n X n
ЭВМ вычисляет параметры модели: свободный член а 0 (константа, или пересечение) и коэффициенты b п (коэффициенты регрессии). Величину у называют откликом, а Х 1 , Х 2 , .. ., Х п - факторами или предикторами.
После получения каждого варианта уравнения обязательной процедурой является оценка его статистической значимости, поскольку главная цель - получить уравнение наивысшей значимости. Однако в связи с тем, что расчеты выполняет ЭВМ, а решение на основе оценки значимости уравнения принимает исследователь (принять или отбросить уравнение), условно можно выделить третий этап этой человеко-машинной технологии как интеллектуальный немашинный этап, для которого почти все данные по оценке значимости уравнения подготавливает ЭВМ.
Статистическую значимость, т. е. пригодность постулируемой модели для использования ее в целях предсказания значений отклика. Для оценки качества полученной модели программа вычислила также целый ряд коэффициентов, которые обязан рассмотреть исследователь, сравнивая их с известными статистическими критериями и оценивая модель с точки зрения здравого смысла.
На этом этапе исключительно важную роль играют коэффициент детерминации и F-критерий значимости регрессии.
R Squared (R 2) - коэффициент детерминации - это квадрат множественного коэффициента корреляции между наблюдаемым значением Y и его теоретическим значением, вычисленным на основе модели с определенным набором факторов. Коэффициент детерминации измеряет действительность модели. Он может принимать значения от 0 до 1. Эта величина особенно полезна для сравнения ряда различных моделей и выбора наилучшей модели.
R 2 есть доля вариации прогнозной (теоретической) величины Y относительно наблюденных значений Y, объясненная за счет включенных в модель факторов. Очень хорошо, если R 2 >= 80%. Остальная доля теоретических значений У зависит от других, не участвовавших в модели факторов. Задача исследователя - находить факторы, увеличивающие R 2 , к давать объяснение вариаций прогноза, чтобы получить идеальное уравнение. Однако, коэффициент R 2 самое большее может достигнуть величины 1 (или 100%), когда все значения факторов различны. А если в данных есть повторяющиеся опыты, то величина R 2 не может достигнуть 1, как бы хороша ни была модель. Поэтому дубликаты данных следует удалять из исходной таблицы до начала расчета регрессии. Некоторые программные пакеты автоматически удаляют дубликат, оставляя лишь уникальные данные. Повторение одинаковых данных снижает надежность оценок модели. R 2 = 1 лишь при полном согласии экспериментальных (наблюденных) и теоретических (расчетных) данных, т. е. когда теоретические значения точно совпадают с наблюдаемыми. Однако это считается весьма маловероятным случаем.
Средствами регрессионного анализа, в т.ч. Excel, вычисляется F-критерий значимости регрессиидля уравнения в целом. Это рассчитанное по наблюденным данным значение Fp (F расчетный, наблюденный) следует сравнивать с соответствующим критическим значением Fк, (F критический, табличный) (см. приложение А). Fк исследователь выбирает из публикуемых статистических таблиц на заданном уровне вероятности (на том, на каком вычислялись параметры модели, например, 95%).
Если наблюденное значение Fp окажется меньше критического значения Fк, то уравнение нельзя считать значимым. В иной терминологии об этом же может быть сказано: не отвергнута нуль-гипотеза относительно значимости всех коэффициентов регрессии в постулируемой модели, т. е. коэффициенты практически равны нулю.
Электронная технология корреляционно-регрессионного анализа становится абсолютно бесполезной, если расчетные данные будут толковаться не вполне правильно.
Если полученная модель статистически значима, ее применяют для прогнозирования (предсказания), управления или объяснения.
Если же обнаружена незначимость, то модель отвергают, предполагая, что истинной окажется какая-то другая форма связи, которую надо поискать.
Коэффициент детерминации является статистикой, т.к.егозначения вычисляются по наблюденным данным. На основе коэффициента детерминации строится статистическая процедура, осуществляющая проверку, насколько значима линейная связь между факторами.
Статистика, проверяющая значимость всего уравнения регрессии имеет вид:
Получаем:
Возрастающим значениям статистики соответствуют и возрастающие значения статистики, поэтому гипотеза, не принимаемая при=, не принимается, если выполняется неравенство, где
Вероятность ошибочно отклонить гипотезу равна.
Вычислим критические значения при для разного количества наблюдений.
Рассмотрим простую линейную регрессию, так что
Критические значения, полученные в зависимости от числа наблюдений:
Т.е., при значительном количестве наблюдений даже малые отклонения фактического значения от 0 оказываются существенными для признания статистической значимости коэффициента регрессии, при содержательной объясняющей переменной.
Призначениесовпадает с квадратом коэффициента корреляции между переменными, такой же вывод верен и для коэффициента корреляции:
Рассмотрим теперь коэффициенты детерминации R 2 для полной и редуцированной модели. В полной модели значение R 2 всегда больше, чем в редуцированной, т.к. в полной модели с m объясняющими переменными минимизируем сумму
по всем значениям коэффициентов. При рассмотрении редуцированной модели, например, безm-ой объясняющей переменной, ищется минимум суммы
по всем значениям коэффициентов, Получаемое при этом значение минимума не может быть больше значения, получаемого при минимизации суммы отклонений по всем значениям, включая и значения. Отсюда и вытекает свойство коэффициента.
Для удобства процедуры выбора модели с использованием предлагается вместоиспользовать его скорректированную (adjusted) форму
в которой вводится штраф, связанный с увеличением числа объясняющих переменных. Получаем:
Таким образом, лучшей признается та из конкурирующих моделей, для которой принимает максимально возможное значение.
Если при сравнении конкурирующих моделей оценивание производится с использованием одинакового количества наблюдений, то сравнение моделей по величине эквивалентно сравнению этих моделей по значению или. При этом выбирается альтернативная модель с минимальным значением (или).
Кроме скорректированных коэффициентов детерминации, при выборе одной из нескольких альтернативных моделей используются информационные критерии, такие как критерий Шварца, критерий Акаике, «штрафующие» за увеличение объясняющих переменных, но несколько другими методами.
КритерийАкаике (Akaike"sinformationcriterion-AIC). Используя этот критерий линейная модель с объясняющими факторами, построенная по наблюдениям, сопоставляется сзначением
Остаточная сумма квадратов. Т.к. первое слагаемое с увеличениемчисла объясняющих переменных уменьшается, а второе слагаемое увеличивается, тоиз альтернативных моделей выбираем модель с наименьшим значением.Таким образом, достигается компромисс между остаточной суммой квадратов и числом объясняющих факторов.
КритерийШварца (Schwarz"sinformationcriterion-SC, SIC). Используя этот критерий линейная модель с объясняющими факторами, построенная по наблюдениям, сопоставляется сзначением
И здесь также как при использовании критерия Акаикеувеличение количества объясняющих факторов ведет к уменьшению первого слагаемогов правой части и к увеличению второго. Из полной и редуцированных альтернативных моделей выбирается модель с наименьшим значением.
