Корреляционный и регрессионный анализ в Excel

Лабораторный практикум

Валентин Юльевич Арьков

© Валентин Юльевич Арьков, 2019

ISBN 978-5-0050-4576-8

Создано в интеллектуальной издательской системе Ridero

Предисловие

Данная лабораторная работа позволяет освоить базовые методы исследования взаимосвязей в электронной таблице — корреляционный и регрессионный анализ.

При выполнении лабораторной работы используются знания и навыки, полученные на предыдущих занятиях.

Условные обозначения:

— жирный шрифт — названия функций и пунктов меню;

— КНОПКИ на экране компьютера;

— КЛАВИШИ на клавиатуре компьютера.

Описывается работа в англоязычной версии Microsoft Excel из пакета Office 365. В тексте приводятся названия пунктов меню и функций на английском и на русском языках. На рисунках используется английская версия пакета.

Введение

В данной лабораторной работе рассматривается корреляционная зависимость, или корреляция [1—4].

В работе для изучения взаимосвязи используются методы корреляционного и регрессионного анализа, а также сводка и группировка данных. Работа выполняется в пакете Excel [5].

Корреляционный анализ позволяет оценить степень тесноты связи. Регрессионный анализ используется для построения линейных и нелинейных моделей.

На первом этапе исходные данные получают путём имитационного моделирования. На втором этапе проводится анализ реальных данных.

Требования к оформлению отчёта приведены в описании предыдущей лабораторной работы [6].

Общие сведения

Корреляция — это связь между двумя случайными величинами, которые часто называют следующим образом:

X — факторный признак;

Y — результативный признак.

Изображение исходных данных называется диаграммой разброса. Каждая пара чисел X и Y изображается отдельной точкой. Точки между собой не соединяют.

Пример диаграммы разброса для корреляционной зависимости показан на рисунке ниже.

Корреляция

Варианты задания

Варианты заданий представлены в таблицах.

В каждом варианте рассматриваются два набора данных — примеры линейной и нелинейной регрессии. Анализ проводится для обоих случаев.

Факторный признак Х — случайная величина с равномерным распределением.

Случайная составляющая Е — случайная величина со стандартным нормальным распределением (нулевое среднее и единичная дисперсия).

Результативный признак Y вычисляется по формуле.

Объём выборки n = 200.

На новом листе опишите вариант задания.

Зарисовки функций

Сделайте зарисовки общей формы зависимости и диаграммы разброса на бумаге. Вставьте зарисовку в отчёт.

Для построения линейной функции оцените значения на границах диапазона значений факторного признака. Оцените случайный разброс по правилу трёх сигм.

Зарисовка линейной функции

Для зарисовки графика параболы дополнительно определите координаты её вершины кривой и направление ветвей.

Выберите масштаб так, чтобы данные занимали всё поле графика. Метки на осях должны быть круглыми числами.

Зарисовка нелинейной функции

Исходные данные

Сгенерируйте исходные данные в соответствии c вариантом задания.

Вызовите надстройку:

Data Analysis

Анализ данных.

Используйте функцию:

Random Number Generation

Генерация случайных чисел.

Округлите сгенерированные числа до целых.

Задавайте разные начальные состояния генератора для получения фактора Х и случайной составляющей Е.

Для округления используйте функцию

ROUND (number, num_digits)

ОКРУГЛ (число; число разрядов).

Для округления до целых укажите нулевое число разрядов после запятой.

В отчёте опишите параметры генератора случайных чисел.

В дальнейшей работе используйте округлённые значения Х и Y.

Диаграмма разброса

Постройте диаграмму разброса:

Insert — Charts — Insert Scatter (X, Y) or Bubble Chart — Scatter — Scatter

Вставка — Диаграммы — Вставить точечную (X, Y) или пузырьковую диаграмму — Точечная — Точечная.

Настройте оформление графика. Задайте масштаб и информативные заголовки. Пример оформления показан на рисунке.

Оформление графика

В отчёте опишите внешний вид графиков.

Корреляционный анализ

Корреляционный анализ — это изучение степени тесноты связи.

Коэффициент линейной корреляции — это показатель степени линейной связи и разброса точек вокруг прямой линии. Знак коэффициента говорит о направлении связи, а величина коэффициента — о степени тесноты линейной зависимости.

Для вычисления коэффициента корреляции используйте следующие способы:

— надстройка Анализ данных;

— готовая функция CORREL;

— формулы, вводимые вручную.

Надстройка

Вызовите надстройку Анализ данных и выберите модуль Корреляция.

Задайте диапазоны исходных данных и укажите, что они расположены по столбцам:

Grouped By — Columns

Группирование — по столбцам.

С помощью надстройки получите таблицу коэффициентов линейной корреляции. Настройте ширину столбца, чтобы увеличить точность представления результата.

Опишите в отчёте полученные результаты.

Функция CORREL

Вычислите коэффициент корреляции с помощью следующей функции:

CORREL (array1, array2)

КОРРЕЛ (диапазон_x; диапазон_y).

В качестве аргументов функции укажите диапазоны ячеек факторного и результативного признаков.

Изучите внешний вид диаграмм разброса в зависимости от коэффициента корреляции. Для этого на новом листе сгенерируйте наборы данных и подберите значения множителя S в уравнении, чтобы получить следующие значения коэффициента корреляции:

0,3

0,5

0,7

1,0.

Постройте диаграммы разброса. Укажите на них значения коэффициента корреляции и степень тесноты связи.

Формулы

Вычислите значение коэффициенты линейной корреляции с помощью формул. Используйте соотношение, приведённое ниже.

Коэффициент корреляции

Постройте вспомогательную таблицу и определите суммы, необходимые для расчётов. Для нахождения сумм используйте функцию экспресс-анализа.

Для вычисления коэффициента корреляции используйте функцию извлечения корня:

SQRT (number)

КОРЕНЬ (число).

Сравнение результатов

Скопируйте на новый лист значения коэффициента линейной корреляции, полученные разными способами.

Сделайте выводы о степени тесноты связи и качестве расчётов.

Регрессионный анализ

Регрессионный анализ сводится к построению линии, которая проходит в среднем по исходным точкам, а также к нахождению уравнения этой линии.

Уравнение линейной регрессии приводится ниже.

Линейная регрессия

Регрессионный анализ в Excel проводится следующими способами:

— встроенный элемент диаграммы;

— модуль Регрессия надстройки Анализ данных;

— готовая функция LINEST;

— решение системы нормальных уравнений с помощью формул.

Регрессия на диаграмме

Вызовите встроенную функцию графика, включив Линию тренда как элемент диаграммы разброса, как показано на рисунке:

Trendline — Linear

Линия тренда — Линейный.

Линия тренда

Включите вывод уравнения регрессии на поле графика:

Design — Add Chart Element — Trendline — More Trendline options — Format Trendline — Trendline options — Display Equation on chart

Конструктор — Добавить элемент диаграммы — Линия тренда — Дополнительные параметры линии тренда — Формат линии тренда — Параметры линии тренда — показывать уравнение на диаграмме.

Расположите уравнение на свободном месте графика.

Условное среднее

Рассчитайте условное среднее и нанесите его на диаграмму разброса. Это среднее для значений Y, для которых X попадает в заданный интервал.

Постройте таблицу для группировки данных:

— нижние границы интервалов по X;

— верхние границы интервалов по Х;

— условные средние значения X и Y.

Процедура группировки подробно обсуждается в предыдущей работе [6].

Используйте функцию нахождения условной суммы:

SUMIF (range, criteria, [sum_range])

СУММЕСЛИ (диапазон; критерий; [диапазон_суммирования]).

Первый и второй аргументы относятся к факторному признаку, третий аргумент — к результативному.

Примеры нахождения условных сумм приведены на рисунке.

Условные суммы

Для упрощения выражений можно проверять условие только по верхней границе интервала, а затем находить разность результатов для соседних интервалов.

Вычислите средние значения, поделив суммы на количество единиц в каждой группе.

Размер групп найдите с помощью следующей функции:

COUNTIF

СЧЕТЕСЛИ.

Примеры нахождения условных (групповых) средних для факторного признака приведены ниже.

Групповое среднее Х

Пример определения условного среднего для результативного признака показан на рисунке.

Условное среднее Y (X)

Постройте график условного среднего на диаграмме разброса в виде ломаной линии:

Scatter with Straight Lines

Точечная с прямыми отрезками и маркерами.

Используйте общий масштаб для всех графиков, отключив вспомогательную ось в комбинированной диаграмме.

Условное среднее на диаграмме разброса

Надстройка — линейная регрессия

Запустите надстройку Анализ данных и выберите модуль Регрессия.

Укажите расположение исходных данных — столбцов Y и Х. Снимите выбор следующего пункта:

Constant is Zero

Константа — ноль.

Изучите таблицу с полученными коэффициентами. Запишите уравнение регрессии.

Пользуясь полученным уравнением, нанесите линию регрессии на диаграмму разброса. Для этого определите координаты двух точек в соответствии с уравнением. Настройте оформление графика.

Линейная регрессия

Надстройка — нелинейная регрессия

С помощью надстройки постройте нелинейные уравнения регрессии второго и третьего порядков.

Уравнения регрессии

Постройте дополнительные столбцы для возведения значений факторного признака во вторую и третью степень.

Вызовите надстройку Анализ данных и выберите модуль Регрессия.

В качестве факторного признака укажите два столбца Х — Х^2 для параболы и три столбца Х — Х^2 — Х^3 для кубической параболы.

Для дальнейшего анализа используйте заголовки столбцов, выбрав следующий пункт

Labels

Метки.

Изучите полученные таблицы коэффициентов и запишите уравнения регрессии.

Для построения линии регрессии создайте вспомогательную таблицу и найдите координаты нескольких точек, чтобы получить гладкую линию. Нанесите линии регрессии на диаграмму разброса. Включите легенду на диаграмме.

Оцените относительный вклад (в процентах) каждой степени факторного признака Х в прогнозные значения результативного признака Y по уравнениям регрессии.

Функция LINEST

Получите оценки коэффициентов уравнений регрессии с помощью следующей функции:

LINEST (range_y, range_x)

ЛИНЕЙН (диапазон_y; диапазон_x).

При вводе функции массива используйте следующие шаги:

— введите формулу в одну ячейку;

— выделите диапазон ячеек;

— нажмите клавишу [F2];

— нажмите комбинацию клавиш [Ctrl + Shift + Enter].

Пример вызова функции LINEST показан на рисунке.

Функция LINEST

После нажатия комбинации [Ctrl + Shift + Enter] вокруг формулы массива выводятся фигурные скобки — см. рисунок.

Формула массива

Постройте уравнения регрессии первого, второго и третьего порядка.

Постройте диаграмму разброса и нанесите на неё все три линии регрессии. Для построения графиков создайте вспомогательную таблицу. Количество точек должно быть достаточно, чтобы получить графики, гладкие на вид.

Включите легенду на диаграмме и сделайте информативные названия линий.

Линии регрессии

Система нормальных уравнений

Постройте уравнения регрессии с помощью формул, решив систему уравнений.

Система нормальных уравнений

Сформируйте вспомогательную таблицу для подсчёта сумм.

Для обращения матрицы используйте следующую функцию:

MINVERSE (array)

МОБР (массив).

Для умножения матриц используйте функцию:

MMULT (array1, array2)

МУМНОЖ (матрица1;матрица2).

Пример поиска решения системы уравнений:

=MMULT (MINVERSE (C127:D128),C130:C131)

Для работы с матрицами используйте формулы массива, как описано выше.

Изучите полученные коэффициенты и запишите уравнения регрессии.

Постройте диаграмму разброса и нанесите линии регрессии.

Пример оформления страницы отчёта приводится на рисунке.

Оформление отчёта

Сравнение результатов

Сравните уравнения регрессии, полученные разными способами.

Определите разницу значений коэффициентов в процентах.

Уравнения Y (X) и X (Y)

С помощью надстройки постройте два уравнения линейной регрессии «Y на X» и «X на Y» — см. уравнения.

Уравнения регрессии Y (X) и X (Y)

Запишите полученные уравнения регрессии.

Постройте диаграмму разброса и нанесите на неё обе линии регрессии. Используйте общий масштаб для всех наборов данных на комбинированном графике.

Проверьте выполнение двух свойств:

— точка пересечения линий регрессии;

— связь с коэффициентом корреляции.

Первое свойство: прямые Y (X) и X (Y) должны пересекаться в точке {Хср, Yср}.

Вычислите средние значения Х и Y и нанесите эту точку на график.

Точка пересечения

Второе свойство: произведение коэффициентов регрессии должно быть равно квадрату коэффициента корреляции — см. формулы.

Взаимосвязь коэффициентов

Анализ данных интернет-магазина

Загрузите данные о компьютерных компонентах на сайте:

www.nix.ru.

Выберите не менее десяти однотипных изделий.

Проведите корреляционный и регрессионный анализ связи двух наиболее информативных признаков, например, объёма диска и его цены.

С помощью полученного уравнения регрессии постройте прогноз результативного признака для выбранного значения факторного признака.

Анализ биржевых котировок

Проведите анализ взаимосвязи между котировками на Московской бирже.

Для анализа используйте значения биржевого индекса (в соответствии с вариантом) и котировки наиболее ликвидной акции из состава выбранного индекса.

Уточните базу расчёта индекса на сайте:

www.moex.com.

Загрузите исторические данные дневной периодичности за последние 10 лет на сайте:

investing.com.

Для построения биржевого графика переименуйте столбец Price и озаглавьте его Close. Расположите столбцы в следующем порядке:

Date — Open — High — Low — Close.

Постройте графики японских свечей для каждого финансового инструмента по отдельности:

Insert — Charts — Insert Waterfall, Funnels, Stock, Surface, or Radar Chart — Stock — Open-High-Low-Close

Вставка — Вставить каскадную, воронкообразную, биржевую, поверхностную или лепестковую диаграмму — Биржевая — Биржевая (курс открытия, самый высокий курс, самый низкий курс, курс закрытия).

Постройте комбинированный график обеих котировок от времени в виде линейной диаграммы по ценам закрытия. Установите разный масштаб, чтобы совместить графики и показать схожий характер изменения цен.

Совмещённый график

Постройте диаграмму разброса по ценам закрытия, чтобы проанализировать взаимосвязь котировок.

Активируйте построение линейной регрессии и вывод уравнения на экран.

Диаграмма разброса и линия регрессии

Определите значение коэффициента корреляции с помощью функции CORREL и сделайте вывод о степени тесноты связи.

Список литературы

1. Статистика: Учебник для вузов / Под ред. И.И.Елисеевой. — СПб.: Питер, 2010. — 368 с.

2. Теория статистики: Учебник / Р.А.Шмойлова, В.Г.Минашкин, Н.А.Садовникова, Е.Б.Шувалова; под ред. Р.А.Шмойловой. — М.: Финансы и статистика, 2014. — 656 с.

3. Практикум по теории статистики / Р.А.Шмойлова, В.Г.Минашкин, Н.А.Садовникова; под ред. Р.А.Шмойловой. — М.: Финансы и статистика, 2014. — 416 с.

4. Пустыльник Е. И. Статистические методы анализа и обработки наблюдений. — М.: Наука, 1968. — 288 с.

5. Вадзинский Р. Н. Статистические вычисления в среде Excel. Библиотека пользователя. — СПб.: Питер, 2008. — 608 с.

6. Арьков В. Ю. Анализ распределения в Excel: Учебное пособие.— [б.м.]: Издательские решения, 2019.— 158 с.

Бесплатный доступ к электронной версии:

https://ridero.ru/books/analiz_raspredeleniya_v_excel/

Content

Корреляционный и регрессионный анализ в Excel
Лабораторный практикум
Валентин Юльевич Арьков

Предисловие

Введение

Общие сведения

Варианты задания

Зарисовки функций

Исходные данные

Диаграмма разброса

Корреляционный анализ

Надстройка

Функция CORREL

Формулы

Сравнение результатов

Регрессионный анализ

Регрессия на диаграмме

Условное среднее

Надстройка — линейная регрессия

Функция LINEST

Система нормальных уравнений

Сравнение результатов

Уравнения Y (X) и X (Y)

Анализ данных интернет-магазина

Анализ биржевых котировок

Список литературы