{
  "elements": [
    {
      "id": "01XLylXyEeWKXg4Y7_tPaw~UzPbw",
      "courseId": "01XLylXyEeWKXg4Y7_tPaw",
      "itemId": "UzPbw",
      "submissionLearnerSchema": {
        "typeName": "multipart",
        "definition": {
          "assignmentInstructions": {
            "typeName": "cml",
            "definition": {
              "dtdId": "assess/1",
              "value": "<co-content><text/><asset id=\"yeJ7Q8VAEeWPRQ4YsSEORQ\" name=\"statement-pca\" extension=\"pdf\" assetType=\"generic\"/><text>Данное задание основано на материалах лекций по методу главных компонент и посвящено знакомству с методом.</text><heading level=\"2\">Вы научитесь: </heading><list bulletType=\"bullets\"><li><text>работать с методом главных компонент</text></li><li><text>использовать его для вычисления улучшенного индекса Доу-Джонса</text></li></list><heading level=\"2\">Введение</heading><text>Метод главных компонент (principal component analysis, PCA) — это один из методов обучения без учителя, который позволяет сформировать новые признаки, являющиеся линейными комбинациями старых. При этом новые признаки строятся так, чтобы сохранить как можно больше дисперсии в данных. Иными словами, метод главных компонент понижает размерность данных оптимальным с точки зрения сохранения дисперсии способом.</text><text>Основным параметром метода главных компонент является количество новых признаков. Как и в большинстве методов машинного обучения, нет четких рекомендаций по поводу выбора значения этого параметров. Один из подходов — выбирать минимальное число компонент, при котором объясняется не менее определенной доли дисперсии (это означает, что в выборке сохраняется данная доля от исходной дисперсии).</text><text>В этом задании понадобится измерять схожесть двух наборов величин. Если имеется набор пар измерений (например, одна пара — предсказания двух классификаторов для одного и того же объекта), то охарактеризовать их зависимость друг от друга можно с помощью корреляции Пирсона. Она принимает значения от -1 до 1 и показывает, насколько данные величины линейно зависимы. Если корреляция равна -1 или 1, то величины линейно выражаются друг через друга. Если она равна нулю, то линейная зависимость между величинами отсутствует.</text><heading level=\"2\">Данные</heading><text>В этом задании мы будем работать с данными о стоимостях акций 30 крупнейших компаний США. На основе этих данных можно оценить состояние экономики, например, с помощью индекса Доу-Джонса. Со временем состав компаний, по которым строится индекс меняется. Для набора данных был взят период с 23.09.2013 по 18.03.2015, в котором набор компаний был фиксирован (подробнее почитать о составе можно по ссылке из материалов). </text><text>Одним из существенных недостатков индекса Доу-Джонса является способ его вычисления — при подсчёте индекса цены входящих в него акций складываются, а потом делятся на поправочный коэффициент. В результате, даже если одна компания заметно меньше по капитализации, чем другая, но стоимость одной её акции выше, то она сильнее влияет на индекс. Даже большое процентное изменение цены относительно дешёвой акции может быть нивелировано незначительным в процентном отношении изменением цены более дорогой акции.</text><heading level=\"2\">Реализация в sklearn</heading><text>Метод главных компонент реализован в пакете scikit-learn в модуле decomposition в классе <a href=\"http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html2\">PCA</a>. Основным параметром является количество компонент (n_components). Для обученного преобразования этот класс позволяет вычислять различные характеристики. Например, поле <em>explained_variance_ratio_</em> содержит процент дисперсии, который объясняет каждая компонента. Поле <em>components_ </em>содержит информацию о том, какой вклад вносят признаки в компоненты. Чтобы применить обученное преобразование к данным, можно воспользоваться методом <a href=\"http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html#sklearn.decomposition.PCA.transform\">transform</a>. </text><text>Для нахождения коэффициента корреляции Пирсона можно воспользоваться функцией <a href=\"http://docs.scipy.org/doc/numpy-1.10.1/reference/generated/numpy.corrcoef.html2\">corrcoef</a> из пакета numpy.</text><heading level=\"2\">Материалы</heading><list bulletType=\"bullets\"><li><text><a href=\"https://en.wikipedia.org/wiki/Dow_Jones_Industrial_Average\">Dow Jones Industrial Average</a></text></li><li><text><a href=\"https://en.wikipedia.org/wiki/Historical_components_of_the_Dow_Jones_Industrial_Average\">История состава компаний, входящих в индекс Dow Jones</a></text></li></list><heading level=\"2\">Инструкция по выполнению</heading><list bulletType=\"numbers\"><li><text>Загрузите данные close_prices.csv. В этом файле приведены цены акций 30 компаний на закрытии торгов за каждый день периода. </text></li><li><text>На загруженных данных обучите преобразование PCA с числом компоненты равным 10. Скольких компонент хватит, чтобы объяснить 90% дисперсии?</text></li><li><text>Примените построенное преобразование к исходным данным и возьмите значения первой компоненты. </text></li><li><text> Загрузите информацию об индексе Доу-Джонса из файла djia_prices.csv. Чему равна корреляция Пирсона между первой компонентой и индексом Доу-Джонса? </text></li><li><text>Какая компания имеет наибольший вес в первой компоненте?</text></li></list><text>Если ответом является нецелое число, то целую и дробную часть необходимо разграничивать точкой, например, 0.42. При необходимости округляйте дробную часть до двух знаков.</text><text>Ответ на каждое задание — текстовый файл, содержащий ответ в первой строчке. Обратите внимание, что отправляемые файлы не должны содержать пустую строку в конце. Данный нюанс является ограничением платформы Coursera. Мы работаем над тем, чтобы убрать это ограничение.</text><asset id=\"jrUPcLvFEeW6FApX76Rguw\" name=\"djia_index\" extension=\"csv\" assetType=\"generic\"/><asset id=\"jqxc37vFEeW6FApX76Rguw\" name=\"close_prices\" extension=\"csv\" assetType=\"generic\"/><text/><text/><text/><text/><text/></co-content>"
            }
          },
          "parts": {
            "0D5bF": {
              "title": "Какая компания имеет наибольший вес в первой компоненте?",
              "order": 2,
              "maxScore": 1
            },
            "ic9JA": {
              "title": "Вычислите коэффициент корреляции Пирсона между значением по первой компоненте и индексом Доу-Джонса.",
              "order": 1,
              "maxScore": 1
            },
            "KSD5u": {
              "title": "Сколько компонент достаточно, чтобы описать 90% дисперсии?",
              "order": 0,
              "maxScore": 1
            }
          }
        }
      }
    }
  ],
  "paging": null,
  "linked": null
}
