quantviews

Зачем нужен quantviews

Марсель Салихов — Tue, 05 May 2026 00:00:00 GMT

Идея

quantviews - это личная площадка для публикации аналитических заметок, методологических материалов и технических решений.

Основные направления

экономика и отраслевые рынки;
данные и визуализация;
финансовая аналитика;
BI-инфраструктура;
методологии индексов и расчетных показателей.

Пример кода

import pandas as pd

df = pd.DataFrame({
    "area": ["Economics", "Finance", "Data", "BI"],
    "priority": [5, 4, 5, 4]
})

df

Ожидаемая продолжительность жизни: какова моя вероятность дожить до возраста X?

Марсель Салихов — Wed, 08 Aug 2018 00:00:00 GMT

Ожидаемая продолжительность жизни: что это такое?

В бурных обсуждениях повышения пенсионного возраста часто фигурирует вроде бы понятное и в то же время странное понятие - “ожидаемая продолжительность жизни”. Это стандартный и общепринятый демографический показатель, но который довольно сложно воспринимать и часто его воспринимают неправильно. К примеру, если ожидаемая продолжительность жизни для российских мужчин составляет 67,5 лет, а возраст выхода на пенсию - 65 лет, то наивно можно предположить, что ожидаемое время жизни на пенсии равно 2,5 годам (67,5 - 65), но такой расчет будет неверным. Правильная цифра ожидаемой продолжительности жизни для мужчины 65 лет составит 13,9 лет. Честно признаюсь: до недавнего времени сам не до конца ясно понимал, как делаются подобные расчеты, сейчас разобрался и готов объяснить. Давайте сначала посмотрим на официальные данные Росстата по показателю ожидаемой продолжительности жизни. Все графики будем приводить отдельно для мужчин и для женщин, так как между ними существуют очень большие различия.

В 2017 году ожидаемая продолжительность жизни для мужчин, по данным Росстата, составляла 67,51 лет и для женщин - 77,64 года. Что это вообще означает и как рассчитывается?

Все начинается со смертности

Это может показаться странным, но единственными исходными данными, которые необходимы для расчета ожидаемой продолжительности жизни являются так называемые “возрастные коэффициенты смертности”. Фактически это таблица, в которой указана доля умерших (обычно - за год) от общего количества людей, которые находились в данной возрастной группе. Вот к примеру, возрастные коэффициенты смертности за 2016 год:

В самой левой части графики возрастной коэффициент для мужчин в возрасте “0” (то есть, родившихся) составляет 6,6 человек. Это означает, что в 2016 году на 1000 родившихся младенцев мужского пола в течение первого года жизни умерло 6,6 человек. Для младенцев женского пола показатель равен 5,4 человека. И так далее. К сожалению, Росстат в стандартном виде представляет данные не по единичным годам, а по пятилеткам - группа “5-10 лет”, группа “10-14”, группа “15-19” лет и так далее. Видно, что возрастные коэффициенты довольно низкие в возрасте с 1 года до примерно 30 лет, затем начинают постепенно увеличиваться. Причем во всех возрастных группах мужчин в среднем умирает больше, чем женщин. . Это интересный вопрос, почему такое наблюдается. Ученые считают, что помимо социальных (вредные привычки, рискованное поведение и проч.), существуют биологические причины, почему женщины живут дольше, чем мужчины.

Вероятность дожития

На основе коэффициентов смертности мы можем посчитать вероятность дожития - вероятность того, что если человек вступил в определенную возрастную группу, то он доживет до ее границы. Если человек вступил в возрастную группу, то вероятность дожить до конца срока этой возрастной группы составляет (100% - коэффициент смертности). Обратите внимание: мы предполагаем, что показатели смертности останутся неизменными в течение всего рассматриваемого период, хотя фактически берутся данные только за один определенный год. Рассмотрим пример. Для тех же младенцев мужского пола вероятность дожития с 0 до 1 года составляет 99,34% (100% - 6,6/1000), для женщин - 99,46% (100%- 5,4/100). Мы считаем, что общее количество родившихся равно 100%. Возьмем следующую возрастную группу - “1-4 год”. Коэффициент смертности для мужчин равен 0,4, значит вероятность дожития в этой возрастной группе - 99,96% (100% - 0,4/1000). В данном случае мы считаем, что 100% - это те, младенцы, которые были живы к первому году жизни. Если необходимо посчитать вероятность вновь родившегося младенца дожить до 5 лет, то нам необходимо перемножить две вероятности дожития - “до 1 год” и “от 1 до 4%, то есть 99,34% * 99,96% = 99,30%. Так можно итеративно продолжать по следующим возрастным группам. Чтобы перейти в следующую возрастную группу, человеку необходимо дожить до возраста ее начала. Разумеется, если имеются данные коэффициентов смертности по отдельным годам, то аналогичным образом вероятность дожития можно посчитать точнее, чем если использовать 5-летние когорты. К счастью, Центр демографических исследований РЭШ предоставляет однолетние возрастные коэффициенты смертности, на основе которых мы рассчитаем накопленные вероятности дожития. . Первоисточником этих данных тоже является Росстат. Но сотрудники РЭШ”добыли” эти данные и предоставили их для анализа в удобном виде.

К примеру, на графике (можно навести на него мышкой, чтобы увидеть количественные значения) видно, что для младенцев мужского пола 2017 года рождения вероятность дожить до 65 лет составляет 62% (84% - для женского пола) при условии, что все возрастные коэффициенты смертности останутся на уровне 2017 года в течение жизни этого младенца. Ожидаемая продолжительность жизни - это некоторый статистический конструкт, который отражает просто текущие показатели смертности в одной цифре. Конечно можно было бы подсчитать подобные вероятности точно. Но для этого надо подождать лет 100 для того, чтобы дождаться пока, все (или почти все) люди 2017 года рождения не умрут. Так как этого сделать сейчас невозможно, то демографы используют подобные вычисления, основанные на допущениях.

Конечно можно ожидать, что в будущем коэффициенты смертности будут снижаться, и это приведет к росту фактической средней продолжительности жизни. Однако для этого тоже надо делать допущения относительно того, как будут изменяться коэффициенты смертности в будущем. Эти допущения также будут субъективными. Поэтому оценки вероятность дожить до определенного возраста, рассчитанные на текущих коэффициентах смертности, представляют собой скорее нижнюю оценку вероятности. Если же мы сохраним подобные консервативные допущения (“в будущем коэффициенты смертности не улучшатся и останутся на уровне 2017 года”), то можно рассчитать вероятность дожития до возраста Y, начиная с любого возраста X, последовательно перемножая коэффициенты дожития. Ожидаемая же продолжительность жизни рассчитывается как произведение двух векторов: 1) разницы в накопленных вероятностях дожития по возрастам 2) вектор возрастов (в нашем случае от 0 до 100 лет). Для особо любопытных - ссылка на лист Excel, в котором показан расчет. Для примера я использовал данные РЭШ и рассчитал ожидаемую продолжительность жизни для мужчин в 2017 году. Получилось 67,80 лет. Это немного не совпадает с показателем Росстата (67,51), но достаточно точно. Исходя из процедуры расчета становится понятно, что не обязательно начинать расчет с 0 лет. Начинать можно с произвольного возраста X и рассчитать ожидаемую продолжительность жизни в возрасте X. Логика остается той же самой. Берем разницу накопленных векторов дожития и перемножаем с вектором лет (в данным случае вектор начинается с 0 в возрасте X). Таким образом мы получаем взвешенную по коэффициентам смертности последующих лет ожидаемую продолжительность жизни в возрасте X.

Какова моя вероятность дожить до Y лет? Какова ожидаемая продолжительность жизни в возрасте X?

Возможно, все это звучит слишком сложно и технично. Чтобы было максимально понятно и интересно, мы сделали калькулятор, который позволяет рассчитать ожидаемую продолжительность жизни, начиная с любого возраста и вероятность дожить от возраста X до возраста Y. Мы использовали коэффициенты смертности, которые отличаются в зависимости от пола и региона проживания. Регион проживания также важен, так как существуют большие отличия в показателях смертности между субъектами РФ. Разница в ожидаемой продолжительности жизни между лучшими по этому показателями регионами (Северный Кавказ, Москва) и худшими (некоторые регионы Сибири и Дальнего Востока) достигает 12-15 лет.

Калькулятор ожидаемой продолжительности жизни и вероятности дожития доступен здесь или здесь (в полном экране)

К примеру, если вы мужчина в возрасте 35 лет, проживающий в Москве, то вероятность дожить до 65 лет (планируемый стандартный возраст выхода на пенсию) составляет 75,3% (для женщин - 89,1%). Ожидаемая продолжительность жизни в этом возрасте составляет 42,7 лет (для женщин - 47,8 лет). Можно посмотреть любые другие сочетание возрастов и регионов проживания.

Nowcast российского ВВП или как следить за тем, что происходит в экономике

Марсель Салихов — Thu, 22 Feb 2018 00:00:00 GMT

ЧТО ТАКОЕ NOWCAST?

В современной экономической терминологии есть такое понятие, как nowcast (не уверен насчет адекватного перевода на русский). В чем отличие nowcast от прогноза (то есть, forecast)? Особенность экономической статистики заключается в том, что регулярно выходит множество данных. К примеру, ежемесячно выходят данные по промышленному производству, доходам населения или розничной торговле. В США еженедельно выходят данные по первичным обращениям за пособием по безработице и так далее. Есть показатели финансовых рынков, которые изменяются практически непрерывно и которые также влияют на экономику.

Агрегированные показатели - та же динамика ВВП - выходит с запаздыванием. К примеру, по состоянию на конец февраля мы не знаем, какая динамика российского ВВП была в IV квартале 2017 года, хотя прошло уже 2 месяца, так как эти данные еще не опубликованы Росстатом.

Для центральных банков бывает важно оценивать состояние экономике в реальном времени. К примеру, решения по процентной ставке необходимо принимать сегодня, а данные по ВВП выйдут лишь через какое-то время. Поэтому если мы хотим оценить текущее состояние экономике, то хорошо бы учитывать все эти кусочки данных и агрегировать их в некоторую общую картину. В этом и состоит задача nowcast - мы хотим оценить состояние экономике в недавнем прошлом, за которое еще не вышли точные данные (IV квартал 2017 года) и оценить самое ближайшее будущее (I квартал 2018) на основе той информация, которая доступна по состоянию “на сейчас”. По сути это даже не прогноз, а оценка состояния дел в real time.

Существует различные подходы, как можно подходить к задаче nowcast ВВП. К примеру, есть известная модель GDPNow (https://www.frbatlanta.org/cqer/research/gdpnow.aspx) для экономики США, созданная экономистом ФРБ Атланты Пэтом Хиггинсом (Pat Higgins). В рамках этого подхода я явным образом реконструируется методология расчета квартального ВВП , а продвинутые статистические методы используются для того, чтобы заполнить “недостающие” точки. Соответственно, каждый новый месячный релиз может быть инкорпорирован в модель ВВП. Для России такой подход не очень подходит, так как методология расчета ВВП не слишком прозрачна и надежность получаемых оценок будет не очень высокой.

Есть подходы, которые в большей степени отталкиваются от статистических методов. К примеру, можно предположить, если взять множество различных экономических индикаторов и выделить их общую компоненту статистическими методами, то именно эта компонента характеризует состояние экономики или фазы делового цикла. Для России какое-то время назад существовал совместный проект Ренессанс Капитала /РЭШ, в рамках которого публиковался “упреждающий индикатор ВВП РенКап - РЭШ” (https://www.nes.ru/ru/projects/indicator). По сути, этот подход основывался на том, чтобы загнать «суп» из множества месячных показателей (108, если быть точным), выделить общую часть, регрессировать ее на данные ВВП и получать nowcast. К сожалению, с 2014 году публикация этих оценок прекратилась.

МЕТОДОЛОГИЯ НАШЕГО NOWCAST

Мы сделали свой nowcast для российского ВВП. Nowcast основывается на модели индикатора делового цикла, опубликованный в работе Arouba et al (2008). Эта работа лежит в основе известного дневного индикатора делового цикла (ADS - Aruoba-Diebold-Scotti business conditions index), который рассчитывается ФРБ Филадельфии.

В нашем случае мы используем несколько категорий входных данных:

дневные данные:

волатильность индекса ММВБ
волатильность курса рубля, которая не объясняются изменением цен на нефть (условно, остаточная волатильность)

месячные данные:

индекс предпринимательской уверенности по обрабатывающим производствам
индекс потребительской уверенности
индекс промышленного производства в обрабатывающей промышленности
индекс промышленного производства в добывающей промышленности
грузооборот транспорта
индекс динамики кредитов нефинансовому сектору

квартальные данные:

индекс физического объема ВВП

Все эти показатели были выбраны не просто так, а после довольно длительной и кропотливой работы по тестированию и калибровки модели. На основе этих показателей рассчитывается индикатор делового цикла для российской экономики.

На следующем этапе рассчитывается «дневной показатель ВВП» на основе рассчитанного индикатора делового цикла. Буквально, это накопленный за последние 3 месяца фактор делового цикла, умноженный на оцененный коэффициент и прибавленный к лагированному значению дневного значению дневного ВВП (восстановленного на предыдущих итерациях), умноженному на другой коэффициент. Его последние доступные значения за каждый квартал (даже если он еще не закончен) интерпретируется как nowcast российского ВВП.

ТЕКУЩИЕ РЕЗУЛЬТАТЫ

Это если говорить коротко о методологии, какие же получаются текущие результаты? Последние месячные данные за январь 2018 года, а также дневные данные по конец февраля. Текущие результаты нашей nowcast модели: +0,2% г/г в IV квартале 2017 года и +0,1% в I квартале. Для сравнения в III квартале (последний квартал, за который доступны данные) это +1,8% г/г. Можно сказать, что экономический рост в России замедлился практически до нуля в конце прошлого года и пока остается таким в начале 2018 года.

Все текущие результаты оценок nowcast, которые будут обновляться ежедневные доступы по адресу http://models.fief.ru/shiny/dailybc/ в качестве интерактивного приложения. Так что, вы можете начинать свой день не с утренней чашки кофе, а с проверки того, как обстоят дела в экономике сегодня)
В приложении также доступны оценки важности используемых входных параметров (factor loadings), а также исходные значения всех используемых параметров.

Напишите, если возникнут вопросы или комментарии. Как обычно, все данные оценок модели можно экспортировать в форматах xls/csv для собственного потребления. Все интерактивные графики можно сохранять в виде картинок png/jpeg/pdf.

Arouba et al (2008). S. Boragan Aruoba, Francis X. Diebold, and Chiara Scotti. Real-time measurement of business conditions. Working Paper 14349, National Bureau of Economic Research, September 2008. URL (http://www.nber.org/papers/w14349)

Почему BEER - это не про пиво, а про ‘справедливый’ курс валюты

Марсель Салихов — Thu, 25 Jan 2018 00:00:00 GMT

Курс валюты и что с ним будет - один из немногих макроэкономических вопросов, которые волнуют практического каждого. “Что будет с рублем? Брать ли доллар сейчас или подождать пару месяцев” — все, наверняка, сталкивались, с подобными вопросами и размышляли по этому поводу. Это сложные вопросы - и как с ценами на нефть, курс также довольно сложно прогнозировать. Но можно делать это лучше, чем просто рандом.

Специально для вас мы опубликовали количественную модель, которая позволит облегчить размышления по этому поводу. Модель называется BEER - от Behavioral Equilibrium Exchange Rate. По сути это модель оценки равновесного курса рубля. О чем вообще идет речь?

Как вы знаете, на изменение курса валюты одновременно оказывает множества факторов. Некоторые из них имеют фундаментальный макроэкономический характер - к примеру, изменение спроса на на товары экспорта/импорта, изменение экспортных/импортных цен, разница в инфляции и процентных ставках. Другие факторы - разовые или не-экономические - приводят к временным отклонениям курса от “справедливого” уровня. Современные методы количественного анализа позволяют оценивать обменный курс, не подверженный этим временным факторам.

Равновесный курс - это такое значение курса, при котором счета текущих операций и операций с капиталом и финансовыми инструментами платежного баланса находятся на долгосрочных/среднесрочных устойчивых уровнях. Таким образом, мы оцениваем валютный курс, к которому должен стремиться наблюдаемый рыночный курс в отсутствии краткосрочных шоков спроса/предложения валюты. Модель основана на работе _ Clark, MacDonald (2000, IMF); Filtering the BEER: A Permanent and Transitory Decomposition_, адаптированной для работы с месячными данными. Таким образом, в каждом месяце мы можем оценить, на сколько недооценен/переоценен по отношению к равновесному курсу (BEER). Соответственно, если рубль переоценен (то есть текущее значение выше, чем равновесный уровень), то можно ожидать, что на горизонте 6-9 месяцев рубль будет ослабляться (при аналогичных внешних условиях). И наоборот, если рубль недооценен - то можно ожидать укрепления рубля. Мы провели бектест за последние несколько лет и убедились, что модель имеет неплохую прогностическую силу.

Сейчас расчеты обновлены по декабрь 2017 года, когда среднемесячный курс доллара был около 59 рублей, а оценка равновесного курса - 58 рублей. Какого либо существенного отклонения рыночного курса от равновесного не было. В начале 2016 года совсем другая ситуация.

Сама модель доступна по адресу: http://models.fief.ru/shiny/beer/

Напишите, если возникнут вопросы или комментарии. Как обычно, все данные оценок можно экспортировать в форматах xls/csv для собственного потребления. Все интерактивные графики можно сохранять в виде картинок png/jpeg/pdf.

Почему нам кажется, что цены растут быстрее инфляции?

Марсель Салихов — Fri, 03 Mar 2017 00:00:00 GMT

Росстат утверждает: за последний год цены в России в среднем выросли на 5% - на столько они оказались выше в январе 2017 года по сравнению с январем 2016-м. Похоже ли это на правду? Большинство россиян уверены, что нет. Данные ежемесячных опросов населения, проводимых по заказу Банка России, показывают, что «средний» россиянин систематически оценивает инфляцию в несколько раз выше. В том же январе 2017 года медианное значение инфляции по данным опроса - 14%. То есть половина опрошенных считают, что за последний год потребительские цены выросли больше, чем на 14%. В отдельные периоды этот разрыв становится еще заметнее. К примеру, в середине 2015 года почти 18% опрошенных предполагали, что цен за год выросли более чем на 50%, хотя официальная инфляция в этот периода составляла 15-16%.

Означает ли это, что Росстат измеряет совсем не ту инфляцию, которая актуальна для населения - что его методики неадекватны, а результаты бессмысленны? А ведь именно на этот показатель инфляции ориентируется вся политика Центробанка, ставя в прямую зависимость от него важнейший для экономики параметр ключевой ставки.

Показатели инфляции по Росстату (ИПЦ) и по опросам населения (медианное значение)

Источник: Банк России, Росстат

_
_

Откуда нестыковки?

Причины такого расхождения росстатовского ИПЦ с впечатлениями людей об инфляции в магазинах условно можно разделить на три. Первая версия: Росстат лжет, «рисует» нужные цифры или намеренно использует неверные модели расчета в угоду финансовым властям. Это популярная точка зрения среди непрофессионалов. Но эту версию можно сразу отбросить: росстатовские методики расчета инфляции соответствуют очень подробным инструкциям Международного валютного фонда (руководству из 700 с лишним страниц). Попытки обнаружить в росстатовской модели серьезные искажения, как правило, сами грешат непониманием ее принципов. А первичная база данных, на основе которых Росстат определяет составляющие потребительской корзины, в анонимизированном виде выложена в общий доступ - так что каждый желающий может проверить точность расчетов.

Вторая причина - несовершенство самой идеи вместить в одну цифру информацию об изменении цен на все категории товаров и услуг, потребляемых всеми социальными слоями. По этой причине профессиональное сообщество нередко критикует власти, когда они трактуют низкую инфляцию как рост всеобщего благосостояния населения. Итоговые 5% не означают, что все цены в магазинах изменились на 5% плюс-минус какую-то небольшую погрешность. Напротив - это средняя температура между подорожавшими и подешевевшими товарами, часть из которых для каждой конкретной семьи совершенно не актуальны.

Росстат, согласно международным рекомендациям, старается постоянно актуализировать набор товаров и услуг, попадающих в расчет. Это делается на основе данных о реальном потреблении 50 с лишним тысяч домохозяйств. В 2017 году в корзину ИПЦ входит 510 наименований, где самый дорогой товар - «Легковой автомобиль импортный новый» (1,13 млн рублей за штуку в январе 2017 года), а самый дешевый – «Предоставление местного телефонного соединения при повременной системе оплаты услуг связи» (0,53 рубля за минуту). В этом году из списка убрали такие категории как «Отправка телеграммы обыкновенной внутренней, 15 слов», «Пошив женского платья», «Молоко сухое цельное», «Платок носовой», «Проигрыватель DVD» И добавили, среди прочего, «Поездку в Таиланд» и «Дополнительные занятия для детей дошкольного возраста».

В соответствии с этим списком сотрудники ведомства с 20 по 25 числа каждого месяца фиксируют цены на товары и услуги в примерно 50 тысячах «точек сбора первичный ценовой информации» и собирают свыше полумиллиона ценовых котировок. Вклад каждого товара и услуги в общий показатель при сведении всех цен воедино определяется тоже по данным о реальных расходах панели российских домохозяйств.

На этом возможности Росстата по актуализации корзины заканчиваются - общая цифра все равно будет отражать лишь среднюю температуру по больнице. Чтобы пятипроцентная инфляция в январе 2017-го была релевантна для вас, вы должны иметь доход в 24 тысяч рублей в месяц, тратить 38,1% денег на продовольственные товары, 35,7% – на непродовольственные, 26,3% – на услуги. Скорее всего, это не так. Если вы подписаны на Republic, вы уже выпадаете из «средней» модели, потому что средняя величина расходов «среднего домохозяйства» на СМИ в 2016 году - это 0,3% корзины ИПЦ или около тысячи рублей за весь год.

Искажения восприятия

Третья группа причин несовпадения официальной инфляции с нашими представлениями о ней - это наша склонность придавать большее значение отдельным деталям картины, не видя ее в целостности.

Во-первых, здесь работает** __ эффект замещения. Если за год цены на говядину выросли на 25%, а на курицу – лишь на 10%, часть потребителей начинают чаще покупать курицу и реже говядину. Вместе с этим корректируется и корзина Росстата, ведь он даже не пытается оценивать наши упущенные возможности, он берет в расчет только то, что мы действительно покупаем. В итоге потребитель будет считать инфляцией в первую очередь сильный скачок цен на говядину, а Росстат его практически не учтет [СМ1] . **

Во-вторых, для людей не так принципиальна разница между уровнем цен и изменением цен. Мы склонны оценивать инфляцию не саму по себе, а в соотношении с изменением наших доходов, Росстат же этот фактор не учитывает. Даже при небольшой инфляции, но при не-растущих доходах потребители чувствуют себя угнетенно и винят во всем высокую инфляцию. В 2015-2016 годах эффект инфляционного скачка в России воспринимался более болезненно в том числе и из-за стагнации номинальных доходов.

В-третьих, мы не способны на повседневном уровне отдавать себе отчет, сколько и на что мы тратим. Исследования психологов и экономистов, занимающихся потребительским поведением, показывают, что в оценке инфляции мы ориентируемся на простые индикаторы, не отражающие весь наш потребительский набор. Если мы каждую неделю покупаем хлеб или молоко и заправляемся на АЗС, то именно эти товары и формируют наше индивидуальное восприятие инфляции, даже если они составляют небольшую часть нашей потребительской корзины. А бытовая техника или мебель, которые покупаются редко и вносят большой вклад в траты, имеют гораздо меньше шансов повлиять на наше восприятие. В 2015 году продовольственные товары в России дорожали сильно быстрее, чем непродовольственные товары и услуги, и в итоге рост цен психологически казался больше, чем он был на самом деле.

Индекс потребительских цен (ИПЦ) – основные составляющие

**
**

Источник: Росстат

_
_

В-четвертых, доказано, что мы обращаем больше внимания на рост цен, чем на их снижение. Это связано с присущим большинству людей «неприятием убытков» (loss aversion). Многочисленные исследования показывают, что люди воспринимают потерю 1 рубля острее, чем радуются выигрышу того же рубля. По тому же принципу мы ужасаемся ценам на гречку, выросшим в 2,5 раза за последние три года, но не обращаем внимания на цены на лук и свеклу, которые почти не изменились за это время, на то, что аренда квартир подешевела, а наш домашний интернет за это время стал быстрее в три раза и на 20% дешевле.

Сторонникам теории «они нас обманывают» стоит знать, что феномен широкого недоверия к публикуемым официальным оценкам инфляции совсем не специфичен для России. В США вопрос корректного расчета инфляции в свое время был предметом специального расследования Сената и до сих пор остается мишенью ожесточенных политических дебатов. Причем одни аргументированно настаивают на том, что методика ИПЦ Bureau of Labor Statistics США занижает уровень «истинной» инфляции, а другие - что занижает. А согласно недавнему исследованию Европейской Комиссии, в Европе потребители считают, что инфляция в 2004-2015 годах была в 4 раза выше, чем официальный ИПЦ, рассчитываемый Евростатом.

Поэтому вопрос, как правильно рассчитывать инфляцию, будет вечным. Но главное при этом, чтобы обе стороны - и потребители, и экономически власти - сознавали ограниченность любых таких расчетов и не пытались выдать частное за всеобщее, а желаемое за действительное.

Восемь лет без ОПЕК. Почему картель решил вернуться?

Марсель Салихов — Thu, 01 Dec 2016 00:00:00 GMT

статья для Republic

Заседание ОПЕК 30 ноября 2016 года называли одним из важнейших для организации событий за десятилетия. Картель должен был подтвердить необходимость своего существования или сдаться, расписавшись в собственной недееспособности.

Ровно два года назад, в ноябре 2014 года, ОПЕК не стала сокращать квоты и фактически отказалась от попыток влиять на цену нефти. Это решение начало новый этап для мирового рынка – период самоустранения нефтяного картеля от своей основной функции. Тогда рынок потерял привычные ориентиры – в результате цены снизились c $75–80 за баррель в конце ноября 2014 года до $45–50 в январе 2015-го. Спустя год страны ОПЕК вновь подтвердили приверженность новой стратегии и отказались в принципе от формального механизма квотирования. Теперь каждая страна могла решать сама, сколько нефти добывать и почем ее продавать. Рынок, решивший, что ОПЕК теперь уже можно списывать со счетов, сделал свои выводы. Неверие в способность картеля стабилизировать мировой рынок стало одной из причин, почему цены на нефть в начале 2016 года опустились ниже $30 за баррель.
Если подвести итоги этих двух лет, то несложно сделать вывод: новая политика ОПЕК приводила к последовательному снижению цен даже не потому, что страны-участники не могли сократить добычу, а потому, что они ее бурно наращивали.

С конца 2014 года суммарная добыча стран ОПЕК выросла примерно на 2,5–3,0 млн баррелей в сутки – с 31 млн до 33,6–34,0 млн баррелей в октябре 2016 года. За то же время мировые цены на нефть упали почти в два раза. Парадокс заключается в том, что текущий дисбаланс на рынке, понимаемый как превышение текущего предложения над текущим спросом, оценивается американским Управлением энергетической информации (EIA) в 0,5–1,0 млн баррелей в сутки. Получается, что если бы ОПЕК сохранила добычу на уровне конца 2014 года, то мировой рынок нефти уже давно находился бы в дефиците и мы сейчас наблюдали бы другой уровень цен.

Основная предполагаемая мишень новой политики ОПЕК – американская нефтедобыча – при этом пострадала не так уж сильно и сократилась примерно на 1 млн баррелей в сутки. В остатке получается, что прирост добычи ОПЕК за последние два года (2,5–3,0 млн баррелей в день) более чем в два раза превысил сокращение добычи в США (1 млн баррелей в день). В результате новой политики предложение на мировом рынке выросло, а цены снизились.
В полном соответствии с «дилеммой заключенного» из теории игр каждый производитель нефти, действуя из своих собственных интересов, всеми силами наращивал добычу, чтобы максимизировать свою выручку, и тем самым обрушивал цены, ухудшая свое положение.
Однако в конце сентября 2016 года на неофициальной встрече ОПЕК в Алжире неожиданно для многих страны-участницы договорились о потенциальном сокращении добычи на 0,6–1,2 млн баррелей в сутки – впервые за восемь лет. Однако распределение квот по странам не было установлено – достичь договоренностей планировали как раз к заседанию 30 ноября.
Важнейшей причиной, почему встреча в Алжире принесла хоть какие-то результаты, стало изменение позиций Саудовской Аравии. Если раньше Саудовская Аравия как крупнейший производитель и неофициальный лидер картеля придерживалась мнения «давайте дадим рынку самому устанавливать справедливый уровень цен, а неэффективные производители пусть уходят с рынка», то теперь эта позиция изменилась. Саудовская Аравия в лице нового министра энергетики Халида аль-Фалиха дала понять, что в принципе договоренность о сокращении добычи возможна. Королевство не будет выступать против при одном условии – все участники должны внести свой посильный вклад в общее дело.

На мой взгляд, смена позиции Саудовской Аравии была связана в первую очередь с нарастающими проблемами в экономике страны на фоне низких цен на нефть. К примеру, в 2015 году дефицит государственного бюджета Саудовской Аравии достиг 15% ВВП. Несмотря на бюджетную консолидацию, в 2016 году дефицит составит 10–12% ВВП. Такой уровень дефицита не является устойчивым даже на горизонте пяти лет. Королевству требовалось либо резко сократить уровень госрасходов, в первую очередь за счет сокращения занятости (60–80% занятости в стране приходится на бюджетный сектор), либо девальвировать фиксированный к доллару США реал. Оба варианты чреваты непредсказуемыми социально-политическими последствиями. Поэтому оставался другой путь – повысить нефтяные доходы.

Свою роль в изменении позиции Саудовской Аравии сыграло и то, что сейчас в принципе благоприятное время для подобной договоренности – мировой рынок нефти постепенно балансируется, рост запасов замедлился, опасения по поводу замедления мировой экономики уменьшились.
Однако формализация алжирского соглашения давалась с большим трудом. В последние два месяца даже привычно волатильный нефтяной рынок лихорадило больше обычного. Настроения еженедельно менялись из крайности в крайность – от «растущего оптимизма» по поводу будущей договоренности до полного неверия рынка в способность ОПЕК договориться о чем-либо вообще, и обратно. Как обычно, страсти подогревали противоречащие друг другу заявления министров, утечки информации из анонимных источников и какофония всевозможных аналитических мнений. Стабильности не добавило то, что отдельные страны перед встречей решили по максимуму нарастить собственную добычу, с тем чтобы усилить переговорную позицию и договариваться о сокращении с более высокой базы.
Еще 29 ноября, накануне заседания, консенсус рынка заключался в том, что сделки не будет. Однако, как это ни удивительно, ОПЕК все же смогла извлечь уроки из опыта предыдущих двух лет и договорилась о сокращении добычи на 1,2 млн баррелей в сутки. Обязательства вступают в силу с января 2017 года. Утвержденные сейчас 1,2 млн баррелей в день – это верхняя граница сентябрьских договоренностей, то есть максимум, на что можно было рассчитывать. Еще до итоговой пресс-конференции заседания цены на нефть выросли примерно на 8% – на $4 за баррель. Таковой оказалась цена способности участников договориться.

ОПЕК выучила еще один важный урок – для воздействия на рынок надо уметь превышать его ожидания. Таким «превышением» стали новости о координации ОПЕК с другими крупными производителями. Как было заявлено на итоговой пресс-конференции, страны, не входящие в ОПЕК, взяли обязательство дополнительно сократить добычу на 600 тысяч баррелей в сутки. Россия обещала сократить добычу на 300 тысяч баррелей в сутки (в октябре добыча нефти в стране обновила постсоветский рекорд и составила 11,2 млн баррелей в сутки). Эта информация не учитывалась в ценах и стала неожиданной для рынка. Члены ОПЕК также попытались развеять опасения по поводу собственной низкой дисциплинированности и договорились о создании специального комитета, который будет мониторить соблюдение обязательств. Разумеется, долгосрочность текущего скачка нефтяных цен будет зависеть от того, насколько достигнутые договоренности будут фактически соблюдаться. Однако это первый шаг к восстановлению контроля над рынком.

30 ноября ОПЕК смогла доказать, что слухи о смерти картеля все же преувеличены. С другой стороны, это решение указывает на то, что политика последних двух лет была ошибочной. И ОПЕК наконец признала это.

Экономическая ситуация в России: актуальные тенденции и прогнозы развития

Марсель Салихов — Thu, 02 Jun 2016 00:00:00 GMT

презентация для конференции в РИА Новости (2 июня 2016 года)

ЭКОНОМИЧЕСКАЯ СИТУАЦИЯ В РОССИИ: ТЕНДЕНЦИИ И ПРОГНОЗЫ by Salikhov Marsel on Scribd

Нефть после Дохи: восхождение или откат?

Марсель Салихов — Mon, 25 Apr 2016 00:00:00 GMT

Провал переговоров в Дохе неделю назад сулил нерадостные перспективы для нефтяных цен. На протяжении последних месяцев именно переговорный процесс крупнейших производителей нефти создавал информационный фон, который способствовал повышению цен. Хотя само соглашение о «заморозке» добычи на уровнях января 2016 года не могло повлиять непосредственно на текущий баланс на мировом рынке нефти, оно могло стать свидетельством возможности сотрудничества стран-производителей, чтобы воздействовать на мировой рынок.

Однако Доха завершилась провалом. Стороны не только не смогли договориться об анонсированной ранее «заморозке», но даже согласовать общее заявление. В этом смысле провал был похож на декабрьскую встречу ОПЕК – тогда финальные переговоры также сильно затянулись, ни о чем договориться не удалось, а итоговая пресс-конференция произвела удручающее впечатление. После декабрьской встречи ОПЕК начался новый раунд снижения цен на нефть, в ходе которого цены упали более чем на 50%. Итоги Дохи вновь показали, что не-нефтяные интересы участников чересчур противоречат друг другу. Саудовская Аравия, поддержавшая ранее «заморозку» добычи, оказалась не готова присоединяться к соглашениям, которые создают какие-либо выгоды для Ирана. Политика оказалась важнее экономики.

Абсолютное большинство аналитиков и экспертов предполагало, что провал в Дохе является сильным «медвежьим» сигналом для рынка, так как увеличивает вероятность сохранения ценовой войны между производителями и роста дисбаланса на рынке. Действительно при открытии торгов в понедельник, 18 апреля, нефтяные котировки снизились на 6-8% «на Дохе». Однако за последующие дни нефтяные цены более чем компенсировали провал этот – за прошлую неделю котировки Brent выросли на 5%, WTI – почти на 9%. Новости о завершении забастовки работников нефтяной промышленности в Кувейте никак не повлияли на царящий, на рынке оптимизм.

Важным вопросом с точки зрения понимания происходящего на рынке нефти представление о том, почему провал в Дохе привел к противоположному результату с точки зрения реакции нефтяных цен. Здесь возможны два варианта.

Первый вариант. Повышение цен на нефть в последние два месяца не было связано с Дохой, а просто совпало с ней во времени. Есть несколько факторов, которые также способствовали росту цен. Панический настрой финансовых рынков, который царил в январе-феврале, изменился на противоположный – сверхоптимистичный. Этому способствовало меры по дальнейшему ослаблению денежно-кредитной политики в развитых странах (отрицательные ставки в еврозоне и Японии), а также начало очередного раунда стимулирующей политики в Китае. Скоординированные действия денежных властей смогли остановить панику. Поток экономической статистики последнего времени хотя и не дает оснований для большого оптимизма, указывает на что, что пугавшая всех рецессия в американской экономике в начале 2016 года не началась. В США сохраняется сильная динамика спроса на бензин при устойчивом снижении количества задействованных буровых установок (опережающий показатель будущей добычи). Это дает основания предполагать, что потребность американской экономики в импортной нефти будет увеличиваться и это позволит сократить профицит на мировом рынке.

Второй вариант. Фактор Дохи отразится на нефтяных ценах после того, как будут понятны стратегии Саудовской Аравии и Ирана на рынке физической нефти. Основной риск провала переговоров заключается в том, что на рынке начнется очередной раунд ценовой войны между основными производителями. Саудовская Аравия имеет возможности нарастить добычу с текущих уровней еще на 0,5-1,0 млн баррелей в сутки. Королевство к июню планирует завершить к июню расширение мощностей на месторождении и начало осуществлять поставки на спотовом рынке. Освободившийся от большей части наложенных на него санкций Иран продемонстрировал, что способен достаточно быстро восстанавливать «потерянную» добычу. В настоящее время также довольно большой объем незапланированного сокращения добычи – аварии в Нигерии, Ираке, простой Кувейта. По данным Bloomberg, объем незапланированных перебоев в добыче на мировом рынке составляет около 2,5 млн баррелей в сутки. Однако, скорее всего, эти перебои носят временный характер и в ближайшие месяцы могут быть возобновлены. Если все эти производители увеличат добычу и начнут ценовую конкуренцию за спотовых покупателей на физическом рынке – это неизбежно отразится на ценах.

Ситуация весны 2016 года опасным образом напоминает прошлый год. В первом полугодии так же произошел значительный рост нефтяных цен, которые к маю 2015 года превышали $65/баррель и казалось, что худшее – уже позади. Однако опасения по поводу устойчивости китайской экономики, триггером для которых стала девальвация юаня, привели к провалу цен в августе 2015, а потом – в январе 2016. Добыча в США оказалась гораздо более устойчивой к низким ценам, чем это прогнозировали сами американские власти в лице Управления по энергетической информации (EIA). ОПЕК снова показал неспособность повлиять на рынок и наращивал добычу. Результатом всего этого стали цены ниже $30 баррель – минимальные за последние 15 лет значения.

Прогнозировать нефтяные цены – сложно, систематически точно – невозможно. Тем не менее, как представляется, пресловутое «дно» на рынке уже пройдено. Потребуется новое сочетание нескольких сильных негативных шоков , чтобы «вернуть» цены ниже $30/баррель – к границе текущих операционных затрат правой части кривой себестоимости предложения на мировом рынке (добыча Северного моря, трудноизвлекаемая нефть и проч.). Причем в условиях сезонного роста во 2-3 кварталах это становится более сложным.

Однако фундаментальных факторов, которые обосновывали возможность дальнейшего существенного роста котировок тоже не просматривается. Риски ценовой войны между основными производителями остаются высокими. Запасы нефти в хранилищах все еще увеличиваются, хотя и более медленными темпами. Способность центральных банков неопределенно долго противостоять структурным экономическим изменениям, таким как замедление экономики Китая, также вызывает вопросы.

Наиболее вероятным сценарием видится «плоский» рынок в ближайшие несколько месяцев. За это время прояснится, каковы стратегии Саудовской Аравии и Ирана на рынке физической нефти. Станет понятно ли обоснованы ли ожидания сильного сокращения добычи в США. После того, как рынок найдет ответы на эти вопросы, последует очередное сильное движение – в одну из сторон.

Обзор книг по R

Марсель Салихов — Thu, 26 Jun 2014 00:00:00 GMT

Давно уже хотел свести и систематизировать книги по R (языку программирования для статистических вычислений), которые прочел/просмотрел за последние 2 года. Возможно, это кому-то покажется полезным. По R выходит действительно огромное количество книг, наверно, больше чему по любым другим подобным продуктам (STATA, eViews, SPSS и другие) вместе взятым. Многие специальные книги по отдельным вопросам статистики приводят примеры, написанные именно на R. Единственная проблема заключается в том, что все книги - на английском языке. Российскими авторами написана пока только одна, насколько я знаю, оригинальная книгапо R - я ее не читал и ничего не могу сказать. Но в целом, учите английский язык - это крайне полезно.

Общие книги по R

1. R Cookbook. Paul Teeetor (2011). Хорошая и удобная в использовании книга в стиле cookbook - сборника рецептов на разные случаи жизни. Особенно будет полезна первых порах, когда возникает множество вопросов в стиле “Как же сделать ХXX?”. Одновременно дает представление о многих базовых вещах - основных командах, структурах данных и проч. Каждый рецепт дается в форме “Problem” - “Solution” - “Discussion”. Часть Solution содержит непосредственно код, который решает данную проблему. Часть Disccussion, как следует из названия, содержит дополнительную информацию и обсуждение используемого подхода. Книга написана очень простым и понятным языком. Рекомендуется всем начинающим знакомиться с R, а также как дополнительное подспорье для опытных пользователей, чтобы быстро вспомнить подзабытые или редко используемые вещи._R Cookbook_ ориентирована на практические аспекты работы в R и не претендует на глубокое осмысление статистических вопросов, хотя в книге есть главы по расчеты основных статистик и линейной регрессии. Наверно, единственный существенный недостаток это то, что издатель/автор не выложили напрямую, используемый в книге код - это является уже общепринятым делом.

2.R Book Michael J Crawley (2012, 2 ed).

Огромное фундаментальное руководство по R объемом свыше 1000 страниц (если точное 1076 страниц в печатной версии!), написанное биологом - профессором экологии и теории эволюции в Imperial College London - Майклом Кроули. Это уже второе издание монументального труда, первое издание вышло еще в 2007 году. Сложно описать “вкратце” такую книгу, поэтому отмечу только некоторые моменты.
Первые главы посвящены “азам” работы в R - установка, типы данных, создание собственных функций и так далее.
Однако в отличие от первой книги, R Book рассматривает и практические аспекты использования R и статистические вопросы использования различных подходов, методов и так далее. Охват по статистическим вопросам очень широкий, начиная от простых тестов и линейной регрессии, до байесовких методов и нейронных сетей. Есть отдельные главы по анализу временных рядов (на уровне введения в тему) и анализу гео-данных. В целом, книга хороша, чтобы понимать, как можно использовать те или иные статистические методы в R. Так как автор - эколог, то практически все используемые в книги примеры имеют отношение к биологии/экологии. Не ждите примеров из экономики, к примеру :) С другой стороны, хорошо видно, что автор - практик, поэтому он довольно много времени уделяет обсуждений допущений различных методов, ограничений полученных результатов, альтернативным интрепретациям полученных результатов - это очень интересно.
Книгу удобно использовать как руководство, так как в ней содержится хороший индекс.
Автор предоставляет доступ к исходному коду и примерами с данными, которые используется в книге. Правда код не слишком удобно организован. В архиве выложено почти 300 текстовых файлов, не сгруппированных по главам книги (!). Для книги, которая стоит более $60, наверно, можно было бы сделать лучшую организацию, используемого в примерах кода.

3. R in a Nutshell. Joseph Adler (2012, 2 ed). Еще один фундаментальный труд (объемом в 700 страниц), претендующий на звание “руководства по R”. Написан специалистом-практиком по data mining, сейчас работающем в LinkedIn. Мне R in a Nutshell понравилась очень подробным и емким обсуждением различных “технических” аспектов работы в R - к примеру, подключение в качестве источников входных данных баз данных с помощью пакетов RODBC или DBI. Вторая часть книг посвящена использованию различных методов в R, в основном с ориентацией на data mining и machine learning. В принципе, все основные методы из этого арсенала вкратце описаны. Удобно то, что для сложных функций, реализующих методы (типа lm или lda) приводится базовая табличка, описывающая все аргументы и их значения “по умолчанию”. Очень подробно описаны различные аспекты трансформирования данных и приведения их в нужный вид.
Я правда не очень разобрался, где можно взять исходный код. На CRAN есть отдельный пакетдля книги, содержащий наборы данных, есть такжеисходные коды для первого издания книги, а для второго - я не нашел.

4. R in Action. Robert Kabacoff (2011).

Еще одна из книг-учебников, которые начинаются со знакомства с R и постепенно двигают вас дальше. R in Action несколько проще R Book или R in Nutshell, поэтому возможно больше подойдет именно для первого знакомства. Когда хочется познакомиться, но пока не слишком понятно, зачем это необходимо. Книга хорошо очень продуманной структурой. Все главы делятся на 4 группы:

Getting Started
Basic Methods
Intermediate Methods
Advanced Methods.

В каждой главе, особенно в третьем-четвертом разделах, приводится один достаточно большой пример, который подробно разбирается в течение всей главы. Автор также подробно останавливается на том, как интерпретировать таблицы с полученными результатами и что они вообще означают. Оказывается, книгаR in Action вышла на русском языке, что можно только приветствовать.

Резюме. Мне кажется, имеет смысл начинать знакомиться с R c помощью R Cookbook и R in Action. Если вам уже стала все более или менее понятным, то можно продвигаться дальше. Если вы занимаетесь статистикой/эконометрикой, то лучше подойдет R Book, если machine learning - то R in a Nuthshell.

Книги по графическим возможностям R

Одной из сильных сторон R является богатство возможностей по созданию сложных графиков и любых других форм визуального представления информации. Много чего можно сделать с помощью базовых возможностей, которые дополняются отдельными графическими пакетами. Так как все это богатство довольно разнообразно, но есть отдельные книги, целиком и полностью посвященные графическим возможностям R.

R Graph Cookbook. Mittal Hrishi (2011). Еще одна книга в стиле “кукбук” - на этот раз только графическим возможностям - но от издательства Packt, а не O’Rilley. В целом, неплохая книга в качестве “введения” в тему и дает общее представление о том, как устроены графические возможности R и что можно с ними делать. Мне, к примеру, больше всего были полезны примеры из 4 главы “Creating Line Graphs and Line Series Charts”. Охват тем достаточно широкий - от базовых графиков до рисования карт и 3d-изображений. Примеры построены в основном на базовой графике, хотя есть немного ggplot2 и других пакетов. Есть важные вещи, связанные с подготовкой и экспортом графики. К сожалению, книга уже достаточно старая, поэтому в ней нет разделов, посвященных интерактивной графике - тем же пакетам rCharts или ультра-новому ggvis. Также книга достаточно базовая, поэтому “продвинутые” вещи или тонкости не обсуждаются - для этого все равно придется использовать StackOverflow и прочие источники “мудрости”.

R Graphics Cookbook. Winston Chang (2012).

Еще одна “книга рецептов” от издательства O’Rilley, написанная одним из разработчиков RStudio, наиболее популярной среды разработки для R. Хотя книга формально посвящена “R графике”, на самом деле это только ggplot2. Поэтому никаких примеров на базовой графике или других графических пакетах нет. Эту книгу можно рассматривать как очень хорошее справочное пособие по ggplot2, написанное понятное и доступным языком. К книге прилагается специальный пакет с используемыми датасетами. Весь приведенный в книге код выложен отдельнона сайте издательства и отсортирован по главам книги. Поэтому проблем с воспроизведением кода при изучении материала возникнуть не должно.

ggplot2. Elegant Graphics for Data Analysis. Hadley Wickam (2009). Довольная старая, по меркам “технической” литературы, книга от легендарного в мире R человека - Hadley Wickham, профессора статистики из Rice University и создателя кучи пакетов, без которых не обходится ни один пользователь R. Книга посвящена популярному графическому пакету ggplot2. Книга интересна сейчас первыми главами, в которых автор рассуждает про “грамматику графику” (“grammar of graphics”) и рассказывает про идеи, стоящие за ggplot2. Приведенный в книге код сейчас может быть неработоспособным в текущей версии ggplot2. Поэтому использовать эту книгу как учебник по ggplot2 вряд ли получится. С другой стороны, Хэдли поддерживает документациюв настолько идеальном состоянии, что все вопросы по текущим возможностям, аргументам функций и примерам использования можно решать без помощи специальной литературы.

Резюме по “графическим” книгам. Если вас интересуют возможности базовой графики - читайте R Graph Cookbook, если интересует ggplot2 - читайте R Graphics Cookbook. Две книги покрывают достаточно широкий спектр того, чтобы доступно в R для графики, по крайней мере, на первом этапе.

Как я уже говорил, выходит достаточно большое книг, посвященное отдельным “специальным” темам в R. В следующий раз я напишу про книги, которые посвящены R в эконометрике/финансах, machine learning и GIS.

‘Потому что на десять девчонок по статистике девять ребят’ - так ли это на самом деле?

Марсель Салихов — Sat, 21 Jun 2014 00:00:00 GMT

Для меня ключевой фразой в популярной песне является - “по статистике”. Поразбираться с этим вопросом, натолкнул вот этот пост в популярном (хотя и уж очень претенциозном) ЖЖ bespridanitsa под названием “Ситуация с женихами в регионах”. Сообразительная девушка решила посмотреть на данные Росстата по численности населения по разным возрастным группам в Ярославской области. И пришла к выводу о том, что общепринятые представления о гендерных соотношениях могут быть не такими уж и однозначными.
Я решил пойти дальше и посмотреть данные не только по соотношению численности мужчин/женщин - ожидаемо, что женщин больше. С точки зрения “mate selection” важно не просто соотношение численности мужчин и женщин в соответствующих возрастных когортах, но и их брачный статус. По сути нас интересует соотношение между мужчинами и женщинами, которые не состоят в браке, то есть условно “свободны” для отношений.
Если существует дисбаланс между такими мужчинами и женщинами , то поиск партнера, на “брачном рынке”, по всей видимости, осложняется. Вероятность встретить подходящего партнера - это в том числе и функция от их общего количества, которые находятся более или менее рядом, в том числе и в географическом смысле. Поэтому интересна картина отдельным регионам, а не только по стране в целом.

Небольшое отступление. Термин “брачный рынок” может показаться несколько странным, но это общепринятый в настоящее время экономический термин, введенный работами Ричарда Познера и Гэри Беккера (лауреат Нобелевской премии по экономике 1992 года, недавно скончавшийся). “Брачным рынком” называют процесс поиска индивидами партнеров для брака для создания домохозяйства. С точки зрения экономиста экономические агенты всегда максимизируют собственную полезность (utility). В рамках этого подхода человек вступает в брак, когда ожидаемая полезность семейной жизни превосходит ожидаемую полезность холостой жизни или дополнительные издержки, возникающие при продолжении поиска более подходящей пары. На этих допущениях обычно строятся различные модели family economics. Подробнее про теорию вопроса можно посмотреть в [4]. Про российский “брачный рынок” можно посмотреть любопытную работу экономистов ВШЭ 2006 года [2].
_
_

Немного про данные и расчеты

Единственным источником такого рода полных данных является последняя Всероссийская перепись населения 2010 года, а именно ее второй том - “Возрастно-половой состав и состояние в браке” (таблица 2.5. “Население по возрастным группам, полу и состоянию в браке по субъектам Российской Федерации”) [1]. Более актуальных цифр, к сожалению, нет.
В лучших традициях предоставления полезной информации от государственных органов искомая таблица организована крайне неудобно для какого, сколь бы то ни было серьезного анализа (как и вообще все результаты переписи, содержащей множество уникальной информации). Поэтому ее пришлось приводить в “нормальный вид” средствами Excel + R.

Перепись дает следующую разбивку состояния в браке:

Состоящие в зарегестрированном браке
Состоящие в незарегестрированном браке
Никогда не состоявшие в браке
Разведенные официально
Разошедшиеся
Вдовые
Не указавшие состояние в брак

В принципе, все понятно. Единственный неясный аспект - разница между “разведенные официально” и “разошедшимися”. Так вот, разошедшиеся - это те, кто состоял в незарегестрированном браке, но на дату переписи разошелся, а также те, кто разошелся с официальным мужем/женой, но еще не оформил развод в ЗАГСе.

Нас интересуют все категории, которые указывают на не-состояние в браке. Я использовал такое агрегирование:
“Свободные” = “Никогда не состоявшие в браке” + “Разведенные официально” + “Разошедшиеся” + “Вдовые”.
Разумеется, отдельно для мужчин и отдельно для женщин.
Посмотрим сначала на общероссийский результат. Получается, что в стране 30,2 млн “свободных” женщин и всего лишь 19,2 млн “свободных” мужчин. Разница - в 11 млн человек. Соотношение - 3 к 2. Это ли не повод для уныния незамужним девушкам?
Однако посмотрим на эти же результаты по возрастным группам.

Легко видеть, что превышение количества женщин над количеством мужчин идет после 35 лет и нарастает с возрастом. В группе 70+ женщин почти 8 раз больше чем мужчин той же возрастной категории! Очевидная причина - разные показатели смертности. Так как женщины в среднем живут дольше чем мужчины, то в старших возрастных категориях становится совсем мало мужчин и много, как правило, одиноких женщин.
В то же время в возрастных категориях от 20 до 30 лет есть довольно устойчивое превышение “свободных” мужчин над количеством “свободных” женщин той же возрастной категории.
К примеру, в возрасте от 18 до 39 лет в 2010 году было 12,0 млн “свободных” мужчин и 10,3 млн “свободных” женщин. Получается, что как раз по статистике на на десять девчонок 11,6 ребят!

Разумеется, речь идет именно о статистике и формальном соотношении мужчин и женщин по брачному статусу, а не об сравнительной легкости найти подходящего партнера на “брачном рынке”. Можно подумать по каким причинам, могут выходить подобные расхождения между статистикой и общепринятыми представлениями. Мне на ум приходят следующие вещи.

Различия в среднем возрасте заключения брака. Социальные и культурные обычаи таковы, что “нормальным” считается, что в паре мужчина должен быть несколько старше, чем женщина. Поэтому значительное превышение “свободных” мужчин над количеством “свободных” женщин в возрастной категории от 20 до 24 лет может быть связано с тем, что достаточно большое количество девушек к этому возрасту уже выходят замуж, в то время как парни из той же возрастной категории будут жениться несколько позже, через несколько лет, попадая в следующую возрастную когорту.
К сожалению, хороших данных по возрасту заключения брака не собирается. Данные Росстата публикуются лишь по крупным возрастным когортам и не разделяют между первым и повторными браками.
Вот процентное распределение заключенных браков по возрасту жениха:

Вот аналогичное распределение по возрасту невесты:

Я специально выделил возрастную когорту 18-24 года: в 2013 году из общего количества заключенных браков (1,2 млн) 24,5% были заключены женихами в этом возрасте, но для невест - это уже 38%. Видно также, что за последние 40 лет возрасты заключения брака сильно увеличились. И еще одно интересное наблюдение - всплеск ранних браков (невеста - до 18 лет) в начале 90-х годов - в 1992 году на подобные браки приходилось почти 7% от общего количества!

Согласно более аккуратным расчетам демографов [5], средний возраст первого брака составлял в 2011 году 27,38 лет для мужчин и 24,97 лет для женщин. Разница - в 2,41 год. В целом, она не очень большая и, по всей видимости, эффект от различий в возрасте заключения брака между мужчинами и женщинами не слишком влияет на наши результаты.
**
****“Свободных” мужчин на “брачном рынке” может быть в действительности меньше**. К примеру, в 2010 году (год проведения переписи), почти 700 тыс. человек находились в местах лишения свободы, из них 93-94% - это мужчины.

Разумеется, среди них есть и женатые (данных по брачному статусу заключенных я не знаю), но к примеру, около 23-24% заключенных (почти 161 тыс. человек в 2010 году) находились в возрасте от 18 до 25 лет и в большинстве своем, видимо, не состоят в браке. Подобные соображения можно привести и в части количества наркоманов или ВИЧ-инфицированных - хотя я не знаю доступные данные о гендерных соотношениях в этой части.

Различия в “качестве” между мужчинами и женщинами.
Одним из результатов исследований экономистами брачных отношений, подтвержденных эмпирически, заключаются в том, что мужчины и женщины более “высокого качества” вступают в отношения с себе подобными, когда эти качества являются взаимодополняющими (образование, раса, культурный уровень). Женщина “высокого качества” повышает производительность мужчины “высокого качества” и - наоборот. “Качество” - это некий условный термин, отражающий общую характеристику индивидов.
Однако такая склонность может ограничить количество “эффективных” потенциальных партнеров, если есть существенные различия в “качестве” и “качество” выступают ограничивающим критерием. Так как “качество” само по себе субъективно, его сложно оценивать. Некоторым аппроксимирующим показателям “качества” может быть уровень образования. По данным той же переписи в возрастной категории от 20 до 39 лет на 5,2 млн мужчин с высшим образованием приходится 7,5 млн женщин с высшим. Соотношение 3 к 2. Причем именно в возрастных категориях от 25 до 35 лет различия в уровнях образования между мужчинами и женщинами максимальны.

Региональная картина

При всей условности этих оценок и ограничений на данные, которые мы используем, все же интересно посмотреть на региональное распределение и соотношения количества “свободных” мужчин и женщин. Речь идет о том же самом соотношение “свободных” мужчин и женщин в возрасте от 18 до 39 лет по субъектам РФ. Если посмотреть абсолютные количества, то данные выглядят вот так вот. Имейте в виду, что отрицательные значения указывают на то, что в регионе больше “свободных” мужчин, чем женщин. Почти по всех регионах “свободных” мужчин оказывается больше (в Москве -45 тыс. человек, в Московской области - на 125 тыс. человек). Исключением (то есть там, где “свободных” женщин больше) являются “окраинные” регионы - Тыва, Алтай, Хакассия, Оренбургская область и некоторые другие (закрашены синим на карте, карта интерактивная - если навести мышкой на регион, будут появляться подсказка с данными и названием региона).

Однако абсолютные значения сильно зависят от “размера” региона в смысле численности населения. Поэтому если взять процентное соотношение (разница между количеством женщин и мужчин, поделенная на количество женщин), то картина получается немного другая.

Наиболее “привлекательными” для женщин (в том смысле, что там сильное превышение “свободных” мужчин) являются Мурманская область и Камчатский край, а также почти все регионы Дальнего Востока - делайте выводы :). Для мужчин наиболее “привлекательны” в аналогичным смысле некоторые регионы Северного Кавказа (Ингушетия, Кабардино-Балкария), Алтай, Омская область, Тыва и Мордовия!. В Москве картина в целом достаточно сбалансированная - мужчин больше на 4,5%.

Список использованных источников

“Итоги всероссийской переписи населения. Том 2. Возрастно-половой состав и состояние в браке”. Ссылка.
Рощина Я.М., Рощин С.Ю. Брачный рынок в России: выбор партнера и факторы успеха. Препринт WP4/2006/04. — М.: ГУ ВШЭ, 2006. Ссылка.
Р. Познер. Экономический анализ права. СПб.Экономическая школа. / Пер. с англ. под ред. В.Л. Тамбовцева, 2004, в 2-х т. Глава 5 “Семейное право и регулирование сексуальных отношений”. Ссылка.
Becker, Gary S. 1993. A treatise on the family. Cambridge, Mass: Harvard University Press. Ссылка.
С. Захаров “Куда движется супружество в России?”. ДЕМОСКОП Weekly №545-546. 4-17 марта 2013. Ссылка.

Как закрасить площадь между двумя линиями на графике в Excel?

Марсель Салихов — Wed, 18 Jun 2014 00:00:00 GMT

Я уже рассматривалнекоторые хитрости построения графиков в Excel - график с двумя осями Y и прочие довольно простые вещи. Можно поговорить о чуть более сложных вещах.
Возьмем стандартный график с линиями (line chart). Зачем нужно закрашивать площадь между этими линиями? Часто площадь закрашивают для того, чтобы акцентировать внимание читателя на различии/расстоянии между двумя линиями. Другой вариант, который встречается в моей деятельности - построение совмещенных графиков показателей, имеющих сильные сезонные колебания.
К примеру, вот такой вот график. На нем изображены недельные данные по объемам хранимого в подземных хранилищах природного газа (ПХГ) в США. Показатель имеет сильную сезонность, поэтому в таком представлении сложно понять, что происходит на “конце” графика и соотнести последние точки с предыдущими периодами.

В совмещенном же виде график будет выглядеть вот таким вот образом. По оси Х отображен только один год - 52 недели для недельных данных. Данные по разным годам совмещены в линиях - в данном представлении показывается только текущий (2014), серой линией обозначен среднее значение за пятилетний период, светло-серым закрашенным участком выделен диапазон между минимальным и максимальным значением за соответствующий период.

Рассмотрим только построение закрашенной светло-серой площади, которая показывает диапазон. Сначала строим обычный линейный график для максимума и минимума - предполагается, что исходные данные (обычный временной ряд) уже преобразованы для такого представления и у нас есть ряд Max и Min.

Сначала нужно закрасить площадь между двумя линиями. “Трюк” состоит в том, чтобы добавить на графику гистограмму с накоплением, которая будет состоять из двух частей. Верхняя часть гистограммы будет соответствовать расстоянию между графиками и будет видимой. Нижняя часть будет занимать площадь от линии Min до 0 и будет невидимой на графике.
Для этого нужно в расчетной таблице добавить два дополнительных расчетных столбца к двум имеющимся (Max и Min).
Нижняя часть = Min
Разница = Max - Min.

Теперь нужно выделить полностью два дополнительных столбца -> Копировать. Перейти на уже имеющийся график с линиями и нажать Ctrl-V. Две дополнительных линии появятся на графике.

Выглядит правда все еще не очень похоже. Теперь нужно изменить вид диаграммы на гистограмму с накоплением. Соответственно выбираем сначала ряд “Разница” -> “Изменить тип диаграммы для ряда” -> “С областями и накоплением”(если выбрать просто гистограмму с накоплением, то будут “зубцы”). Тоже самое делается для для ряда “Нижняя часть”.
Обратите внимание, что два ряда “Min” и “Нижняя часть” имеют одинаковые значения и наложены друг на друга. Удостоверьтесь, что вы выбираете нужный ряд. После этих манипуляций должно стать понятнее, что происходит. Фактически на графике совмещены две диаграммы.

В дальнейшем остается только доработать все “напильником”, чтобы получить желаемый результат.
- Установить “Нет заливки” для нижней части гистограммы с накоплением. Это приведет к тому, что нижняя часть гистограммы станет невидимой.
- Поменять цвет для верхней части области на нужный.
Можно убрать сами линии Max и Min, чтобы они не отвлекали внимание, добавить дополнительные ряды (“2014” и “Среднее за 2009-2013”), чтобы получился итоговый результат (второй график) - но это уже дело вкуса и итоговый целей представления данных.
Единственное, что плохо с моей точки зрения - площадь получается с “зубцами”, я пока не нашел способа, как можно обеспечивать”сглаживание” для такого графика. Если знаете - расскажите!

Дополнительная тонкость - чтобы убрать из легенды ненужные элементы (Нижняя часть, Разница), можно просто выделять их и нажимать Del - только нужно убедиться, чтобы вы выделили не всю легенду, а отдельный ее элемент (тогда отдельный элементы будет в выделенном треугольнике.

Вот ссылкана файл с данными и итоговым графиком.

Результаты голосования Государственной Думы по реформе РАН (три чтения)

Марсель Салихов — Mon, 23 Sep 2013 00:00:00 GMT

Как вы уже знаете, несмотря на массовые протесты ученых на прошлой неделе, Государственная Дума удивительно быстро “оформила” реформу РАН всего лишь за один день, 18 сентября. Подробнее о некоторых перипетиях закона, можно посмотреть в небольшой заметкеЪ.
Нас же, как обычно интересует, каким образом голосовали народные избранники. Сам законопроект по реформе РАН имеет №305828-6 и имеет следующее официальное название: “О Российской академии наук, реорганизации государственных академий наук и внесении изменений в отдельные законодательные акты Российской Федерации (в части уточнения правового положения, полномочий и функций Российской академии наук, реорганизации государственных академий наук)”.
Формальную процедуру прохождения законопроекта можно посмотреть на его странице в АСОЗД:

Законопроект был официально зарегестрирован и направлен Председателю ГД 28.06.2013
В начале июля (03.07 и 05.07) законопроект прошел первое и второе чтение соответственно.
После летних каникул, 17.09 был вернут во второе чтение.
18.09.2013 законопроект по реформе РАН был принят во втором и в третьем чтении практически одновременно.

Я уже писал о результатах первых двух чтений, теперь, к сожалению, можно обновить эти результаты.

Как видно на графике, стабильно против законопроекта выступала только КПРФ. Правда во втором втором чтении они почему-то сначала не голосовали, а в третьем чтении проголосовали против (хотя оба голосовании прошли с интервалом всего лишь в 20 минут). Причем в третьем чтении возникли три коммуниста-ренегата (Бифов А.Ж., Кочиев Р.А., Тайсаев К.К.), которые неожиданно проголосовали “за”. В чем был смысл такого хитрого маневра?
Единая Россия (ЕР) и ЛДПР практически полным составом поддержали законопроект. Справедливая Россия голосовала “против” в первом чтении, но потом передумала. Причем среди справороссов тоже возникли метания - во втором чтении вся фракция поддержала законопроект (10 не голосовало), а в третьем чтении - откуда-то возникло 17 противников, которые 20 минут назад были “за”.
Поэтому не только суть законопроекта вызывает вопросы, но и собственно говоря, странным метаниям депутатов тоже сложно дать логичные объяснения.
Как обычно, данные по голосованию доступны в табличной форме - найдите своего любимого депутата.

Интерактивная карта результатов выборов мэра г. Москвы (8 сентября 2013 года) по отдельным УИКам

Марсель Салихов — Wed, 11 Sep 2013 00:00:00 GMT

Как вы знаете, 8 сентября состоялись выбора мэра г. Москвы. Уже довольно много материалов в Сети посвящено статистическому и географическому анализу этих выборов на основе официальных данных Мосгоризбиркома.

Я тоже решил посмотреть на эти данные и для начала построить карту с их визуализацией. Карт с результатами выборов в Сети уже довольно много. К примеру, на глаза попала карта Коммерсанта, которая показывает данные по отдельным округам. Есть подобные карты по отдельным районам.

Мне показалось интересным посмотреть на результаты голосований именно по отдельным УИКам на самом дробном уровне имеющейся детализации. В контексте появляющихся новостей о популярности С. Собянина в избирательных участках на территориях психбольниц это, наверно. имеет смысл. Также эту карту можно использовать, чтобы посмотреть на результаты голосований на вашем и соседних участках.
Вот так выглядит итоговый вариант карты. Кружочками на карта выделены отдельные УИК - всего их 3365. Цвет кружочка синий, если на нем победил Собянин, и красный - если победил Навальный. Карта интерактивная, поэтому можно удалять-приближать и перемещать ее центр. Если навести мышкой на кружок, то появляется всплывающее окно, которое показывает номер УИК, его адрес и что это за объект (если есть такие данные), а также процентные результаты кандидатов. Как и говорил, можно проверить, как голосовал “свой” УИК.

Интерактивная карта результатов выборов мэра г. Москвы (8 сентября 2013 года) по отдельным УИКам

Что можно сказать по этой карте? Собянин победил на 3240 УИКах (это 96% от их общего числа), Навальный - на 123 (около 3,6%). Остальные кандидаты не смогли набрать большинства. Карта дает возможность посмотреть именно на географическое распределение популярности. Можно выделить три “кластера”, на которых смог получить большинство Навальный:

В пределах Садового кольца. Видно, что у Навального максимальная поддержка оказалась среди наиболее состоятельных слоев, живущих в самом центре города.
На севере - в районах Сокол, Аэропорт, Полежаевская.
На юге-западе в районах Ломоновский и Академический.

Вот данные, которые я обработал для того, чтобы построить эту карту. Желающие могут скачать их и самостоятельно с ними поиграться. Вот ссылкана данные для скачивания из Google Fusion Tables.

Максимальный результат Навального на УИК №202 (Кочновский проезд, 4, корп 1) - почти 63%.
Собянин получил же максимальные 98,46% (!!!) на УИК №335 (Талдомская улица, д 6) - судяпо всему, это государственное бюджетное учреждение “Психоневрологический диспансер №25”. Интересная метафора, которую уже много где обсудили. На втором месте с результатом 88,15% за Собянина УИК №388 (Правобережная улица, д 4), в котором находится “Пансионат №1 для ветеранов войны и труда”. Правда, больше УИКом с результатам больше 70% за Собянина нет.
Наверно, еще много чего можно найти по данным - напишите, если что удалось обнаружить. Максимальный результат “за” Мельникова (18,24%) на УИК №61.

Теперь вкратце об исходных данных для карты и как она была сделана.
Исходные данные по результатам голосований получены из “Сводной таблицы предварительных итогов голосований” Московской городской избирательной комиссии. Они там выложены в не очень удобном виде (сначала по районам, а потом уже - по УИКам). Поэтому был написан скрипт на R, который скачивает и перерабатывает данные. Для карты я использовал только процентные итоги голосовать, хотя можно визуализировать и любые другие показатели, которые есть в исходных таблицах.
Географические расположение УИКов взятас замечательного gis-lab.ru

Для создания непосредственно карты использовался отличный пакет rCharts, который позволяет обращаться к картографическому сервису Leaflet JS и строить интерактивные карты непосредственно в R. Пакет еще в стадии разработки, поэтому я переработал готовый пример от автора rCharts.

Про пенсионную систему и пенсионную реформу - ч.2. Выбор НПФ или УК.

Марсель Салихов — Mon, 26 Aug 2013 00:00:00 GMT

Первая часть, посвященная общим вопросам пенсионной реформы - здесь.

Итак, вы определились и решили сохранить размер социальных отчислений на накопительную часть пенсии в пределах 6%. Что делать дальше? Предполагаем, что вы являетесь “молчуном”, то есть еще не писали никаких заявлений и не переводили свои пенсионные накопления.

На укрупненном уровне выбор состоит из трех основных альтернатив:

Остаться в ВЭБе (официально это именуется ГУК - государственная управляющая компания), там где ваши пенсионные накопления находятся сейчас.
Передать свои накопления управляющей компании (УК). Управление накопительным счетом остается в ПРФ.
Передать свои накопления негосударственному пенсионному фонду (НПФ). Управление накопительным пенсионным счетом также передается в НПФ.

Мы рассмотрим последовательно эти варианты. Можно не читать сразу много текста, а посмотреть итоговую таблицу сравнений в самом конце, чтобы получить примерное понимание, по каким критериям отличаются эти альтернативы, а потом уже вернуться к основному тексту.

На мой взгляд, главным критерием выбора, разумеется, является ожидаемая доходность инвестирования ваших накоплений - а иначе зачем это вообще все нужно? Любой из этих управляющих будет размещать, получаемые от вашего работодателя средства, в различные финансовые инструменты. Доходность инвестиций (в отличие, к примеру, от банковского депозита) в общем случае неизвестна заранее. Но управляющие должны стремиться к тому, чтобы обеспечить максимальную доходность в складывающихся условиях.
Как можно ожидать, точно спрогнозировать будущую доходность невозможно в принципе. Можно только сделать некоторые разумные предположения по этому поводу. Одним из частых предположений является использование прошлой доходности, достигнутой управляющим, в качестве прокси его будущей доходности. Такой подход разумен, но отнюдь не гарантирует, что аналогичные результаты будут достигнуты будущем.
Мы внимательно изучим различные показатели доходности этих альтернатив, сосредоточившись на показателях последних 4 лет, с 2009 года. Мне кажется, такой подход более разумен в текущих условиях - так как условия работы финансовых до 2008 года сильно отличались. Поэтому не имеет смысла рассчитывать на доходности в 20%+, которые достигали отдельные НПФ или УК, в период, 2005-2007 гг. Жизнь для управляющих тогда была слишком другой.
Еще несколько вещей о доходности, которые хочется обозначить заранее. Доходность связана с риском. Как правило, б о льший уровень доходности означает б о льший уровень риска. В идеальном варианте управляющий обеспечивает максимальный уровень доходности на условную единицу риска.
Это может показаться, не совсем очевидным, но чем вы моложе, тем к большему уровню риска вам следует стремиться. Так как инвестиционный горизонт для человека 25-летнего возраста до выхода на пенсию - 35 лет, то в принципе, более “агрессивный” инвестиционный портфель позволит обеспечить большую степень доходности к 60 годам. Чем старше вы становитесь, тем более консервативными вы должны становиться. Определить степень “агрессивности” портфелей НПФ и УК на самом деле не так просто, так как имеющаяся отчетность не раскрывает конкретные ценные бумаги. Косвенно это можно оценить, например, по доле акций в инвестиционном портфеле.
Под риском здесь понимается риск финансовых инструментов, а не риски, к примеру, связанные с ненадежностью НПФ или УК. То есть тот риск, который потенциально дает вам возможность получить дополнительную доходность (upside).
Теперь рассмотрим подробнее три альтернативы.

1. ВЭБ - государственная управляющая компания (ГУК)

Пенсионные накопления “молчунов” управляются ВЭБом, а ведение пенсионного счета и учета осуществляется Пенсионным фондом РФ (ПФР). Это все еще наиболее популярный способ распоряжения пенсионными накоплениями. В 2012 году ГУК управлял пенсионными накоплениями 56,5 млн человек, а это около 73% людей, имеющих накопительные пенсионные счета.

Со следующего года можно сохранить эту опцию - необходимо написать заявление в ПФР соответствующее заявление с пометкой “ГУК ВЭБ 6%”.

Один момент, о котором, наверняка, большая часть людей не знает. В настоящее время ГУК (ВЭБ) имеет два инвестиционных портфеля в рамках управления пенсионными накоплениями:

Расширенный инвестиционный портфель (по умолчанию)
Инвестиционный портфель государственных ценных бумаг.

Если вы не слышали об этом, то у вас именно расширенный портфель, для того, чтобы попасть в вариант №2 нужно писать отдельное заявление. В чем различие?
С 2010 года ВЭБ получил право вкладываться не только в гос.облигации. Для этого его портфель разделили на тот, в котором можно вкладывать и в другие бумаги (“расширенный”) и сделали его “по умолчанию”. Если же написать заявление, то можно выбрать портфель вложений только в гос.бумаги. Как и можно было ожидать, больше 99% средств под управлением ВЭБа находится именно в портфеле №1 “по умолчанию”, который не требует каких-либо телодвижений.

Прошлая доходность ВЭБ

Доходность портфеля ВЭБ обычно является довольно низкой. За последние 8 лет портфель ВЭБа смог перекрыть инфляцию только два разу - в 2009 и в 2012 году. За последние 4 года (2009-2012) накопленная доходность составила 32% при накопленной за тот же период инфляции в 34%.

Однако в прошлом году (2012) результаты были особенно удачны - 8.4% (по расширенному портфелю), что больше средних показателей и НПФ, и УК. Частично это единовременное событие, связанное с бумом на рынке гособлигаций (ОФЗ) из-за ожиданий либерализации рынка и прихода иностранных инвесторов.

Традиционно считается, что ВЭБ использует сверхконсервативную инвестиционную стратегию и вкладывает средства преимущественно в государственные облигации. Но если посмотреть на изменение структуры расширенного инвестиционного портфеля ВЭБа (график выше), то видно, что структура вложений сильно изменилась за последние годы. Сейчас на вложения в госбумаги приходится только половина портфеля, остальная часть - на иные активы, в основном, это корпоративные облигации. Это означает, что постепенно различия в структуре портфелей между ВЭБ (ГУКом) и частными управляющими будут постепенно сокращаться, и можно ожидать, что различия в доходностях - тоже.

Конечно, в случае любых катаклизмов ВЭБ будет первым “подставлять плечо” правительству и при необходимости может также легко изменить структуру портфеля в пользу гос.бумаг - особых ограничений нет. Есть риск в том, что в будущем государство “позаимствует” средства накоплений для отдельных “спецпрограмм”. К примеру, сейчас обсуждаетсяидея вице-премьера О.Голодец использовать частично эти средства для кредитования малого и среднего бизнеса (?!) - идея, мягко говоря, странная.

Но в принципе, это не самый плохой вариант - оставаться в ВЭБе, если вы настроены консервативно, не верите в частный сектор, но хотите сохранить 6%. Можно даже выбрать портфель гос.бумаг, чтобы быть ультра-консервативным. Однако необходимо понимать, что скорее всего портфель ВЭБ в долгосрочном периоде только покроет инфляцию и, по всей видимости, не обеспечит дополнительной доходности сверх того.

2. УК - управляющие компании

Следующей альтернативой являются управляющие компании (УК). Выбор варианта УК означает, что управление вашим пенсионным счетом остается в обязанностях государственного ПФР. ПФР же будет продолжать информировать вас о состоянии пенсионного счета и в будущем - обеспечивать выплату накопительной части пенсии. Однако управление этими средствами (читай - выбор вложений в различные финансовые инструменты) будет осуществлять не ГУКом/ВЭБом как в первом варианте, а кем-либо из частных управляющих, с которыми у ПФР есть договор.

По состоянию на начало 2012 года (более свежих данных не удалось обнаружить) таких управляющих компаний 52 штуки. В основном они аффилированны либо с банками, либо крупными финансовыми компаниями. Причем некоторые предлагают выбор из нескольких возможных инвестиционных портфелей. Поэтому нужно выбрать не только одну из этих УК, но инвестиционный портфель (если такой выбор есть). В прошлом году я рассматривал только этот сегмент рынка пенсионных накоплений - можно посмотреть на те результаты.

Однако надо знать, что вложения пенсионных накоплений через УК является крайне непопулярным среди наших граждан. На все 52 УК по состоянию на конец 1 квартала 2013 года приходится лишь 1,3% рынка пенсионных накоплений (если учитывать ВЭБ) и 3,9%, если не учитывать. Совокупно все 52 УК управляют портфелем всего лишь около 33 млрд рублей, тогда как в НПФах находится свыше 800 млрд рублей (разница почти в 25 раз!). Пока только 500 тыс. человек выбрали именно опцию УК.
Чем вызвано такое недоверие к опции УК я, честно говоря, не очень понимаю. Скорее всего, это связано с тем, что граждане просто не в курсе этой возможности. УК сами, в отличие от НПФ, не ведут широких маркетинговых компаний. Практические те же самые УК все равно получают средства в управление от уже НПФов. Поэтому, видимо, у них нет особенной заинтересованности в том, чтобы привлекать к себе клиентов непосредственно через ПФР. ПФР по понятным причинам также не заинтересован в этом.

Посмотрим на стоимость чистых активов (СЧА), которыми управляют управляющие компании, чтобы понять кто присутствует на этом рынке.

Стоимость чистых активов (СЧА) пенсионных накоплений УК

Learn About Tableau

Как видно, лидерами рынке являются дочерних структуры крупных банков - ВТБ, Сбербанк, Уралсиб. Только около 10 компаний имеют портфели с СЧА более 1 млрд рублей. Однако так как крупные УК управляют сразу множеством различных портфелей для разных клиентов, то для них это не должно быть большим ограничением. В то же время “маленькие” УК с портфелями в десятки миллионов рублей непонятно каким образом в принципе могут обеспечить профессиональное управление.

Прошлая доходность УК

Разумеется, доходность отличается в зависимости от УК. Я посчитал средневзвешенную (по размерам СЧА) доходность всех УК. За прошлый год средневзвешенная доходность составила 7,4%. За последние 4 года - 12,0%. Однако эти результаты сильно связаны только с одним годом. В 2009 году доходность составила 30,5% - после убытка в 27% в 2008 году. Если включить 2008 год, то средняя доходность сразу резко падает.
Видно, что вложения в УК характеризуются достаточно высоким уровнем риска. Частично это, видимо, связано с тем, что они имеют возможность начислять отрицательную доходность на ваши накопления - НПФы не имеют такой возможности.

Теперь рассмотрим показатели доходности отдельных фондов. В таблице ниже можно посмотреть три показателя доходности: годовая доходность (к предыдущему года), накопленная доходность с соответствующего года (то есть в столбце “2009” - будет стоять накопленная доходность с 2009 по 2012 год, а в столбце “2005” - соответственно с 2005 по 2012), и ранг доходности (то есть место фонда по доходности за этот период, соответственно чем меньше, тем лучше).

Показатели доходности УК, 2004-2012

Learn About Tableau

Видно, что в прошлом году максимальная доходность (12,5%) была достигнута УК Росно Управление Активами (портфель - сбалансированный). Правда в 2011 году этот портфель потерял 5,7% стоимости. За более длительный период лучше смотреть накопленную доходность. Особенно обратите внимание на столбец 2009 или 2008 - то есть накопленная доходность с 2009 или 2008 года.

Мне кажется, что в целом опцию УК стоит изучить достаточно внимательно. Управление вашим пенсионным счетом остается в рамках ПФР. Управляющие компании представляют ежеквартальную отчетность, в отличие от НПФ, которые сообщают о своих результатах только раз в год. Крупнейшие УК контролируются крупными финансовыми структурами, поэтому даже относительно небольшие инвестиционные портфели могут управляться вполне профессионально. Однако УК подразумевают достаточно высокий уровень риска. По таблице видно, что в 2011 году, когда не было никакого финансового кризиса, 27 портфелей УК (из 60!) показали отрицательную доходность. В 2012 году ситуация улучшилась. Если вы в принципе готовы к такому варианту, тогда вам стоит рассмотреть такую возможность.

3. Негосударственные пенсионные фонды - НПФ

НПФ берут на себя все функции по вашему пенсионному обеспечению - управление вашим пенсионным счетом, выплата пенсии в будущем, выбор управляющих для управления накоплениями, предоставление необходимой информации и прочее. По сути НПФы выступают аналогом ПФР в плане накопительной части пенсии, только негосударственным.

Несколько моментов, которые необходимо знать. Все крупные НПФ занимаются пенсионным обеспечением не только в рамках обязательных отчислений на накопительную часть, но и добровольным пенсионным обеспечением (корпоративные и индивидуальные программы). Часть активов по первому направлению называется “пенсионными накоплениями”, по второму - “пенсионные резервы”. Такая вот терминология.

По состоянию на 31.07.2013 102 НПФа имеют лицензию на обязательное пенсионное обеспечение (ОПС), то есть управлять пенсионными накоплениями в пределах обязательных 6%. Примерно 20 млн человек выбрали именно опцию НПФ по состоянию на 2012 год. НПФ обеспечивают управление пенсионными накоплениями почти в 820 млрд рублей, что также довольно много.

Посмотрим, что это за фонды на интерактивной визуализации.

Основные показатели деятельности НПФ

Learn About Tableau

По умолчанию выбран показатель “Пенсионные накопления - тыс. рублей, балансовая стоимость”, чтобы посмотреть крупнейших компаний по объемам средств, которые им переданы в рамках обязательного пенсионного обеспечения. Но можно выбрать и другие показатели - количество клиентов и прочее.
Основная цель этой визуализации - просто показать какие НПФ представлены на рынке. Несмотря на, что НПФов много, больше половины - это непонятные мелкие фонды, в основном, связанные с отдельными работодателями. Крупных фондов, которые могут имеют устойчивые бизнес-модели не более 20-30 штук. На них и стоит ориентироваться. Не стоит связываться с фондами объем пенсионных накоплений меньше 1-2 млрд рублей. Не очень понятно, каким образом они могут поддерживать свои операционные расходы с таким портфелем. Более того, в последние годы рынок НПФов быстро рос и они не смогли воспользоваться этими возможностями. Это, видимо, также говорит о деловых качествах управляющих фонда.

На этой визуализации можно посмотреть динамику показателей приглянувшихся фондов. Видно очень хорошо, что динамика клиентов и пенсионных накоплений начала сильно расти только в последние несколько лет.

Динамика показателей отдельного НПФ

Learn About Tableau

Примечание: если выбрать кнопку с маленькой лупой (поиск), то можно найти НПФ по части его названия. Так удобнее, чем скроллить весь список.

Текущим лидерам рынка в части ОПС является НПФ Лукойл-Гарант. Кстати, не стоит буквально воспринимать название фонда и его собственников. К примеру, логично предположить, что НПФ Лукойл-Гарант связан с нефтяной компанией Лукойл. Однако фактический владелец этого фонда сменилсяв конце прошлого года и сейчас его контролирует ФК Открытие, уже не имеющая отношения к нефтяной компании. Другой пример - НПФ Ренессанс Жизнь и Пенсии, похоже, уже не имеет отношения к одноименной финансовой группе и, как пишет Ъ, “возможно, будет использоваться для финансирования собственных девелопеских проектов” (!)
Поэтому если вы рассматриваете один из НПФ имеет смысл погуглить новости по нему в деловой прессе, чтобы понять с кем он фактически связан. И в принципе, вы всегда можете сменить НПФ (сейчас это можно делать хоть каждый год) - не забывайте об этом.
Нынешние НПФы по своей организационно-правовой форме некоммерческие организации. Формально они не имеют собственников, только учредителей. По факту НПФ контролируется Советом Фонда - некими физическими лицами, которые связаны с той или иной компанией. В результате, это сильно снижает прозрачность и открытость рынка, так как часто невозможно четко определить, “чей” это фонд. Сейчас обсуждается возможность преобразования НПФов в “нормальные” акционерные общества с тем, чтобы не создавать дополнительную неопределенность. Однако, наверно, не имеет смысла связываться с НПФом, которые напрямую аффилированы лишь с одной крупней нефинансовой компанией. Юридически этот владелец НПФ не несет никаких обязательств по пенсионным накоплениям, в то же время он вполне может использовать пенсионные накопления для “финансирования собственных девелоперских проектов” (или каких иных). Судя по тому, как обстоят дела сейчас с регулированием отрасли, регуляторы узнают об этом, когда будет уже поздно. Крупнейшие убытки НПФов были связаны как раз с подобными вещами (к примеру, вот историяХанты-Манскийского НПФ).

Прошлая доходность НПФ

Как я уже говорил, главной целью и основным критерием для пенсионного фонда как и другого финансового института является доходность инвестирования. И в случае НПФ, к сожалению, с достигнутой доходностью все не очень понятно.
Во первых, родные регуляторы (раньше это был ФСФР, сейчас - ЦБ) не предоставляют информации о доходности , зачисленной на счет клиента НПФ. То есть каждому клиенту эта доходность сообщается, но так, чтобы регулятор в одном месте предоставлял информацию по всем фондам - такого нет (!). Информация ФСФР о финансовых результатах не сравнима с начисленной доходностью для клиентов. Насколько я понял, это происходит из-за 2008 года. По итогам 2008 года все НПФ понесли убытки и по идее имели отрицательную доходность. Но закон запрещает указывать отрицательную доходность, поэтому фактически фонды “размазывали” (и возможно, продолжают размазывать) эти убытки в последующие доходы с одобрения регуляторов. Корректно реконструировать “правильную” доходность в принципе невозможно. Побочным следствием, видимо, стало то, что у НПФ, которые работали в 2008 году, при прочих равных доходность будет ниже чем у тех, кто начал работу после 2008 года.

Сами НПФы не имеют каких-либо единых требований, в каком виде и как они предоставляют публично эту информацию. В результате, получается, “кто - в лес, кто - по дрова”. Кто-то честно рассказывает о начисленной доходности по всем годам существования НПФ. Так это делает, к примеру, НПФ Газфонд. Большинство фондов говорят о накопленной доходности за какой-либо период времени. Причем периоды времени отличаются между фондами. Некоторые фонды дают накопленную доходность только от времени начала работы фонда, а не годовые показатели. Как мне подсказали, осведомленные источники, фонды иногда указывают “грязную” доходность на сайте, а не чистую, начисленную клиентам доходность, и так далее. Ну и я готов сказать отдельное спасибо, если кто-то найдет доходность, начисленную клиентам НПФ Транснефть (почти 50 тыс человек являются клиентам этого НПФ по ОПС!).
Поэтому доходность НПФом пришлось собирать вручную - по сайтам самих фондов и других источников (pensiamarket.ru). Спасибо еще недавно опубликованному обзору компании “Пенсионные и Актуарные Консультации”- частично информация по НПФ взята оттуда (в этом обзоре кстати, еще много других показателей, в частности, по структуре инвестиционных портфелей НПФ, поэтому имеет смысл ознакомиться с этим обзором).

Посмотрим же на с трудом собранные данные по доходности. По моим расчетам средневзвешенная (по объемам пенсионных накоплений) доходность по всем НПФам, по которым есть данные, составила 7,4% в 2012 году. В среднем, за период с 2009 по 2012 год - 9,1%.

Так же, как и по таблице УК, мы рассматриваем ежегодную доходность и накопленную доходность. Аналогичным образом показатель накопленной доходности за 2009 года обозначает накопленную доходность в период с 2009 по 2012 год.

Показатели начисленной клиентам доходности НПФ, 2005-2012

Learn About Tableau

Таблица показывает, что в 2012, к примеру, максимальную доходность в 10% показал НПФ Адекта-пенсия. Правда это только первый год имеющихся результатов, поэтому сложно делать выводы по этому НПФ. В целом, видно, что разброс показателей доходности НПФ гораздо менее выражен, чем у УК. Особенно сильно это видно по показателям последних трех лет.

Распределение доходностей НПФ по годам, 2005-2012

Также имейте в виду, что для всех управляющих имеет значение размер управляемых активов. Как правило, легче добиваться б о льшей доходности относительно небольшими средствами. Чем больше активов находится в управлении, тем сложнее добиваться высокой доходности. Даже крупные НПФы сильно увеличили объем пенсионных накоплений только за последние 2-3 года. Поэтому большие доходности ранних лет, когда накоплений было мало, не вполне характеризуют способности к управлению.

Что же все-таки делать?

Ок, скажете вы. Все это конечно очень интересно, но кого выбрать - куда нести свои деньги?

Сначала приведу сравнительную таблицу, которая обобщает в емком виде сказанное и представленные выше.

Краткое сравнение альтернатив пенсионных накоплений
| Критерий | ВЭБ (ГУК) | УК | НПФ
—|—|—|—
Управление пенсионным счетом | ПФР | ПФР | НПФ
Инвестиционная стратегия | Консервативная | Наиболее рискованная | Зависит от НПФ. Скорее всего, менее рискованная чем УК
Доходность в 2012 году, % (средневзвешенная по объемам активов) | 8.4 | 7.4 | 7.2
Среднегодовая доходность за 2009-2012 гг. | 7.1 | 12.0% (Однако если включить 2008 год, то средняя доходность падает до 2.8%!) | 9.1
Получение отрицательной доходности за период (год) | Возможно, на маловероятно | Возможно | НПФ не имеют права начислять отрицательную доходность, но по факту могут нести скрытые убытки.
Комиссия/расходы | Низкие. Около 0.1% от СЧА | Зависят от полученный доходности. Предельный размер не может превышать 1,1% от СЧА (ст. 16 п.5 ФЗ 111)+ 10% от инвестиционного дохода. Средняя комиссия за 2009-2012 гг. составила 1,6% | Не более 15% от инвестиционного дохода + расходы УК. По имеющейся отчетности сложно оценить суммарные фактические расходы НПФ
Популярность среди клиентов | Высокая (56,6 млн клиентов) | Низкая (500 тыс. клиентов) | Высокая (20 млн клиентов)
Открытость | Средняя (информация по отдельным бумагам в портфеле не предоставляется) | Средняя (информация по отдельным бумагам в портфеле не предоставляется) | В целом, низкая. У НПФ нет обязательств раскрывать публично начисленную клиентам доходность (!!!). Расходы по ОПС зависят от учетной политики фондов и их сложно оценить. Кто, контролирует тот или иной НПФ, также не всегда понятно.
Периодичность отчетности по доходности | Ежеквартально | Ежеквартально | Ежегодно

Ежегодно

Мне кажется, что выбор процесс принятия решения может быть таким. Если вы не хотите связываться с частными компаниями, но хотите сохранить отчисления в 6% - оставайтесь в расширенном портфеле ВЭБа. Если вы не хотите доверять управление пенсионным счетом кому-либо кроме ПФР И готовы при этом взять на себя дополнительные риски (в том числе и начисления отрицательной доходности) - изучайте опцию УК. Наверно, для всех остальных лучше смотреть на НПФ. Различия в их доходностях относительно небольшие, поэтому выбор конкретного НПФ менее важен, чем в случае УК. Ну и в данном случае больше внимание стоит уделить надежности и структуре собственности фонда - информационная открытость отрасли явно страдает. Хотя я, честно говоря, считаю, что новый регулятор - ЦБ - сможет за несколько лет навести порядок в этом отношении.

Теперь небольшой шорт-лист кандидатов, которые кажутся достойными рассмотрения и изучения:

ВЭБ: Расширенный портфель (по умолчанию).
УК: ВТБ Капитал Управление Активами, УК Лидер, Солид Менеджмент, УК МДМ
НПФ: либо крупняк (Лукойкл-Гарант, Сбербанк, Газфонд), либо лидеры по доходности последних лет (Европейский пенсионный фонд, РГС), не связанные с нефинансовыми компаниями-учредителями.

Вы определились с вашим кандидатом. Что дальше? Все очень просто - надо сходить либо в территориальное отделение ПФР (вот адреса по Москве) и написать простое одностраничное заявление. Возможно, выбранный НПФ имеет соглашение ПФР о взаимном удостоверении подписей (проверить можно здесь). Тогда можно все решить в офисе НПФ, либо его агентов - подписать аналогичное заявление, и его передадут в ПФР. Практических проблем это не должно представлять. Если вы не уверены, что происходит с вашими накоплениями - проверить можно через gosuslugi.ru

Как построить график с двумя осями Y и другие хитрости построения графиков в Excel

Марсель Салихов — Sat, 10 Aug 2013 00:00:00 GMT

Некоторое время назад с удивлением обнаружил, что довольно много посетителей с поисковых систем попадают сюда с запросами типа “построить график с двумя осями y excel”. А там речь идет про R :)

Поэтому специально решил написать про то, как все же построить такой график именно в Excel, и заодно поделиться другими тонкостями, которые накопились за 10 лет работы с этой программой.

1. Как построить график с двумя осями Y в Excel?

По всей видимости, корни недоразумений кроются в том, что в разных версиях Excel это может происходить по разному. Поэтому пользователи, которые все еще переходят с Excel 2003 могут столкнуться с тем, что в новых версиях (2007 и позднее), известная методика не работает. На самом деле все просто - нужно сначала построить необходимый график с одной осью Y. А потом уже задать вторую ось, она называется “вспомогательная”.
К примеру, имеется такой набор данных (это объемы экспорта нефти из России):

Год	Объем экспорта сырой нефти, млн т	Средняя экспортная цена, $/баррель
2000	144.4	23.9
2001	164.5	20.8
2002	189.5	21.0
2003	228.0	23.8
2004	260.3	31.0
2005	252.5	45.2
2006	248.4	56.3
2007	258.6	64.3
2008	243.1	90.7
2009	247.5	55.6
2010	250.7	74.1
2011	244.5	101.7
2012	240.0	103.1

Логично построить график с двумя осями. Одна для - млн тонн, вторая - для цен.
Сначала строим просто график с линиями:

Щелкаем мышкой на нижний ряд. Появляется окно “Формат ряда данных”. Во вкладке параметры ряда выбираем “По вспомогательной оси” и получаем итоговый результат (с некоторыми дополнительными манипуляциями, о которых речь пойдет ниже).

2. Используйте собственные шаблоны графиков в Excel

Нет ничего страшнее экселевских графиков, которые создаются “по умолчанию”. Никогда их не используйте, если хотите, чтобы ваши результаты воспринимались серьезно. Честно. Вот, как к примеру, выглядит график по умолчанию с другим набором данных (это цены на нефть разных сортов).

Для рабочего использования - посмотреть на данные подойдет, но для использования в отчетах/презентациях - нет.

В Excel есть отличный инструмент отказаться от стандартных настроек построения графиков - собственные шаблоны. Пользоваться ими очень просто. Создайте типовой график - выставьте необходимые шрифты, цвета линий и заполнения, оформите оси и прочие параметры. Обратите внимание, что эти параметры не должны являться уникальными для этого конкретного графика, а подходить ко всему классу графиков подобного вида. Еще обратите внимание, что можно выставить типовые размеры для графика (к примеру 8 х 6 см). Потом идете в меню Конструктор - Сохранить как шаблон. Появляется новое окно “Сохранение шаблона диаграмма”.

И сохраняете свой шаблон в формате .crtx Как видно по рисунку, у меня сохранено около 10 шаблонов - на разные варианты оформления, тип графиков и используемую цветовую палитру.
Теперь, чтобы создать график на новых данных с тем же оформлением необходимо сделать лишь одно дополнительное движение: Вставка - маленькая стрелка в нижем правом углу меню диалогового меню “Диаграммы”. Появляется окно “Вставка диаграммы”, которое выглядит вот так:

Самая верхняя вкладка - “Шаблоны” - показывает как раз сохраненные вами шаблоны. Выбираете нужный и строите график. Обратите внимание на нижнюю кнопку “Управлением шаблонами”. Если нажать на нее откроется новое окно Проводника с папкой, содержащей сохраненные шаблоны в виде отдельных файлов. Вы можете их скопировать, чтобы потом вставить в аналогичную папку на другом компьютере (к примеру, ноутбук/домашний компьютер или поделиться с коллегами с тем, чтобы вы использовали идентичные шаблоны). Тогда на всех ваших компьютерах будут предлагаться одинаковые к использованию шаблоны графиков. Вуаля!

3. Используйте нестандартные палитры цветов.

Стандартная палитра цветов, которая используется в Excel по умолчанию всем хорошо известна и порядком надоела. Создайте свою палитру (или несколько палитр - для разных типов данных) или позаимствуйте. Если в вашей компании существует корпоративная палитра цветов, вы можете внести ее коды RGB и удобно использовать ее для построения графиков. Вам не придется каждый раз менять цвета для каждого отдельного графика.
Заходим в раздел “Другие цвета” - вкладки “Цвет линии” (или другой аналогичной вкладки), забиваем свои коды по RGB или HSL, сохраняем как шаблон.

Вот еще один полезный бесплатный ресурс, с помощью которого можно “позаимствовать” палитры цветов. Изначально эти палитры создавались для карт, но ничто не мешает их использовать и для обычных графиков.

Еще один рецепт - если вы увидели понравившуюся вам палитру цветов в Сети, вы легко можете посмотреть точные коды цветов, которые в ней используются. Для этого подойдет специальная надстройка для браузера. Я пользуюсьEye Dropper для Chrome.

4. Обязательно убирайте лишние знаки после запятой

При создании графика Excel часто оставляет лишние знаки после запятой (к примеру, повторяющиеся нули). Эти знаки не несут никакой смысловой нагрузки и только “засоряют” пространство графика лишней информацией.

Поэтому в обязательном порядке убирайте лишние знаки после запятой. Делается это очень просто. Заходите в “Формат оси” - вкладка “Число”. Выбираете нужный числовой формат и правильно число десятичных знаков (в данном случае это 0). Это относится и к единицам измерениям - переводите тонны в миллионы тонн, если у вас шестизначные цифры. В той же вкладке “Формат оси” - “Параметры оси”, если удобная опция “Цена деления”. Можно изменить размерность единицы измерения, не меняя исходные данные на рабочем листе.

5. Корректируйте максимальное/минимальное значение по оси при необходимости

Excel пытается по умолчанию автоматически определить оптимальное максимальное и минимальное значение по оси. Часто у него получается вполне нормально, но иногда он ошибается. Если такое произошло, скорректируйте эти значения вручную.
К примеру, для графика с ценами на нефть имеет смысл увеличить минимальное значение. Excel всегда начинает его от 0 в подобных случаях. В данном случае из-за этого появляется пустое пространство и изменения цен становятся мало различимыми.

Формат оси - вкладка “Параметры оси” - меняем минимальное значение с “авто” на фиксированное = 60.

Изменения стали более выраженными. Хотя верхние три линии все равно сильно сливаются, возможно, надо уменьшить толщину линий или убрать одну из них.

6. Не засоряйте ось X на временных рядах

В экономике и финансах один из наиболее часто встречающихся типов графиков - временные ряды. По оси Х - время, по оси Y - какое-то значение. Можно по разному представлять ось времени, выбирайте то представление, которое наилучшим образом отражает ваши цели.
К примеру, можно нарисовать вот вот так:

или так (для подобной двойной оси, нужно выбрать две строки/столбца в качестве подписи по горизонтальной оси).

7. Вставляйте графики Excel в векторном виде в Word/Powerpoint

Зачастую графики Excel создаются для того, чтобы использовать их в других программах - документах Word, либо презентациях PowerPoint. В большинстве случаев наиболее оптимальный вариант вставки - векторный формат emf или wmf.

По умолчанию графики вставляются как объекты Office (первая строка в окне наверху). Это приводит к тому, что их можно бы потом редактировать в Word или Powerpoint. Но в результате, увеличиваются размеры файлов (при больших файлах Excel), а также то, что весь ваш рабочий лист становится виден читателям Word/Powerpoint (возможно, это не тот результат, который вы желаете получить). Если использовать вставку в растровом формате (gif/png/jpeg), сильно ухудшается качество графики. Это особенно заметно при печати на бумаге - графики становятся “смазанными”. Поэтому удобным является формат EMF/WMF. Он векторный, поэтому качество графики не уменьшается при изменении масштабов, а файлы занимают не очень много места. Единственная проблема в том, что его поддерживают в основном только программное обеспечение Microsoft. К сожалению, даже новейший MS Office 2013 не поддерживает альтернативные векторные форматы - тот же SVG.

8. Подгоняйте правильные размеры графиков в Excel

Удобство иногда идет не на пользу. После вставки в Word размеры графиков можно поменять с помощью мыши. Вроде бы удобно, но в результате могут получиться вот такие вот графики:

Смотрятся они некрасиво. Поэтому лучше выставить “правильные” размеры графиков непосредственно в Excel. К примеру, в Word вы можете точно оценить необходимую ширину графика (с учетом всех отступов) и задать эту ширину сразу в Excel. При вставке в Word график будет точно подогнан по ширине.

Вот и все, что я вспомнил. В Excel можно делать очень многое, в том числе и с точки зрения графических возможностей. Ограничения стандартных представлений можно расширить с помощью собственных макросов VBA или отдельных хаков. К примеру, вот хак как строить waterfall charts в Excel.
Но имейте в виду следующее. Если вы уже достигли хорошего уровня в Excel - не имеет смысл на нем зацикливаться. Есть и другие пути. Графические возможности того же R на порядок выше того, что может дать Excel, и, как правило, требуют меньше мороки.

Про пенсионную реформу и пенсионные накопления. Что делать?

Марсель Салихов — Thu, 08 Aug 2013 00:00:00 GMT

Update. Вторая часть про выбор НПФ/УК - здесь

Многие слышали про то, что то с пенсионной системой происходят какие-то изменения. Некоторые, наверняка, слышали пенсионный калькуляторМинтруда. Кое-кто, возможно, даже попробовал с ним поиграться вбить свои параметры своей зарплаты и возраста – и огорчиться или обрадоваться полученным результатам. В отличие от прошлых пенсионных реформ - 2002 и 2010 годов, которые проходили где-то «там», далеко, и не требовали от нас никаких сознательных действий, сейчас – не так. Необходимо сделать осознанный выбор и, возможно, предпринять некоторые действия.

Это статья – попытка разобраться самому (и рассказать интересующимся) о том, что происходит с пенсионной системой сейчас и какие действия мне кажется разумным предпринять. Я, разумеется, никому не навязываю своего мнения, не даю никаких инвестиционных рекомендаций и могу просто ошибаться. Для простоты я также буду описывать пенсионные параметры для тех, кто младше 1967 г.р. (то есть, кто младше 46 лет) и соответственно участвует в обязательной системе пенсионных накоплений.
**
**

Про социальные взносы и суть пенсионной системы

Сначала некоторый простой ликбез и размышления о том, как и за счет чего формируется пенсия вообще и как осуществляются социальные отчисления в рамках действующей в России системы. Даже у людей моего возраста достаточно смутные представления о том, что такое нынешняя пенсионная система и как она работает. В общем смысле, пенсия – это отложенные сбережения на тот период, когда человек становится нетрудоспособным по тем или иным причинам (возраст, нетрудоспособность или просто нежелание работать). Поэтому пенсия - это не только то, что можно ожидать от государства. Покупка дополнительной недвижимости, к примеру, в расчете на последующую сдачу ее в аренду и получение дохода от этого – тоже возможная форма пенсионного обеспечения.

Общая цель состоит в том, чтобы сделать сбережения в «тучные» годы, чтобы использовать их когда возникнет необходимость. Государство может вообще не устанавливать обязательной пенсионной системы и тогда забота каждого отдельного человека – обеспечить свое существование на старости. Можно покупать недвижимость, копить деньги на депозите или рассчитывать на поддержку детей – дело личное. Но почти всегда государства устанавливают обязательную пенсионную систему, которая заставляет делать такие сбережения и гарантирует получение хотя бы минимальной пенсии - зачастую люди не делают или не могут самостоятельно сделать необходимых накоплений.

В России тоже действует обязательная пенсионная система, которая состоит из двух частей – работников, осуществляющих социальные взносы со своей заработной платы (точнее говоря, это делают работодатели за своих работников) и пенсионеров, получающих пенсии.

Любой работодатель, работающий «по белому», обязан совершать осуществлять социальные отчисления на своих работников. Общая ставка отчислений составляет (по состоянию на 2013 год) 30% в пределах первых 568 тыс. рублей в год и 10% – свыше этой суммы. То есть, если работник получает меньше 568/12 = 47,33 тыс. рублей/месяц, то социальные отчисления составляют 30%. Если больше этой суммы, тогда происходит деление на первые 568 тыс. и то, что свыше этой суммы.

Куда идут эти 30%? Как видно из таблицы – это три государственных внебюджетных фонда. В данном случае нас интересуют только часть, связанная с Пенсионным фондом Российской Федерации (ПФР).

База для начисления страховых взносов	Тариф страхового взноса, процентов	Итого
Пенсионный фонд	Фонд социального страхования	Федеральный фонд обязательного медицинского страхования
В пределах 568 000 рублей в год	22	2.9
Свыше 568 000 рублей в год	10	0

Чтобы нагляднее понять регрессивный характер социальных отчислений, посмотрим на простую диаграмму, которая показывает связь заработной платы и отчислений в ПРФ, которые осуществляет работодатель.

К примеру, при средней заработной плате в 100 тыс. рублей ежемесячно (1,2 млн рублей/год), работодатель перечислит в ПРФ за целый год 188.2 тыс. (125 = 568 * 22%, 63.2 = (1200-568)*10%). В данном случае имеется в виду «грязная» заработная плата, то есть включающая НДФЛ в размере 13%. Регрессивный характер отчислений приводит к тому, что максимальная возможная пенсия в принципе ограничена “верхней” планкой социальных взносов ( подробнее об этом - ниже).

Возникает следующий логичный вопрос. Куда идут те 22%, отчисляемые в ПФР?

22% делятся на три части – солидарная, страховая и накопительная. Все равно звучит не очень понятно? По простому смысл этого разделения такой:

Солидарная часть (6%) – это часть, которая напрямую идет на выплаты нынешним пенсионерам. Считается, что выплата солидарной части взносов обеспечивает получение базовой части пенсии в будущем.
Страховая часть(10%) – так же идет на текущие выплаты ПФР пенсионерам, но от нее зависит размер собственной пенсии в будущем. Действующая сейчас пенсионная система «гарантирует» выплату страховой части взносов будущему пенсионеру с учетом индексации.
_ __Накопительная часть_(6%) – это та часть, которая учитывается на личном пенсионном счете человека и о состоянии которого ежегодно приходят «письма счастья». По достижении пенсионного возраста накопленная сумма выплачивается пенсионеру в составе его пенсии.

О тех 10%, которые платятся свыше 568 тыс. рублей, можно не беспокоиться. Эти средства идут в солидарную часть, то есть на текущие выплаты пенсионерам и по сути представляют форму налогообложения высоких доходов. На будущую пенсию они не влияют.

Как определяется пенсия сейчас?

Три части социальных взносов определяют три части будущей пенсии:

Пенсия = Б + СЧ (страховая часть) + НЧ (накопительная часть).

Б. Солидарная часть обеспечивает базовую часть пенсии, который с 01.04.2013 составляет 3610 рублей 31 копейка в месяц (именно так, 31 копейка!). По сути, это минимальный размер пенсии, который не зависит ни от стажа, ни от размеров социальных взносов. Он гарантирован любому пенсионеру.
СЧ = ПК/Т , где ПК – это сумма учтенного расчетного пенсионного капитала. Т – предполагаемое время выплаты пенсий (в 2013 году – 228 месяцев или 19 лет). ПК = ПK1 + СВ + ПК2, где ПК1 – расчетный капитал на стаж до 2002 года, ПК2 – сумма страховых частей социальных отчислений после 2002 года, СВ – сумма валоризации (дополнительная оценка стажа до 1991 года). Понятно, что для людей моего возраста имеет значение только компонента ПК2. ПК индексируется до выхода на пенсию – сейчас индексация происходит на темпы роста заработной платы в стране с учетом на рост собственных доходов ПФР.
НЧ = ПН/Т. ПН – сумма пенсионных накоплений, учтенная на индивидуальном счете, Т – те же 228 месяцев, как и в страховой части. По умолчанию (средства «молчунов») пенсионные накоплению управляются ВЭБом, будущий пенсионер может перевести свои средства в негосударственный пенсионной фонд (НПФ) или поручить управление ими управляющей компании (УК).

Как это не может показаться странным, но нынешняя пенсионная система достаточно щедра. Она гарантирует выплату базовой части пенсии и возвращение будущему пенсионеру страховой и накопительной части его социальных взносов.
Однако ограничение «сверху» на размер социальных взносов приводит к тому, что максимальный размер пенсии в принципе ограничивается определенной суммой. Простой расчет показывает, что в рамках действующей системы невозможно получить пенсию (без учета различных льгот и надбавок), превышающую 20 тыс. руб/месяц в текущих ценах (при 40 годах отчислений по максимальной текущей планке).

Другая форма щедрости – сейчас для получения трудовой пенсии по старости достаточно лишь 5 лет трудового стража. В определенной степени это приводит к несправедливости – размер пенсии между человеком с 40 летним и 5 летним стажем может отличаться не слишком сильно, при этом в среднем они будут получать пенсию в течение 19 лет.

Новая пенсионная реформа – уже третья по счету (2002, 2010 и 2013) – призвана уменьшить эти «щедроты» и создать стимулы для работников с тем, чтобы они осуществляли отчисления и продолжали работать и после достижения ими пенсионного возраста, если есть такая возможность.

Что изменится в пенсионной системе?

Основных изменений два:

Вводится система пенсионных коэффициентов с 2015 года (это еще не утверждено, а существует в форме законопроектов)
Изменяется соотношение между страховой и накопительной частью «по умолчанию» с 2014 года (а это уже точно утверждено!).

Рассмотрим предлагаемую систему пенсионных коэффициентов. Нынешняя система гарантирует возвращению пенсионеру его страховых взносов (с учетом индексации), и это является обязательством для государства. Система пенсионных коэффициентов де факто обеспечит «гибкость» с точки зрения обязательств для государства – гарантируется не выплата конкретных рублей страховых взносов, а зависимость будущей пенсии от некоторых условных коэффициентов. Стоимость коэффициента будет меняться ежегодно и очевидным образом будет зависеть от финансового положения ПФР и устойчивости госбюджета. В нынешнем законопроекта (ФЗ “О страховых пенсиях”) не прописан точный порядок расчета этого коэффициента!
Сергей Журавлев весьма метко, на мой взгляд, сравнил систему пенсионных коэффициентов с системой трудодней в советских колхозах. С точки зрения государства появляется возможность изменять сумму своих обязательств при необходимости. С точки зрения будущего пенсионера – появляется неопределенность относительно того, какая же все-таки будет пенсия через …дцать лет в рублях. По этим причинам не стоит воспринимать буквально те цифры, которые вы видите в пенсионном калькуляторе Минтруда – они отражают не обязательства государственной пенсионной системы выплатить вам как будущему пенсионеру пенсию в размере X рублей, а некоторый возможный (скорее сильно оптимистичный вариант) развития событий.

Теперь про соотношение между пенсионной и страховой частью пенсии. Как видно по диаграмме ниже, со следующего года предлагается изменить структуру распределения тех самых 22% и предоставить возможность индивидуального выбора.

2% накопительной части. Если гражданин был «молчуном», то есть не предпринимал никаких шагов по управлению своими пенсионными накоплениями и не предпримет никаких шагов до конца 2013 года (обсуждается продление до конца 2014 года), то его распределение автоматически изменится в пользу страховой части. Общая ставка (22%) не поменяется, но страховая часть вырастет с 10% до 14%, а накопительная часть уменьшится соответственно с 6% до 2%. То есть перераспределение коснется 4%, которые находятся в пределах 568 тыс. рублей, или 22 720 рублей ежегодно. Еще раз, если непонятно: государство переводит 22,7 тыс. рублей в год (эта сумма будет расти по мере пересмотра максимальной планки отчислений) с вашего индивидуального счета в общий пенсионный “котел”.
6% накопительной части. Если гражданин уже перевел свои накопления в один из НПФов (или УК) или напишет подобное заявление до конца 2013 года, то все сохраняется в структуре 2013 года. Есть опция написать заявление на 6% и сохранить свои средства в ВЭБе, если не хочется связываться с частными управляющими.

**

2% (0%) или 6%?

Встает вопрос – что лучше в данной ситуации – сохранить накопительную часть в пределах 6% или снизить ее до 2% за счет увеличения страховой части? Апдейт. Сейчас речь идет не о 2%, а 0% - в сентябре Правительство решилоотменить вообще накопительную часть пенсии для “молчунов”. Это только “усугубляет” итоговые выводы о вере в государственные щедроты.

На мой взгляд, этот выбор сводится к вопросу о вере в государство и его способность поддерживать пенсионную «щедрость», которая наблюдалась в последние годы. С 2002 года средняя пенсия повысилась примерно в 8 раз “в номинале”, что соответствует росту средней заработной платы. Цены выросли за тот же период только в 3 раза. Страховая часть пенсии индексировалась медленнее ( примерно в 5 раз по моим расчтеам), но все равно сильно быстрее, чем накопленная инфляция или доходность пенсионных накоплений в ВЭБе (и видимо, доходностей НПФ). Поэтому если просто экстраполировать тенденции последних 10 лет, надо оставаться с государством. Но насколько разумна такая экстраполяция?

Условно говоря, государство говорит нам: «Давайте сейчас платите сейчас больше в страховую часть, и я – государство – обещаю, что когда вы выйдете на пенсию, ваша пенсия будет больше. Мы сможем повышать пенсии быстрее, чем та доходность, которую смогут обеспечить управляющие вашими пенсионными накоплениями». Если вы верите в это, тогда можно смело выбирать пониженные 2% отчисления на накопительную часть и особо ни о чем не думать.

Меня же смущает несколько моментов. Во первых, вводимая система пенсионных коэффициентов, которая по факту позволит государству снизить объем своих обязательств перед будущими пенсионерами, если возникнет такая необходимость. В рамках действующей сейчас пенсионной системы гарантируется выплата страховой части социальных взносов, а не абстрактных пенсионных коэффициентов.

Во вторых, существует объективные сомнения в том, что государственная пенсионная система способна поддерживать те же темпы повышения пенсий, какие наблюдались в последние 10 лет.

Как видно, по бюджету ПФР текущие поступления от социальных взносов (“собственные поступления”) обеспечивают лишь половину расходов (выплат пенсий нынешним пенсионерам). Остальное покрывается за счет федерального бюджета. Повышение размеров социальных отчислений позволило увеличить собственные доходы ПФР, но все равно существует большой дисбаланс между текущими поступлениями и выплатами. Возможности федерального бюджета также небезграничны - в 2013 году около 23% государственных расходов пришлось на трансфер в ПФР. А ведь еще есть еще армия, чиновники, Сочи и другие важные задачи.

Другая проблема - демография. В ближайшее десятилетие численность трудоспособного населения будет снижаться, а количество пенсионеров - быстро расти. Это практически неизбежный сценарий, на который невозможно повлиять. Следствием этого станет увеличение нагрузки на пенсионную систему. Даже без опережающей индексации пенсий, нагрузка на пенсионную систему будет увеличиваться, так как абсолютная численность пенсионеров будет расти.

Еще один аспект - как принималось решение об изменении структуры отчислений. Изначально концепция Минтруда/ПФР предполагала полную отмену накопительную часть пенсии. Лишь под давлением отрасли негосударственных фондов, явно не заинтересованной в таком исходе, и экономических ведомств, удалось найти вот такой вот странный компромисс. Вроде бы всем сестрами по серьгам. Доверия такой процесс принятия решений не прибавляет.

Поэтому, на мой взгляд, целесообразно “не класть все яица в одну корзину” - в государственную страховую часть с неясным порядком индексации, а иметь еще и накопительную компоненту. Конечно, есть ненулевая вероятность, что через 20-30 лет цены на нефть достигнут $1000 за “бочку”. Тогда и вышеупомянутая демография, и финансовые трудности ПФР не будут иметь никакого значения. Но думаю, что в рамках такого сценария золотой дождь прольется на всех, независимо от текущего выбора - 2% или 6% (доходность инвестиций в этом сценарии так же будет явно выше уровня инфляции). С другой стороны, если ~~наступит ж..~~ придет беда, то ничто не помешает родному государству экспроприировать пенсионные накопления, будь они хоть в НПФе по 6%, хоть в ВЭБе по 2%. Свежий опыт Аргентины может послужить хорошим примером - не стоит обольщаться.

Другой момент, о котором не хочется говорить, но все же не стоит забывать. Накопления, которые учитываются на личном счете, в случае смерти человека до достижения им пенсионного возраста, переходят к его правопреемникам по наследству. В случае, страховой части пенсии этого, конечно, не происходит. Они просто пропадают.

По этим причинам я лично выберу накопительную часть в пределах 6%. Следующий вопрос: кому можно передать право управления этими 6%. Это выбор из трех групп: 1) оставаться в ВЭБе 2) выбрать УК 3) выбрать НПФ. Я напишу об этом подробнее - в следующей статье. update - вторая статья написана и доступназдесь.

И другой вывод, который следует из всего этого. В любом случае не стоит рассчитывать на щедрую пенсию от государства. Спасение утопающих - дело рук самих утопающих. Поэтому заниматься накоплениями и инвестициями в свое пенсионное будущее - стоит уже сейчас.

Резюме

Если вам лень, все это читать, вот простое дерево, которое позволит сформулировать свое решение :) или по крайней мере изучить подробнее имеющиеся альтернативы.

Результаты голосования в Думе о реформе РАН - первое и второе чтения

Марсель Салихов — Sun, 14 Jul 2013 00:00:00 GMT

update. результаты по все чтениям доступныздесь

Все уже слышали про реформу РАН, проталкиваемую в ГД. В лучших традициях российского законодательного процесса все происходит просто с космическими скоростями. До летних каникул Думы законопроектуже прошел два чтения. Напомню, что именно второе чтение является ключевым для законопроекта, а не третье, как можно было бы предположить.
В прессе много об этом писалось и, разумеется, было много противников реформы в предложенным правительством формате. Посмотрим же на фактические результаты голосований в Думе по первому и второму чтению.

О Российской академии наук, реорганизации государственных академий наук и внесении изменений в отдельные законодательные акты Российской Федерации (в части уточнения правового положения, полномочий и функций Российской академии наук, реорганизации государственных академий наук)

Как видно, первое чтение (3 июля) было принято большинством всего лишь в 234 голоса (при необходимом минимуме в 226 голосов). “За” проголосовала почти вся Единая Россия(два ренегата - это депутаты Романов и Говорухин). “Против” были весь состав КПРФ и почти вся СР (ренегаты “за”- депутаты Харлов и Митрофанов). ЛДПР дружно не голосовала.
Ко второму чтению, которое состоялось уже (!) через два дня (5 июля) уровень поддержки заметно вырос: ЛДПР и Справедливая Россия теперь полным составом голосуют “за”. КПРФ вместо “против” не голосует (академик Жорес Алферов кстати тоже не голосовал, а не выступил “против” во втором чтении). Это к вопросу о принципиальности народных избранников.

Ко второму чтению законопроект правда претерпел некоторые изменения. Я детально не углублялся в эту тему, но насколько я понял, внесены правки непринципиального характера, чтобы “задобрить” академиков. К примеру, статус членов-корреспондентов оставляют еще на три года. Изначально речь шла о том, чтобы объединить членкоров и просто “академиков”. Понятно, что обычным академикам не хочется объединяться с младшими академиками (это примерно как кандидатов и докторов наук объединили бы в докторов). Но разумеется, к реформе собственно говоря, РАН это не имеет ровно никакого отношения. Речь идет исключительно о частных интересах нескольких сотен человек, которым сначала показали кнут, а потом дали маленький пряник.

Вот пофамильные результаты - найдите своего любимого депутата!

Результаты голосования Думы по ‘анти-пиратскому закону’ - первое чтение

Марсель Салихов — Sat, 15 Jun 2013 00:00:00 GMT

Вы, возможно, слышали о новой громкой инициативе народных избранников - так называемый “анти-пиратский закон”. Официальное название - “О внесении изменений в законодательные акты Российской Федерации по вопросам защиты интеллектуальных прав в информационно-телекоммуникационных сетях”.
Сейчас этот законопроект просто с космической скоростью движется в Государственной Думе. 6 июня три депутата ГД - оперная певица Максакова-Игенбергс М.П. (ЕР), режиссер Бортко В.В. (КПРФ), актриса Драпеко Е.Г. (СР) - официально представили законопроект. И уже 14 июня, то есть через 8 дней, законопроект прошел первое чтение. Я не буду касаться сути законопроекта, она отлично изложена в последней заметке Ъ.
Посмотрим на результаты голосования по партиям:

—
Добавьте подпись
Ниже можно посмотреть пофамильные результаты и найти своего любимого депутата.

Как видно, законопроект был принят 257 голосами “за” (237 от ЕР, 1 голос от КПРФ и 19 голосов от СР). Причем довольного много депутатов(189 человек всего) не голосовало. Я, честно говоря, до сих пор не очень понимаю эту логику. Кворум составляет 226 депутатов. Поэтому если ЕР голосует дисциплинированно (а так происходит почти всегда), то “не голосовать” смысла нет, кворум будет все равно. “Утопить” законопроект не-голосованием при текущем количественном соотношении депутатов невозможно.

Довольно странным мне показалось, что единственный голос в поддержку законопроекта от КПРФ принадлежит не режиссеру Бортко, который выступил инициатором (как можно было бы ожидать), а некоему депутату Ющенко А.А. Режиссер Бортко почему-то не стал голосовать за свой же законопроект (!). Депутат Драпеко вместе с еще 18 избранниками от СР проголосовала “за”. Три решительных голоса “против” - это депутаты Иванов С.В. (ЛДПР), Пономарев И.В. (СР) и Гудков Д.Г. (СР). Вообще с партийной дисциплиной у эсеров явно не складывается.

Судя по взятым темпам, принято решение принять законопроект до летних каникул. Сейчас наступает наиболее важный этап - второе чтение, на котором возможно, удастся будет придать ему хоть более или менее разумное представление. Досудебное блокирование целых доменов - это явно что-то из области маразма. И напоследок следующая цитата из пояснительной записки к законопроекту: “Важнейшей новеллой ГПК РФ является введение института предварительных обеспечительных мер защиты интеллектуальных прав в информационно-телекоммуникационных сетях, в том числе в сети «Интернет» (Статья 144’ГПК РФ).” Новеллой!

Расписание подмосковных электричек на диаграмме Маре (Marey’s Trains) c помощью d3.js

Марсель Салихов — Thu, 13 Jun 2013 00:00:00 GMT

Начнем сразу с итогового результата, который выглядит вот так:
Для удобства лучше открытьего в полном окне.

Как читать эту диаграмму (если не очень понятно):

по оси X - время (в данном случае - с 4.30 утра до 12.00). по оси Y - идут станции Ленинградского направления (от Москвы Ленинградской до Твери). Расстояние между названиями по оси соответствует реальному расстоянию между станциями в километрах. Поэтому некоторые станции почти “налезают” друг на друга ‑ расстояние между ними совсем небольшое (по крайней мере, по тем данным, которые у меня есть).
каждая линия представляет собой поезд, каждая точка на линии - станцию.
по умолчанию выбраны оба направления, но можно выбрать отдельно - “в Москву”/“в область”.
при наведении мышкой на станцию появляется маленькое окошко, которое показывает название станции и время прибытия.
чем круче линия, тем быстрее идет данный поезд.
Цветом обозначены типы электричек: черный - ежедневно, рыжий - по выходным, фиолетовый - выходные /кроме субботы/кроме воскресенья, красный - электричка отменилась.
Информация по расписанию взята с tutu.ru и соответствует 13 июня 2013 года, со всеми изменениями в расписании.

Немного об истории вопроса

Такое представление расписания поездов первым представил в своей книге 1885 года (128 лет назад!) La m éthode graphique французский ученый Этьен-Жюль Маре. Таким образом в книге было изображено расписание поездов между Парижем и Лионом.

Тем, кто занимается графической визуализацией, это представление во многом известно благодаря культовой книге Эдварда Тафте (Edward Tafte) - “The Visual Display of Quantiative Information”. Именно диаграмма Маре вынесена на обложку книги, и Тафте по ходу несколько раз возвращается к этой диаграмме. Такое представление соответствует “принципам графического совершенства” (principles of graphical excellence) от Тафте - хорошая визуальная презентация данных является сочетанием сути вопроса, статистики и дизайна. Сложные идеи представлены ясно, точно и эффективно. Читатель получает максимальное количество идей в минимальный период времени и с минимальным количеством “чернила” на единицу пространства.

Разумеется, с помощью современных технологий подобной репрезентации можно придать интерактивность и дополнительное удобство представления.

К примеру, вот пример расписания пригородных поездов Сан-Франциско в стиле Маре, созданный дизайнером Nicholas Rougeux. Недавно я увидел аналогичный пример, созданный в d3 автором этой удивительной библиотеки (Mike Bostock) и решил сделать аналогичную визуализацию для наших данных в качестве урока по изучению d3, создания визуализации в стиле Тафте, а также потому, что мне кажется, что используемые представления расписания электричек как на самих станциях, так и в Интернете, можно значительно улучшить.

Исходные данные.
Разумеется, сначала необходимо получить исходные данные - расписание движения пригородных поездов в удобном для машинной обработки виде. Как ни удивительно, но официальный перевозчик - ОАО «Центральная пригородная пассажирская компания» - не предоставляет общественности подобной информацииии. Раздел “Он-лайн табло” на официальном сайте находится в “стадии наполнения”.
Почему-то компания, имеющая почти $1 млрд ежегодной выручки и более $100 млн чистой прибыли, не нашла возможности сообщать пассажирам о расписании движения. Правительство г. Москвы также не имеет подобной информации. Широко разрекламированный “Портал открытых данных” содержит информацию о стоимости проезда, но не расписании движения пригородных поездов.

Разумеется, все кто ездил на электричках, знают альтернативные источники информации :) Это конечно, Яндекс и tutu.ru. Обращает кстати внимание, что оба сервиса используют довольно скудное текстовое представление расписания.

Я написал небольшой скрипт в R, который собирает данные с tutu.tu, хотя концептуально это не очень правильно - перевозчик, либо местные власти должны предоставлять подобную информацию в удобном виде.
В нашем случае для Ленинградского направления, но разумеется, можно собрать информацию по и другим направлениям/вокзалам. Причем информацию по расстояниями между станциями пришлось “парсить” тоже с tutu.ru, так как я не смог найти какой-либо официальной информации по этому поводу.

Итоговый файл представляет собой матрицу, в котором по столбцам идут остановки, а по строкам - отдельные поезда. В названии столбцам закодированы расстояния между станциями и зоны оплаты. Выглядит это вот так:

Соответственно мы видим, что на Ленинградском направлении в день проходит 165 поездов (по обоим направлениям), которые останавливаются на 45 различных станциях. Матрица состоит из почти трех тысяч значений, поэтому необходимо специальные средства представления этой информации в графическом виде.

Построение диаграммы в стиле Маре.
Как уже говорилось, я использовал графическую библиотеку Data-Driven Documents (или d3), которая представляет собой нечто среднее между библиотеками готовых графиков и самостоятельным рисованием диаграмм в графическом редакторе вроде Inkscape.
Это мой второй опыт самостоятельного рисования в d3 (первый - карты хороплет для РФ). Поэтому я основывался на готовом примере Майка, но несколько видоизменил его для своих данных и дополнил дополнительными интерактивными элементами.
Вариант с этими “плюшечками” занимает около 300 строк кода, но вполне возможно, потому что я использовал не самые оптимальные конструкции.

Основная “рабочая” функция преобразует матрицу поезда-станции и преобразует ее в JS-объект. На основе этого объекта собственно и строится вся графическая составляющая.

function type(d, i) {

  // Extract the stations from the "stop|*" columns.
  if (!i) for (var k in d) {
    if (/^stop\|/.test(k)) {
      var p = k.split("|");
      stations.push({
        key: k,
        name: p[1],
        distance: +p[2],
        zone: +p[3]
      });
    }
  }

  return {
    number: d.number,
    type: d.type,
    direction: d.direction,
    stops: stations
        .map(function(s) { return {station: s, time: parseTime(d[s.key])}; })
        .filter(function(s) { return s.time != null; })
  };

Информационное окно

В дополнении примеру Майка я добавил еще всплывающее окошко, которое появляется при наведении мышкой на любую круг - станцию. Делается это с помощью простого event-listener, реагирующего на mouseover.

train.selectAll("circle")
      .data(function(d) { return d.stops; })
    .enter().append("circle")
      .attr("transform", function(d) { return "translate(" + x(d.time) + "," + y(d.station.distance) + ")"; })
      .attr("r", 3)
       .on("mouseover", function(d) { 
                  var xPosition = x(d.time)+margin.left + margin.right;
                  var yPosition = y(d.station.distance);

      d3.select("#tooltip")
            .style("left", xPosition + "px")
            .style("top", yPosition + "px")           
            .select("#stations")
            .text(d.station.name);
      d3.select("#tooltip")
            .select("#time")
            .text(formatTime(d.time));
      d3.select("#tooltip").classed("hidden", false);
      
            })
       
                .on("mouseout",  function() {
                    d3.select("#tooltip").classed("hidden", true);
                          });

Соответственно объект tooltip то появляется и наполняется информационным содержанием (название станции и время прибытия поезда на эту станцию), то исчезает.

Выбор направления

В исходном примере Майка отображается только одно направление, я же хотел, чтобы была возможность посмотреть оба направления одновременно, а также по отдельности. Это делается с помощью отдельной формы и функции, которая реагирует на изменение этой формы.

d3.selectAll("input[name=f_direction]")
  .on("change", function(){
    cur_direction = this.id;
      if (this.id == 'moscow'){
        d3.selectAll(".moscow").classed("hidden", false);
        d3.selectAll(".oblast").classed("hidden", true);
           }
      if (this.id == 'oblast'){
        d3.selectAll(".moscow").classed("hidden", true);
        d3.selectAll(".oblast").classed("hidden", false);
           }
  })

Соответственно все объекта класса “oblast” или “moscow” показываются, либо скрываются от зрителя. Переменная cur_direction нужна для того, чтобы правильно реагировать на выбор для недели, когда направление уже выбрано.

Выбор дня недели

Исходные данные имеют для каждого поезда его тип: ежедневно, по выходным, по рабочим, кроме суббот, кроме воскресений, отменен. Но пользователя на самом деле интересует какие поезда идут в конкретный день, поэтому я решил целесообразнее предоставить выбор для недели и в зависимости от этого рисовать нужные поезда. Соответственно, поезд, который ходит в режим “кроме воскресений” не будет отображаться в при выборе воскресенья. При выборе субботы или воскресенья также не будут показываться электрички, которые ходят по рабочим дням.

Реализация этой логики сделана топорным if :) Отмененные электрички (красным цветом) должны отображаться при любом раскладе

d3.selectAll("input[name=type_train]")
  .on("change", function(){

      if (this.id == 'working'){
        d3.selectAll(".daily"+"."+cur_direction).classed("hidden", false);
        d3.selectAll(".working"+"."+cur_direction).classed("hidden", false);
        d3.selectAll(".weekend"+"."+cur_direction).classed("hidden", true);
        d3.selectAll(".ex_saturday"+"."+cur_direction).classed("hidden", true);
        d3.selectAll(".ex_sunday"+"."+cur_direction).classed("hidden", true);
      }
      if (this.id == 'saturday'){
        d3.selectAll(".daily"+"."+cur_direction).classed("hidden", false);
        d3.selectAll(".working"+"."+cur_direction).classed("hidden", true);
        d3.selectAll(".weekend"+"."+cur_direction).classed("hidden", false);
        d3.selectAll(".ex_saturday"+"."+cur_direction).classed("hidden", true);
        d3.selectAll(".ex_sunday"+"."+cur_direction).classed("hidden", false);
      }  

      if (this.id == 'sunday'){
        d3.selectAll(".daily"+"."+cur_direction).classed("hidden", false);
        d3.selectAll(".working"+"."+cur_direction).classed("hidden", true);
        d3.selectAll(".weekend"+"."+cur_direction).classed("hidden", false);
        d3.selectAll(".ex_saturday"+"."+cur_direction).classed("hidden", false);
        d3.selectAll(".ex_sunday"+"."+cur_direction).classed("hidden", true);
      }      
  })

Вот вроде бы и все. Буду рад услышать любые комментарии по оптимальном представления расписания и на сколько это вообще удобно. Как я понимаю, люди, которые ездят на электричках помнят расписание в пределах нужного часа-двух наизусть и в принципе не слишком нуждаются в графической визуализации. Я, к примеру, езжу на электричках изредка, и оно мне кажется удобным.

Закон об оскорблении чувств верующих - результаты голосований по чтениям

Марсель Салихов — Wed, 12 Jun 2013 00:00:00 GMT

Если вы не в курсе, Государственная Дума вчера окончательно принялазакон об оскорблении чувств верующих. Мы уже рассматривалирезультаты голосования в первом чтении, которое состоялось 9 апреля 2013 года. Теперь можно посмотреть на результаты всех чтений сразу:

Обращает внимание, что вторых чтений было два - 21 мая 2013 и вчера - 10 июня 2013 года. Вчера было принято решение вернуть законопроект во второе чтение - видимо для того, чтобы принять новые поправки. Процедура работы ГД не позволяет осуществлять содержательную правку законопроекта на этапе третьего чтения, поэтому технически его надо вернуть во второе чтение, внести правки и снова проголосовать. Вообще второе чтение - как правило, наиболее важный этап в судьбе любого законопроекта. Насколько я понял, основное нововведение - дополнить часть с наказанием по ст 148 УК РФ следующим пунктом: “после слов «лишением свободы на тот же срок» дополнить словами «с лишением права занимать определенные должности или заниматься определенной деятельностью на срок до двух лет ».

Что значит конкретно - “определенные должности” и “определенная деятельность” - я не понял.

Теперь о результатах. Как видно, результаты практически не изменились от чтения к чтению. ЕР и ЛДПР поддерживают законопроект. КПРФ и большая часть СР не голосуют, что можно трактовать как оппозицию закону.

В третьем итоговом чтении только два депутата голосовали “против”. Вот имена этих героев - Гудков Д.Г. (СР) и Журавлев С.В. (ЛДПР). Среди депутатов Единой России не голосовало четыре человека (Ткачев А. Н., Долгих В.И., Кривоносов С.В., Кузин С.П) - то ли их не было, то ли выражали таким образом свое несогласие.