Роман с Data Science. Как монетизировать большие данные

Вы получили приглашение на собеседование – обычно это короткий звонок по телефону, где попытаются выяснить вашу адекватность. Хороший рекрутер по одному телефонному разговору может даже дать вам характеристику, которая пойдет дальше по всем этапам собеседования. Также у вас попробуют узнать ваши зарплатные ожидания – тут правило такое: кто первый назвал цифру – тот и проиграл. Поэтому лучше всего отложить этот вопрос до последнего этапа переговоров. К собеседованию обязательно стоит подготовиться. У меня был такой опыт с Facebook и Quora. Quora провели пару вводных собеседований по видеосвязи. Затем я прилетел на два дня в их офис в Пало-Альто, где прошел 13 собеседований за первый день, и еще пять за второй. А Facebook даже присылал специальные памятки перед каждым собеседованием, как к нему подготовиться. Перед важными собеседованиями я всегда искал (или набрасывал сам) список вопросов, которые могли бы мне задать, и писал краткие ответы в блокнот. Благодаря записям вы будете себя уверенно чувствовать на интервью. Не на все вопросы во время него удастся ответить, но обязательно запишите и проработайте те, которые вызвали затруднения. Это можно сравнить с тренировкой – на собеседовании в другой компании некоторые из них вам могут задать снова. Обычно собеседование делится на три части – что вы делали раньше, теория и практика.

В первой части вы рассказываете о своем опыте. Вам будут задавать вопросы, и самый важный из них – почему вы сделали так или иначе. На хорошем собеседовании вас об этом обязательно спросят, и стоит заранее обдумать ответ, а еще лучше – попросить кого-то отрепетировать с вами собеседование. Тогда будет понятно, где вы «плывете». Я также обращаю внимание, как кандидат оценивал свой вклад в результаты компании.

Вторая часть обычно теоретическая – задают вопросы на простую теорию. Например, как работает тот или иной алгоритм, когда и какой статистический критерий применять. Как ни странно, многие кандидаты не могут ответить на очень простые вопросы даже из моей главы об экспериментах. Если выучите минимум, вы сразу будете выгодно выделяться на фоне остальных кандидатов. Раньше было принято загадывать всякие абсурдные загадки (из серии «почему люки круглые») – особенно этим славился Google, – но потом вышло исследование, что правильные ответы не являются хорошим предиктором успешности кандидата. И загадки на собеседованиях прекратились.

Третья часть – практическая. Мы вместе с соискателем садимся за один компьютер и решаем несложную задачу его любимым способом. От кандидата на должность аналитика данных требуется обработать данные и сделать выводы. Здесь важна скорость – если есть практические навыки, то он справится быстро. Однажды меня позвали в одну группу поиграть на гитаре. Тогда я играл по табам (схемы, где обозначено, какую струну и когда зажать), аккордов не мог строить, но знал, как они устроены, теоретически. Чтобы что-то сыграть, мне нужно было построить и выучить каждый аккорд. Это отнимало много времени, я тормозил. Конечно, меня туда не взяли – у музыкантов не было времени ждать, пока я заиграю. Также с аналитикой и инженерией – простые вещи нужно уметь делать быстро. Если их делать медленно, то это будет тормозить рабочий процесс и всю команду. Этому можно научиться только на практике, и хорошая школа для развития таких навыков – Kaggle.

Требования к кандидатам

Приведу здесь базовые требования к аналитику данных (здесь я подразумеваю, что машинным обучением занимается инженер ML, а не аналитик данных).

Хороший аналитик должен разбираться в области, которой он занимается – будь то маркетинг, логистика, финансы, веб-аналитика или что-то еще. Обладать этим доменным знанием важно, потому что оно поможет быстро разобраться в рабочих вопросах.

Технические средства для аналитика – всего лишь инструменты. Я выступаю за разнообразие и начал бы, как ни странно, с Excel. Это действительно очень мощный инструмент и стандарт в финансах. На втором месте SQL – язык для работы с базами данных. Это самый популярный способ получения данных и их первоначальной обработки. Третью строчку моего личного рейтинга занимает базовая теория вероятностей и математическая статистика: среднее, медиана, дисперсия, корреляция, статистические критерии проверки гипотез. На четвертом – инструменты программирования: блокноты на Python (Jupyter Notebooks) или R.

Иногда в некоторых вакансиях требуется знание определенного софта. Не стоит переживать, если вы его не знаете, – когда есть база, отдельные навыки приобретаются легко.

Инженеров я бы разделил на две категории – инженеры по данным, задачей которых является обеспечение работы системы, и инженеров ML, которые работают над ML-моделями. С моей точки зрения, инженер по данным должен:

• уметь работать с Unix/Linux Shell;

• знать принципы MapReduce;

• уметь работать с Hadoop в случае необходимости;

• уметь работать с Kafka или другим стримовым софтом;

• работать с DAG-софтом (AirFlow, Oozie…) – системой, которая стоит граф расчетов.

Инженер ML должен: