В этой практичной книге четверо специалистов Cloudefa по анализу данных описывают самодостаточные паттерны для выполнения крупномасштабного анализа данных при помощи Spark. Авторы комплексно рассматривают Spark, статистические методы и множества данных, собранные в реальных условиях, и на этих примерах демонстрируют решения распространенных аналитических проблем.

- Построение модели для выявления мошенничества с кредитными картами на основании тысяч признаков и миллиардов транзакций.

- Обдуманные рекомендации миллионов товаров миллионам пользователей.

- Оценка финансовых рисков с помощью имитационного моделирования портфелей ценных бумаг, включающего миллионы инструментов.

- Легкая обработка данных тысяч человеческих геномов для обнаружения генетической связи заболеваний.

Таковы задачи, выполнение которых десять или даже пять лет назад было просто невозможным. Когда говорят, что мы живем в эпоху больших данных, то подразумевают, что у нас появились инструменты для сбора, хранения и обработки информации в неслыханных доселе масштабах. Основой для этих возможностей является экосистема программного обеспечения с открытым исходным кодом, умеющая использовать кластеры серийных компьютеров для обработки огромных объемов данных. Распределенные системы, такие как Apache Hadoop, сумели стать частью мейнстрима и широко внедряются на предприятиях практически в каждой отрасли.

Но так же, как резец и глыба камня сами не превратятся в статую, так и от доступа к подобным инструментам и данным очень далеко до извлечения из них какой-либо пользы. Именно тут приходит на помощь наука о данных. Как скульптура — это навык преобразования инструментов и сырья во что-то значимое для обычных людей, так и наука о данных — навык превращения инструментов и первичных данных в нечто потенциально значимое для кого-то, кроме исследователей данных...