Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Локки 7. Потомок бога
7. Локки
Фантастика
:аниме
,эпическая фантастика
,фэнтези
.
5.00
рейтинг книги
Имперец. Том 4
3. Имперец
Фантастика
:попаданцы
,альтернативная история
,аниме
.
5.00
рейтинг книги
Звездная Кровь. Изгой II
2. Звездная Кровь. Изгой
Фантастика
:боевая фантастика
,попаданцы
,технофэнтези
,рпг
.
5.00
рейтинг книги
Рассвет русского царства. Книга 2
2. Новая Русь
Фантастика
:альтернативная история
,попаданцы
,историческое фэнтези
.
5.00
рейтинг книги
На границе империй. Том 9. Часть 2
15. Фортуна дама переменчивая
Фантастика
:космическая фантастика
,попаданцы
.
5.00
рейтинг книги
Иной. Том 1. Школа на краю пустыни
1. Иной в голове
Фантастика
:боевая фантастика
,рпг
,аниме
.
5.75
рейтинг книги
Я Гордый часть 7
7. Стальные яйца
Фантастика
:попаданцы
,аниме
,фэнтези
.
5.00
рейтинг книги
Требую развода! Что значит- вы отказываетесь?
Любовные романы
:любовно-фантастические романы
.
5.00
рейтинг книги
Сирота
1. Помещик
Фантастика
:альтернативная история
.
5.71
рейтинг книги
Гримуар темного лорда III
3. Гримуар темного лорда
Фантастика
:фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Запасная дочь
Фантастика
:фэнтези
.
6.40
рейтинг книги
Авиатор: назад в СССР
1. Авиатор
Фантастика
:попаданцы
,альтернативная история
.
5.25
рейтинг книги
Убивать чтобы жить 4
4. УЧЖ
Фантастика
:боевая фантастика
,рпг
.
5.00
рейтинг книги
Чехов. Книга 2
2. Адвокат Чехов
Фантастика
:фэнтези
,альтернативная история
,аниме
.
5.00
рейтинг книги
Неофит
3. Ушедший Род
Фантастика
:попаданцы
,аниме
,фэнтези
.
5.00
рейтинг книги
Государь
3. Рюрикова кровь
Фантастика
:мистика
,альтернативная история
,историческое фэнтези
.
6.25
рейтинг книги
Леди Малиновой пустоши
Любовные романы
:любовно-фантастические романы
.
6.20