Обработка больших данных
Отрывок из книги
На базе идей MapReduce и вдохновлённый публикациями Google, Дуг Каттинг и Майк Кафкарелла начали работу над проектом с открытым исходным кодом, который в итоге стал известен как Hadoop. Первоначально Hadoop был создан как часть проекта Nutch – поисковой системы, также разрабатываемой Дугом Каттингом, – однако вскоре Hadoop выделился в отдельный проект, полностью сосредоточенный на хранении и обработке больших данных. Одним из первых пользователей и активных участников разработки Hadoop стала компания Yahoo, которая в 2006 году внедрила его для своих задач, связанных с обработкой огромных объёмов веб-данных.
Одним из ключевых компонентов Hadoop стала распределённая файловая система HDFS (Hadoop Distributed File System). HDFS была разработана для того, чтобы решать проблемы хранения и управления данными в распределённых системах. Основная идея HDFS заключалась в том, чтобы хранить данные не на одном сервере, а распределять их по множеству серверов в кластере, что обеспечивало высокую надёжность и отказоустойчивость. В случае выхода из строя одного из серверов данные не терялись, так как они были дублированы на других узлах кластера. HDFS также обеспечивала эффективное распределение данных между узлами и позволяла параллельно обрабатывать их с помощью MapReduce.
У нас есть только неполная версия книги.
Книги из серии:
Без серии
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
[5.0 рейтинг книги]
Комментарии:
Популярные книги
Третий Генерал: Тома I-II
1. Третий Генерал
Фантастика
:городское фэнтези
,попаданцы
,аниме
,сказочная фантастика
.
5.00
рейтинг книги
Кодекс Охотника. Книга XV
15. Кодекс Охотника
Фантастика
:попаданцы
,аниме
.
5.00
рейтинг книги
Изменяющий-Механик. Компиляция. Книги 1-18
Собрание сочинений
Фантастика
:боевая фантастика
,космическая фантастика
.
5.00
рейтинг книги
Система Возвышения. (цикл 1-8) - Николай Раздоров
Система Возвышения
Фантастика
:боевая фантастика
.
4.65
рейтинг книги
Зеркало силы
3. Артефактор
Фантастика
:городское фэнтези
,попаданцы
,аниме
.
5.00
рейтинг книги
Купеческая дочь замуж не желает
Фантастика
:фэнтези
.
6.89
рейтинг книги
Воронцов. Перезагрузка
1. Воронцов. Перезагрузка
Фантастика
:попаданцы
,альтернативная история
,фантастика: прочее
.
5.00
рейтинг книги
Тринадцатый XIII
13. Видящий смерть
Фантастика
:городское фэнтези
,аниме
,фэнтези
,попаданцы
.
5.00
рейтинг книги
Возлюби болезнь свою
Научно-образовательная
:психология
.
7.71
рейтинг книги
Шайтан Иван 6
6. Шайтан Иван
Фантастика
:попаданцы
,альтернативная история
,историческое фэнтези
.
7.43
рейтинг книги
Бастард Императора. Том 13
13. Бастард Императора
Фантастика
:попаданцы
,аниме
,фэнтези
,фантастика: прочее
.
5.00
рейтинг книги
Личный аптекарь императора. Том 3
3. Личный аптекарь императора
Фантастика
:городское фэнтези
,попаданцы
,аниме
,фэнтези
.
5.00
рейтинг книги
На границе империй. Том 9. Часть 2
15. Фортуна дама переменчивая
Фантастика
:космическая фантастика
,попаданцы
.
5.00
рейтинг книги
Князь Андер Арес 5
5. Андер Арес
Фантастика
:историческое фэнтези
,фэнтези
,героическая фантастика
.
5.00
рейтинг книги
Медиум
1. О чем молчат могилы
Фантастика
:фэнтези
.
7.90
рейтинг книги
Мастер 2
2. Мастер
Фантастика
:фэнтези
,городское фэнтези
,попаданцы
,технофэнтези
.
4.50
рейтинг книги
Наследник старого рода
1. Живой лёд
Фантастика
:фэнтези
.
8.19