Сегодня мы делимся обновлением интеграции Azure HDInsight с Azure Data Lake Storage Gen 2. Эта интеграция позволит клиентам HDInsight безопасно управлять аналитикой на основе данных, хранящихся в Azure Data Lake Storage Gen 2, используя популярные платформы с открытым исходным кодом, такие как Apache Spark, Hive, MapReduce, Kafka, Storm и HBase.
Хранилище Azure Data Lake Gen2 – это единственное хранилище данных, разработанное специально для предприятий для выполнения крупномасштабных аналитических задач в облаке. Оно объединяет основные возможности первого поколения Azure Data Lake с конечной точкой файловой системы, совместимой с Hadoop, которая теперь напрямую интегрирована в хранилище больших двоичных объектов Azure. Это усовершенствование сочетает преимущества объектного хранилища в масштабе и затратах с надежностью и производительностью, обычно присущими только локальным файловым системам. Эта новая файловая система включает в себя полное иерархическое пространство имен, что делает файлы и папки первоклассными пользователями, что приводит к более быстрому и надежному выполнению аналитических заданий.
Хранилище Azure Data Lake Storage Gen2 также включает в себя неограниченное хранилище, обеспечивающее емкость для удовлетворения потребностей даже самых больших и сложных рабочих нагрузок. Кроме того, хранилище Azure Data Lake Storage Gen2 обеспечивает встроенную интеграцию с Azure Active Directory и поддерживает списки управления доступом, совместимые с POSIX, для обеспечения детального назначения разрешений файлам и папкам.
Хранилище Azure Data Lake Storage Gen2 позволяет вам управлять данными и получать к ним доступ точно так же, как в распределенной файловой системе Hadoop (HDFS). Драйвер ABFS доступен во всех средах Apache Hadoop. Файловые системы хорошо понятны как разработчикам, так и пользователям. При переходе в облако нет необходимости осваивать новую парадигму хранения, поскольку интерфейс файловой системы, предоставляемый Azure Data Lake Storage Gen2, является той же парадигмой, которая используется компьютерами, большими и малыми.
Модель безопасности для хранилища Azure Data Lake Gen2 поддерживает разрешения ACL и POSIX.
Эти возможности управления доступом к хранилищу наряду с точным контролем доступа через apache Ranger в HDInsight для таких приложений, как Spark, Kafka, Hive и HBase, позволяют очень удобно открывать хранилище данных для всей организации с соответствующим контролем безопасности и аудит на месте.
С этим обновлением доступ к учетным записям ADLS Gen 2 можно получить только по протоколу https, гарантирующему, что между HDInsight и хранилищем возможен только зашифрованный обмен данными.
Хранилища Azure Data Lake поколения 2 и HDInsight доступны по всему миру, обеспечивая масштаб, необходимый для приближения приложений больших данных к пользователям по всему миру. мире, сохраняя неизменность данных и предлагая клиентам комплексные варианты соответствия требованиям и отказоустойчивости.
Хранилища объектов приближаются к иерархии каталогов, принимая соглашение о встраивание косых черт (/) в имя объекта для обозначения сегментов пути. Хотя это соглашение работает для организации объектов, оно не предоставляет никакой помощи для таких действий, как перемещение, переименование или удаление каталогов. Без реальных каталогов приложения должны обрабатывать потенциально миллионы отдельных больших двоичных объектов для выполнения задач на уровне каталогов. В отличие от этого, иерархическое пространство имен обрабатывает эти задачи путем обновления одной записи (родительского каталога).
Эта кардинальная оптимизация особенно важна для многих платформ анализа больших данных. Такие инструменты, как Hive и Spark, часто записывают выходные данные во временные местоположения, а затем переименовывают местоположение по завершении задания. Без иерархического пространства имен это переименование часто может занять больше времени, чем сам процесс аналитики. Меньшая задержка выполнения заданий означает меньшую общую стоимость владения (TCO) для рабочих нагрузок аналитики.
HDInsight и Azure Data Lake Storage Gen2 обеспечивают новые уровни масштабирования для рабочие нагрузки с большими объемами данных. Клиенты могут выполнять рабочие нагрузки, масштабируемые со скоростью от 100 Гб/сек до петабайт хранилища, без необходимости сегментировать данные по нескольким учетным записям хранения.
Шифрование в Azure Data Lake Storage Gen2 помогает защитить ваши данные, внедрить корпоративные политики безопасности и соответствовать нормативным требованиям. Хранилище Azure Data Lake Storage Gen 2 поддерживает шифрование данных как в состоянии покоя, так и при передаче.
Встроенные возможности сетевого брандмауэра позволяют определять правила, ограничивающие доступ только для запросов, исходящих из указанных сетей или кластеров HDInsight в определенной виртуальной сети.
Интеграция HDInsight и Azure Data Lake Storage Gen2 – это на основе назначенного пользователем управляемого удостоверения личности. Вы назначаете соответствующий доступ к HDInsight своим учетным записям Azure Data Lake Storage Gen2. После настройки ваш кластер HDInsight сможет использовать Azure Data Lake Storage Gen2 в качестве хранилища.
Начните использовать хранилище Azure Data Lake Gen2 с Azure HDInsight уже сегодня.
Мы с нетерпением ждем ваших комментариев и отзывов. Если у вас есть какие-либо пожелания к функциям, запросы клиентов или предложения, пожалуйста, свяжитесь с нами по адресу askhdinsight@microsoft.com .
beinginthecloud.com – URL-адрес сайта-источника
6480 ₽
29250 ₽
3000 ₽
5000 ₽
3000 ₽
3000 ₽
Введение Успешное внедрение 1С автоматизации зависит не столько от надежного интегратора, сколько от подготовленности компании клиента. Несмотря на очевидные факторы, многие проекты по внедрению заканчиваются неудачей. Почему так происходит? Ответ кроется в типичных ошибках, которые допускают компании. Цель этой статьи – помочь вам избежать этих ошибок и успешно внедрить новую
Глубокое погружение в мир оптимизации Моделирование бизнес-процессов – это, по сути, язык, на котором мы говорим как работает компания. Позволяет нам визуализировать, описать и, самое главное, оптимизировать все те действия, которые приводят к достижению желаемых результатов. Не зная, как работают процессы, невозможно эффективно их улучшить. Поэтому, моделирование – это первый
Детальный анализ ситуации Американская технологическая корпорация Microsoft объявила о том, что с 2 сентября 2024 года она начнет отключать некоторые облачные сервисы для российских юридических лиц. Под ограничения попадут популярные пакеты Microsoft 365, Office 365 и Teams, которые предоставляют доступ к почте, онлайн-документам, календарю, видеоконференциям и многим другим важным инструментам
В поисках нового роста Санкции и ограничения, наложенные на Россию, стали катализатором перемен на внутреннем рынке. Они, словно буря, вывели на поверхность те процессы, которые уже начинали формироваться, но не имели такой ярко выраженной динамики. Новый импульс для развития Санкции, ограничивая доступ к внешним рынкам и капиталам, заставляют российские компании
Парадоксальные ответы на вопросы, убеждения и мнения пользователей 1С
С 1 сентября в тестовую фазу тестирования цифрового рубля могут включить 1200 компаний Центральный банк России делает следующий шаг в пилотном проекте цифрового рубля, расширяя масштабы тестирования и фокусируясь на реальных бизнес-кейсах. С 1 сентября в тестовую фазу включаются 1200 компаний – это в 50 раз больше, чем на предыдущих
Помогаем развивать бизнес.
Хотите прочную платформу для мощного старта?
АО “Глобальный сервис” это:
заполните форму