2banana

Интеграция Azure HDInsight с Data Lake Storage Gen2 preview – ACL и обновление для системы безопасности

Сегодня мы делимся обновлением интеграции Azure HDInsight с Azure Data Lake Storage Gen 2. Эта интеграция позволит клиентам HDInsight безопасно управлять аналитикой на основе данных, хранящихся в Azure Data Lake Storage Gen 2, используя популярные платформы с открытым исходным кодом, такие как Apache Spark, Hive, MapReduce, Kafka, Storm и HBase.

Хранилище Azure Data Lake Gen2

Хранилище Azure Data Lake Gen2 – это единственное хранилище данных, разработанное специально для предприятий для выполнения крупномасштабных аналитических задач в облаке. Оно объединяет основные возможности первого поколения Azure Data Lake с конечной точкой файловой системы, совместимой с Hadoop, которая теперь напрямую интегрирована в хранилище больших двоичных объектов Azure. Это усовершенствование сочетает преимущества объектного хранилища в масштабе и затратах с надежностью и производительностью, обычно присущими только локальным файловым системам. Эта новая файловая система включает в себя полное иерархическое пространство имен, что делает файлы и папки первоклассными пользователями, что приводит к более быстрому и надежному выполнению аналитических заданий.

Хранилище Azure Data Lake Storage Gen2 также включает в себя неограниченное хранилище, обеспечивающее емкость для удовлетворения потребностей даже самых больших и сложных рабочих нагрузок. Кроме того, хранилище Azure Data Lake Storage Gen2 обеспечивает встроенную интеграцию с Azure Active Directory и поддерживает списки управления доступом, совместимые с POSIX, для обеспечения детального назначения разрешений файлам и папкам.

Основные преимущества

Доступ, совместимый с Hadoop

Хранилище Azure Data Lake Storage Gen2 позволяет вам управлять данными и получать к ним доступ точно так же, как в распределенной файловой системе Hadoop (HDFS). Драйвер ABFS доступен во всех средах Apache Hadoop. Файловые системы хорошо понятны как разработчикам, так и пользователям. При переходе в облако нет необходимости осваивать новую парадигму хранения, поскольку интерфейс файловой системы, предоставляемый Azure Data Lake Storage Gen2, является той же парадигмой, которая используется компьютерами, большими и малыми.

Управление доступом на основе ролей

Модель безопасности для хранилища Azure Data Lake Gen2 поддерживает разрешения ACL и POSIX.

Эти возможности управления доступом к хранилищу наряду с точным контролем доступа через apache Ranger в HDInsight для таких приложений, как Spark, Kafka, Hive и HBase, позволяют очень удобно открывать хранилище данных для всей организации с соответствующим контролем безопасности и аудит на месте.

Доступ только по протоколу SSL

С этим обновлением доступ к учетным записям ADLS Gen 2 можно получить только по протоколу https, гарантирующему, что между HDInsight и хранилищем возможен только зашифрованный обмен данными.

Глобальная доступность

Хранилища Azure Data Lake поколения 2 и HDInsight доступны по всему миру, обеспечивая масштаб, необходимый для приближения приложений больших данных к пользователям по всему миру. мире, сохраняя неизменность данных и предлагая клиентам комплексные варианты соответствия требованиям и отказоустойчивости.

Атомарные манипуляции с каталогами

Хранилища объектов приближаются к иерархии каталогов, принимая соглашение о встраивание косых черт (/) в имя объекта для обозначения сегментов пути. Хотя это соглашение работает для организации объектов, оно не предоставляет никакой помощи для таких действий, как перемещение, переименование или удаление каталогов. Без реальных каталогов приложения должны обрабатывать потенциально миллионы отдельных больших двоичных объектов для выполнения задач на уровне каталогов. В отличие от этого, иерархическое пространство имен обрабатывает эти задачи путем обновления одной записи (родительского каталога).

Эта кардинальная оптимизация особенно важна для многих платформ анализа больших данных. Такие инструменты, как Hive и Spark, часто записывают выходные данные во временные местоположения, а затем переименовывают местоположение по завершении задания. Без иерархического пространства имен это переименование часто может занять больше времени, чем сам процесс аналитики. Меньшая задержка выполнения заданий означает меньшую общую стоимость владения (TCO) для рабочих нагрузок аналитики.

Масштабирование

HDInsight и Azure Data Lake Storage Gen2 обеспечивают новые уровни масштабирования для рабочие нагрузки с большими объемами данных. Клиенты могут выполнять рабочие нагрузки, масштабируемые со скоростью от 100 Гб/сек до петабайт хранилища, без необходимости сегментировать данные по нескольким учетным записям хранения.

Шифрование в режиме покоя

Шифрование в Azure Data Lake Storage Gen2 помогает защитить ваши данные, внедрить корпоративные политики безопасности и соответствовать нормативным требованиям. Хранилище Azure Data Lake Storage Gen 2 поддерживает шифрование данных как в состоянии покоя, так и при передаче.

Сетевой брандмауэр

Встроенные возможности сетевого брандмауэра позволяют определять правила, ограничивающие доступ только для запросов, исходящих из указанных сетей или кластеров HDInsight в определенной виртуальной сети.

Как работает интеграция?

Интеграция HDInsight и Azure Data Lake Storage Gen2 – это на основе назначенного пользователем управляемого удостоверения личности. Вы назначаете соответствующий доступ к HDInsight своим учетным записям Azure Data Lake Storage Gen2. После настройки ваш кластер HDInsight сможет использовать Azure Data Lake Storage Gen2 в качестве хранилища.

Azure HDInsight integration with Data Lake Storage Gen2 preview - ACL and security update

Начало работы

Начните использовать хранилище Azure Data Lake Gen2 с Azure HDInsight уже сегодня.

Обратная связь

Мы с нетерпением ждем ваших комментариев и отзывов. Если у вас есть какие-либо пожелания к функциям, запросы клиентов или предложения, пожалуйста, свяжитесь с нами по адресу askhdinsight@microsoft.com .

Дополнительные ресурсы

  • Данные Azure Введение в Lake Storage Gen2
  • Концепция иерархического пространства имен
  • Создайте кластер HDInsight с помощью ADLS Gen2
  • Узнайте больше о Azure HDInsight.
  • Прочитайте руководство по компонентам с открытым исходным кодом для HDInsight.
  • Ознакомьтесь с примечаниями к выпуску HDInsight.
  • Задавайте вопросы HDInsight на форумах MSDN.
  • Задавайте вопросы HDInsight по StackOverflow.

beinginthecloud.com – URL-адрес сайта-источника

Поделиться

Другие новости

Перенос базы 1с на облако

внедрения 1С
Новости про облачные технологии

5 ошибок внедрения 1С. 2 пункт особенный.

Введение Успешное внедрение 1С автоматизации зависит не столько от надежного интегратора, сколько от подготовленности компании клиента. Несмотря на очевидные факторы, многие проекты по внедрению заканчиваются неудачей. Почему так происходит? Ответ кроется в типичных ошибках, которые допускают компании. Цель этой статьи – помочь вам избежать этих ошибок и успешно внедрить новую

Читать »
Моделирование бизнес-процессов
Новости про облачные технологии

Моделирование бизнес-процессов

Глубокое погружение в мир оптимизации Моделирование бизнес-процессов – это, по сути, язык, на котором мы говорим как работает компания. Позволяет нам визуализировать, описать и, самое главное, оптимизировать все те действия, которые приводят к достижению желаемых результатов. Не зная, как работают процессы, невозможно эффективно их улучшить. Поэтому, моделирование – это первый

Читать »
microsoft
Новости про облачные технологии

Microsoft прекращает поддержку облачных сервисов

Детальный анализ ситуации Американская технологическая корпорация Microsoft объявила о том, что с 2 сентября 2024 года она начнет отключать некоторые облачные сервисы для российских юридических лиц. Под ограничения попадут популярные пакеты Microsoft 365, Office 365 и Teams, которые предоставляют доступ к почте, онлайн-документам, календарю, видеоконференциям и многим другим важным инструментам

Читать »
The Russian stock market
ИТ новости России

Российский фондовый рынок в условиях санкций

В поисках нового роста Санкции и ограничения, наложенные на Россию, стали катализатором перемен на внутреннем рынке. Они, словно буря, вывели на поверхность те процессы, которые уже начинали формироваться, но не имели такой ярко выраженной динамики. Новый импульс для развития Санкции, ограничивая доступ к внешним рынкам и капиталам, заставляют российские компании

Читать »
faq 1C
Новости про облачные технологии

FAQ 1C – 20 парадоксов

Парадоксальные ответы на вопросы, убеждения и мнения пользователей 1С

Читать »
цифрового рубля
ИТ новости России

Тестирование цифрового рубля пройдет в формате summarize

С 1 сентября в тестовую фазу тестирования цифрового рубля могут включить 1200 компаний Центральный банк России делает следующий шаг в пилотном проекте цифрового рубля, расширяя масштабы тестирования и фокусируясь на реальных бизнес-кейсах. С 1 сентября в тестовую фазу включаются 1200 компаний – это в 50 раз больше, чем на предыдущих

Читать »

Добро пожаловать в бизнес-клуб!

Помогаем развивать бизнес.

Хотите прочную платформу для мощного старта? 

АО “Глобальный сервис” это:

Чтобы стать участником клуба

заполните форму

Вы доверяете сайту и даете согласие на использование файлов cookie

у каждого своя роль

1 час /мес

на нашем облаке 1С

Специальное предложение:

бесплатная техподдержка