2banana

Интеграция Azure HDInsight с Data Lake Storage Gen2 preview – ACL и обновление для системы безопасности

Сегодня мы делимся обновлением интеграции Azure HDInsight с Azure Data Lake Storage Gen 2. Эта интеграция позволит клиентам HDInsight безопасно управлять аналитикой на основе данных, хранящихся в Azure Data Lake Storage Gen 2, используя популярные платформы с открытым исходным кодом, такие как Apache Spark, Hive, MapReduce, Kafka, Storm и HBase.

Хранилище Azure Data Lake Gen2

Хранилище Azure Data Lake Gen2 – это единственное хранилище данных, разработанное специально для предприятий для выполнения крупномасштабных аналитических задач в облаке. Оно объединяет основные возможности первого поколения Azure Data Lake с конечной точкой файловой системы, совместимой с Hadoop, которая теперь напрямую интегрирована в хранилище больших двоичных объектов Azure. Это усовершенствование сочетает преимущества объектного хранилища в масштабе и затратах с надежностью и производительностью, обычно присущими только локальным файловым системам. Эта новая файловая система включает в себя полное иерархическое пространство имен, что делает файлы и папки первоклассными пользователями, что приводит к более быстрому и надежному выполнению аналитических заданий.

Хранилище Azure Data Lake Storage Gen2 также включает в себя неограниченное хранилище, обеспечивающее емкость для удовлетворения потребностей даже самых больших и сложных рабочих нагрузок. Кроме того, хранилище Azure Data Lake Storage Gen2 обеспечивает встроенную интеграцию с Azure Active Directory и поддерживает списки управления доступом, совместимые с POSIX, для обеспечения детального назначения разрешений файлам и папкам.

Основные преимущества

Доступ, совместимый с Hadoop

Хранилище Azure Data Lake Storage Gen2 позволяет вам управлять данными и получать к ним доступ точно так же, как в распределенной файловой системе Hadoop (HDFS). Драйвер ABFS доступен во всех средах Apache Hadoop. Файловые системы хорошо понятны как разработчикам, так и пользователям. При переходе в облако нет необходимости осваивать новую парадигму хранения, поскольку интерфейс файловой системы, предоставляемый Azure Data Lake Storage Gen2, является той же парадигмой, которая используется компьютерами, большими и малыми.

Управление доступом на основе ролей

Модель безопасности для хранилища Azure Data Lake Gen2 поддерживает разрешения ACL и POSIX.

Эти возможности управления доступом к хранилищу наряду с точным контролем доступа через apache Ranger в HDInsight для таких приложений, как Spark, Kafka, Hive и HBase, позволяют очень удобно открывать хранилище данных для всей организации с соответствующим контролем безопасности и аудит на месте.

Доступ только по протоколу SSL

С этим обновлением доступ к учетным записям ADLS Gen 2 можно получить только по протоколу https, гарантирующему, что между HDInsight и хранилищем возможен только зашифрованный обмен данными.

Глобальная доступность

Хранилища Azure Data Lake поколения 2 и HDInsight доступны по всему миру, обеспечивая масштаб, необходимый для приближения приложений больших данных к пользователям по всему миру. мире, сохраняя неизменность данных и предлагая клиентам комплексные варианты соответствия требованиям и отказоустойчивости.

Атомарные манипуляции с каталогами

Хранилища объектов приближаются к иерархии каталогов, принимая соглашение о встраивание косых черт (/) в имя объекта для обозначения сегментов пути. Хотя это соглашение работает для организации объектов, оно не предоставляет никакой помощи для таких действий, как перемещение, переименование или удаление каталогов. Без реальных каталогов приложения должны обрабатывать потенциально миллионы отдельных больших двоичных объектов для выполнения задач на уровне каталогов. В отличие от этого, иерархическое пространство имен обрабатывает эти задачи путем обновления одной записи (родительского каталога).

Эта кардинальная оптимизация особенно важна для многих платформ анализа больших данных. Такие инструменты, как Hive и Spark, часто записывают выходные данные во временные местоположения, а затем переименовывают местоположение по завершении задания. Без иерархического пространства имен это переименование часто может занять больше времени, чем сам процесс аналитики. Меньшая задержка выполнения заданий означает меньшую общую стоимость владения (TCO) для рабочих нагрузок аналитики.

Масштабирование

HDInsight и Azure Data Lake Storage Gen2 обеспечивают новые уровни масштабирования для рабочие нагрузки с большими объемами данных. Клиенты могут выполнять рабочие нагрузки, масштабируемые со скоростью от 100 Гб/сек до петабайт хранилища, без необходимости сегментировать данные по нескольким учетным записям хранения.

Шифрование в режиме покоя

Шифрование в Azure Data Lake Storage Gen2 помогает защитить ваши данные, внедрить корпоративные политики безопасности и соответствовать нормативным требованиям. Хранилище Azure Data Lake Storage Gen 2 поддерживает шифрование данных как в состоянии покоя, так и при передаче.

Сетевой брандмауэр

Встроенные возможности сетевого брандмауэра позволяют определять правила, ограничивающие доступ только для запросов, исходящих из указанных сетей или кластеров HDInsight в определенной виртуальной сети.

Как работает интеграция?

Интеграция HDInsight и Azure Data Lake Storage Gen2 – это на основе назначенного пользователем управляемого удостоверения личности. Вы назначаете соответствующий доступ к HDInsight своим учетным записям Azure Data Lake Storage Gen2. После настройки ваш кластер HDInsight сможет использовать Azure Data Lake Storage Gen2 в качестве хранилища.

Azure HDInsight integration with Data Lake Storage Gen2 preview - ACL and security update

Начало работы

Начните использовать хранилище Azure Data Lake Gen2 с Azure HDInsight уже сегодня.

Обратная связь

Мы с нетерпением ждем ваших комментариев и отзывов. Если у вас есть какие-либо пожелания к функциям, запросы клиентов или предложения, пожалуйста, свяжитесь с нами по адресу askhdinsight@microsoft.com .

Дополнительные ресурсы

  • Данные Azure Введение в Lake Storage Gen2
  • Концепция иерархического пространства имен
  • Создайте кластер HDInsight с помощью ADLS Gen2
  • Узнайте больше о Azure HDInsight.
  • Прочитайте руководство по компонентам с открытым исходным кодом для HDInsight.
  • Ознакомьтесь с примечаниями к выпуску HDInsight.
  • Задавайте вопросы HDInsight на форумах MSDN.
  • Задавайте вопросы HDInsight по StackOverflow.

beinginthecloud.com – URL-адрес сайта-источника

Поделиться

Другие новости

Перенос базы 1с на облако

SQLite
Новости про облачные технологии

SQLite забавные факты

📌 SQLite: Невидимый гигант в мире баз данных SQLite – это не просто очередная база данных. Она – невидимый гигант, тихий и мощный, основа для бесчисленных приложений, которые мы используем каждый день. Ее распространенность поистине удивительна, и она является непременным компонентом нашей цифровой жизни. Факт 1: Миллиарды копий и триллионы

Читать »
ИТ-санкции
ИТ новости России

ИТ-услуги под санкциями США, чем ответит Россия

США вводят санкции против ИТ-сектора России: подробности и влияние 12 июня 2024 года США объявили о новых санкциях, направленных на изоляцию российского ИТ-сектора от остального мира. Ограничения: Вступление в силу: санкции вводятся поэтапно: Цели санкций: Ответ России: Влияние санкций: Долгосрочные последствия: Ростелеком инвестирует в программное обеспечение Компания запускает венчурный фонд «Консоль» с первоначальным объёмом

Читать »
IT-рынок
Новости про облачные технологии

IT-рынок: Аншлаг и бардак. Мнение.

IPO компании IVA Technologies – это не просто выход на биржу, это заявление о намерениях стать ключевым игроком на бурно развивающемся, но хаотичном рынке российского IT. Генеральный директор компании, Станислав Иодковский, в интервью Ведомостям, описал этот рынок как сочетание аншлага и бардака. Аншлаг – это, безусловно, огромный спрос на отечественные

Читать »
AI’s Insatiable Data-Center
ИТ новости России

Nvidia собирает сливки, от майнинга до ИИ

Во время золотой лихорадки обогащаются продавцы лопат Nvidia на вершине технологического Олимпа Nvidia, компания, которая всего несколько лет назад была известна своим “железом” для геймеров, сегодня прочно заняла место на вершине технологического мира. Рыночная капитализация Nvidia превысила $3 трлн, обогнав Apple и заняв второе место среди публичных американских компаний после

Читать »
Нейро кладбище
Новости про облачные технологии

Нейрокладбище – “ритуалы” входят в ИТ

Мир технологий не стоит на месте, и даже смерть не стала преградой для инноваций. Россия, страна, известная своим особенным отношением к смерти. Где еще можно встретить поминание памятных дат связанных с днем смерти известных личностей прошлого. Эта инициатива стала результатом сотрудничества ритуальной службы Ритуал.ру и ростовской ИТ-компании Dragons Code. Нейродвойники

Читать »
ИТ-знания
ИТ новости России

Рейтинг ВУЗов дающих ИТ-знания

ИТ-знания – инструмент “рабочего класса” 21 века Инвестиции в знания: где получить образование, которое принесет наибольшую прибыль в России? Бенджамин Франклин говорил: “Инвестиции в знания приносят наибольшую выгоду”. Его слова особенно актуальны сегодня, в эпоху бурного развития информационных технологий. ИТ-знания дают выпускникам престижных вузов высокие зарплаты и перспективное будущее. Рейтинг

Читать »

Добро пожаловать в бизнес-клуб!

Помогаем развивать бизнес.

Хотите прочную платформу для мощного старта? 

АО “Глобальный сервис” это:

Чтобы стать участником клуба

заполните форму