2banana

Функция Azure управляет бессерверным конвейером больших данных в режиме реального времени

Хотя это и не типичный вариант использования функций Azure, одной функции Azure достаточно для полной реализации сквозного конвейера критически важных данных в режиме реального времени для сценария обнаружения мошенничества. И это было сделано с использованием бессерверной архитектуры. Два блога недавно описали этот вариант использования, “Рассматривая функции Azure для сценария бессерверной потоковой передачи данных” и “Быстрый бессерверный конвейер больших данных, работающий на базе одной функции Azure”.

An Azure Function orchestrates a real-time, serverless, big data pipeline

Требования к конвейеру

Крупный банк хотел создать решение для обнаружения мошеннических транзакций. Решение было построено по архитектурному шаблону, характерному для конвейеров анализа больших данных, с огромными объемами данных в режиме реального времени, загружаемых в облачный сервис, где серия операций по преобразованию данных предоставляла входные данные для модели машинного обучения для получения прогнозов. Задержка и время отклика имеют решающее значение для решения по обнаружению мошенничества, поэтому конвейер должен был быть очень быстрым и масштабируемым. Комплексная оценка каждой транзакции должна была завершиться и предоставить оценку мошенничества менее чем за две секунды.

Требования к конвейеру включали следующее:

  • Возможность масштабировать и эффективно обрабатывать всплески событийной активности общим объемом более 8 миллионов транзакций в день.
  • Ежедневный разбор и обработка 4 миллионов сложных JSON-файлов.
  • События и транзакции должны были обрабатываться в последовательном порядке с гарантиями того, что дубликаты обрабатываться не будут.
  • Справочные данные и бизнес-правила могут динамически изменяться, и конвейер должен учитывать эти обновления.
  • Развернутая архитектура, которую можно легко интегрировать с процессами CI/CD и DevOps.

Конвейерное решение

Конвейер начинается и заканчивается функцией Azure. Единая функция организует и управляет всем конвейером действий, включая следующие:

  1. Использование, проверка и синтаксический анализ огромного количества файлов JSON.
  2. Вызов хранимой процедуры SQL для извлечения элементов данных из файлов JSON, причем данные используются для построения поведенческих профилей банковских счетов и клиентов в режиме реального времени и для создания набора функций аналитики.
  3. Вызов модели машинного обучения для оценки каждого отдельного пользователя транзакция.
  4. Отправка результатов оценки мошенничества обратно в локальный API для интеграции с решением для управления обращениями (отдельное решение, которое позволяет пользователям проверять и разблокировать транзакции).

Рекомендуемые следующие шаги

Если вы разрабатываете бессерверный конвейер передачи данных в режиме реального времени и ищете гибкость в кодировании собственных методов для интеграции с другими службами или для развертывания с помощью непрерывной интеграции, рассмотрите возможность использования Azure Функции для организации конвейера и управления им.

Прочтите “Руководство по решению проблемы мошенничества в мобильном банке”, чтобы узнать подробности об архитектуре и реализации. Подробнее о решении и реализации конвейерной технологии читайте в этих двух блогах: “Рассматриваем функции Azure для сценария бессерверной потоковой передачи данных” и “Быстрый бессерверный конвейер больших данных, работающий на базе одной функции Azure”. Мы надеемся, что вы найдете это полезным, и мы будем рады вашим отзывам.

beinginthecloud.com – URL-адрес сайта-источника

Поделиться

Другие новости

Перенос базы 1с на облако

SQLite
Новости про облачные технологии

SQLite забавные факты

📌 SQLite: Невидимый гигант в мире баз данных SQLite – это не просто очередная база данных. Она – невидимый гигант, тихий и мощный, основа для бесчисленных приложений, которые мы используем каждый день. Ее распространенность поистине удивительна, и она является непременным компонентом нашей цифровой жизни. Факт 1: Миллиарды копий и триллионы

Читать »
ИТ-санкции
ИТ новости России

ИТ-услуги под санкциями США, чем ответит Россия

США вводят санкции против ИТ-сектора России: подробности и влияние 12 июня 2024 года США объявили о новых санкциях, направленных на изоляцию российского ИТ-сектора от остального мира. Ограничения: Вступление в силу: санкции вводятся поэтапно: Цели санкций: Ответ России: Влияние санкций: Долгосрочные последствия: Ростелеком инвестирует в программное обеспечение Компания запускает венчурный фонд «Консоль» с первоначальным объёмом

Читать »
IT-рынок
Новости про облачные технологии

IT-рынок: Аншлаг и бардак. Мнение.

IPO компании IVA Technologies – это не просто выход на биржу, это заявление о намерениях стать ключевым игроком на бурно развивающемся, но хаотичном рынке российского IT. Генеральный директор компании, Станислав Иодковский, в интервью Ведомостям, описал этот рынок как сочетание аншлага и бардака. Аншлаг – это, безусловно, огромный спрос на отечественные

Читать »
AI’s Insatiable Data-Center
ИТ новости России

Nvidia собирает сливки, от майнинга до ИИ

Во время золотой лихорадки обогащаются продавцы лопат Nvidia на вершине технологического Олимпа Nvidia, компания, которая всего несколько лет назад была известна своим “железом” для геймеров, сегодня прочно заняла место на вершине технологического мира. Рыночная капитализация Nvidia превысила $3 трлн, обогнав Apple и заняв второе место среди публичных американских компаний после

Читать »
Нейро кладбище
Новости про облачные технологии

Нейрокладбище – “ритуалы” входят в ИТ

Мир технологий не стоит на месте, и даже смерть не стала преградой для инноваций. Россия, страна, известная своим особенным отношением к смерти. Где еще можно встретить поминание памятных дат связанных с днем смерти известных личностей прошлого. Эта инициатива стала результатом сотрудничества ритуальной службы Ритуал.ру и ростовской ИТ-компании Dragons Code. Нейродвойники

Читать »
ИТ-знания
ИТ новости России

Рейтинг ВУЗов дающих ИТ-знания

ИТ-знания – инструмент “рабочего класса” 21 века Инвестиции в знания: где получить образование, которое принесет наибольшую прибыль в России? Бенджамин Франклин говорил: “Инвестиции в знания приносят наибольшую выгоду”. Его слова особенно актуальны сегодня, в эпоху бурного развития информационных технологий. ИТ-знания дают выпускникам престижных вузов высокие зарплаты и перспективное будущее. Рейтинг

Читать »

Добро пожаловать в бизнес-клуб!

Помогаем развивать бизнес.

Хотите прочную платформу для мощного старта? 

АО “Глобальный сервис” это:

Чтобы стать участником клуба

заполните форму