Proces analizy danych z wykorzystaniem narzędzi dostępnych na platformie Azure można przeprowadzić za pomocą następujących usług:
Bazy danych
Azure SQL Server – Baza danych która w zależności od potrzeb może być dostępna jako usługa infrastruktury (IaaS) gdy w chmurze konfigurujemy wirtualną maszynę wraz z bazą danych SQL Server, drugą możliwością jest wykupienie usługi samego serwera w chmurze (PaaS). Niezależnie od formy wykupionej usługi dostajemy w pełni funkcjonalną relacyjną bazę danych.
Azure Data Warehouse – Jest to baza danych SQL Server zaimplementowana w architekturze MPP (massively parallel processing) i udostępniona jako platforma (PaaS). Przetwarzanie i magazynowanie danych są rozdzielone od siebie a dane rozrzucone po wielu niezależnie działających węzłach. Baza cechuje się skalowalnością którą możemy w zależności od potrzeb manualnie lub automatycznie zmieniać. Azure data Warehouse przeznaczona jest do magazynowania danych przewyższających wielkością 2 terabajty.
Magazyny danych
Data Lake Store – Usługa przechowywania danych oparta na technologii Hadoop HDFS przeznaczona jest do przechowywania dużej ilości danych z czego pojedyncze pliki mogą zajmować praktycznie nieograniczoną wielkość, posiadać strukturę lub być nieustrukturyzowane. Data Lake Store przechowuje części pojedynczych plików rozproszone na wielu serwerach, taka architektura zapewnia wysoką wydajność podczas odczytu danych. Przeznaczony jako magazyn danych do analiz Big Data.
Blob Storage – Podstawowa usługa przechowywania danych, umożliwi zapis zarówno ustrukturyzowanych jak i nie ustrukturyzowanych plików ustrukturyzowanych plików. Znajduje wiele zastosowań np. do przechowywania dokumentów, jako magazyn backupów, magazyn dla wirtualnych dysków, magazyn przechowywania danych do analiz.
Table Storage – Usługa przechowywania danych w tabelach NoSQL, zapisuje dane jako kombinacje klucza i wartości. Rozwiązanie cechujące się szybkim dostępem i niewielkimi kosztami idealnie nadaje się do przechowywania danych dla aplikacji, może być alternatywą dla droższych rozwiązań opartych o bazy danych SQL Server.
Transformacja danych
HDInsight – Implementacja Hadoopa na platformie Azure, Microsoft do tego Open Source-owego narzędzia zapewnia SLA na poziomie 99,9% do tego całodobową pomocą techniczną oraz integrację z Azure Active Directory. Usługa stworzona do przetwarzań Big Data, czyli dużych wolumenów danych przy ograniczaniu kosztów związanych z przetwarzaniami.
Machine Learning – Usługa przygotowana do budowy modeli predykcyjnych. Microsoft oprócz usługi w chmurze oferuje narzędzia do budowy analiz oraz zestaw już przygotowanych algorytmów matematycznych gotowych do użycia.
Ładowanie danych
Data Factory – Usługa ładowania danych zarówno ze źródeł on-premise jak i w chmurze. Nie jest to typowe rozwiązanie ETL\ELT jednak dzięki integracji z innymi usługami dostępnymi w Azure można budować potoki danych które będą przekształcały wejściowe dane pod konkretne analizy. Data Factory umożliwia planowanie uruchomień potoków jak również monitorowanie zaplanowanych ładowań.
Analiza Danych
Azure Analysis Services – Umożliwia szybką analizę danych przechowywanych w usługach w chmurze jak i źródłach on-premises, usługa pozwala na budowanie modeli danych zintegrowanych z usługą Azure Active Directory opierając dostęp o grupy użytkowników. Dostęp do danych jest zabezpieczany na wielu poziomach a restrykcje można budować na poziomie dostępu do obiektów, kolumn lub wierszy.
Data Lake Analytics – Umożliwia równolegle analizowanie dużych ilości danych których wielkość może dochodzić do petabajtów, dane analizowane mogą być z wykorzystaniem aplikacji pisanych w Pythonie, R, .Net, U-SQL. Usługa integruję się z Azure Active Directory i oferuję kontrolę dostępu do danych opartą o role.
Wizualizacja danych i projektowanie dashboardów
Power BI – jest programem do analizy danych i projektowania raportów, powiązanym z zestawem usług online, takich jak publikowanie i udostępnianie. W środowisku aplikacji o nazwie Power BI najważniejszą rolę odgrywają:
- Power BI Desktop – jest to bezpłatna aplikacja działająca na komputerach z systemem Windows, pozwalają na połączenie z danymi, budowę raportu i zapis do pliku oraz publikację raportu w usłudze Power BI Online.
- Power BI Online – jest to serwer raportowy dostępny przez przeglądarkę i aplikację na urządzeniach mobilnych, który łączy w sobie funkcjonalności Power BI Desktop (bez możliwości zapisu pliku na komputer) z możliwościami udostępniania raportów, dzielenia się nimi, komentowania, ustawiania procesów odświeżania danych i innych.
Czytaj więcej o Power BI i zobacz przykładowy dashboard.