Co to jest DirectQuery?

Przy budowie raportu Power BI w połączeniu z bazami danych polecany jest tryb importu. Jednak jeśli danych jest zbyt dużo lub chcemy raport odświeżać na bieżąco, mamy także do dyspozycji tryb połączania na żywo, nazywany DirectQuery.

Po kliknięciu OK i następnie Załaduj żadne dane nie są importowane do raportu Power BI. Zamiast tego podczas tworzenia wizualizacji zapytania są wysyłane do bazy w celu pobrania niezbędnych danych. Czas potrzebny na odświeżenie wizualizacji zależy od wydajności źródła danych. Co ciekawe, zmiany w danych źródłowych nie są natychmiast aktualizowane – nadal trzeba je odświeżyć, klikając coś na raporcie w celu wysłania nowego zapytania.

Więcej o DirectQuery: https://docs.microsoft.com/en-us/power-bi/connect-data/desktop-directquery-about

Krok 1: Połącz się z bazą danych SQL Server

W swoim przykładzie łączę się z bazą danych Adventure Works od Microsoft. Oto prosty model, z którego korzystam:

Krok 2: Utwórz parametr w Power Query

W scenariuszu wykorzystam jako parametr, pole Color z tabeli Production Product. Pierwszą z rzeczy, którą należy wykonać, jest utworzenie parametru w Power Query: Zarządzaj parametrami > Nowy parametr.

Nadaję nazwę parametrowi, wybieram Typ parametru jako Tekst oraz Sugerowane wartości jako Lista wartości. Następnie wprowadzam listę kolorów, wartość domyślną dla parametru oraz wartość bieżącą. Wybieram OK. Parametr został utworzony.

Krok 3: Umieść parametr w zapytaniu Power Query

Następnie parametr musimy wkomponować w istniejące zapytanie, aby faktycznie zobaczyć jego wpływ na dane. W przykładzie jedno z zapytań (Product) jest skonstruowane przy pomocy warunku filtrowania dla pola kolor, w którym kolor zastąpię wcześniej utworzonym parametrem Param_Color. Otwieram edytora zaawansowanego, gdzie będę modyfikować kod.

Krok 4: Zbuduj tabelę w modelu danych Power BI

Aby zmiana parametru była dynamiczna, muszę skonstruować listę kolorów, którą wykorzystam na fragmentatorze. W tym celu wykorzystam „Wprowadź dane” na Narzędziach głównych (Power Query lub w Power BI) i wprowadzę listę elementów, które chcę widzieć w raporcie.

Krok 5: Powiąż parametr z polem

Po jej utworzeniu przechodzę do widoku modelu > znajduję utworzoną tabelę > zaznaczam kolumnę z kolorem, aby to dla niej wyświetlić właściwości.

Na końcu w sekcji z właściwościami zaawansowanymi rozwijam Powiąż z parametrem, a na wyświetlonej liście wybieram nazwę utworzonego parametru. Po powiązaniu z parametrem pojawiają się dodatkowe opcje, związane z możliwością wielokrotnego wyboru.

Krok 6: Zbuduj fragmentator

Na wizualizacji w tabeli po lewej stronie wykorzystane są kolumny z modelu danych, natomiast w filtrze po prawej stronie znajduje się ręcznie wprowadzona lista kolorów powiązana z parametrem w Power Query.

Podsumowanie parametrów Power Query w Power BI

Dzięki zastosowaniu dynamicznych parametrów pobierana jest jedynie niezbędna ilość danych zdefiniowana przez wartość parametru. Deweloper ma dzięki temu większą kontrolę nad pobieranymi danymi (optymalizacja), a użytkownik szybciej działający raport.

Od maja 2019 w Power BI dostępna jest funkcjonalność Performance Analyzer (po polsku trochę gorzej brzmiący Analizator wydajności) , która w walce o poprawę wydajności niezwykle pomaga. W jaki sposób zbadać, co spowalnia nasz raport?

Gdzie znaleźć Analizator wydajności?

Znajduje się na karcie Widok > Analizator wydajności.  

Do czego służy Analizator wydajności?

Pozwala zidentyfikować operacje wykonywane “na raporcie” podczas interakcji użytkownika z raportem. Sumuje czasy wykonywania poszczególnych operacji dla każdej z wizualizacji, pozwalając na porównanie czasów ich trwania. Zebrane dane można również pobrać i poddać dalszej analizie, ponieważ zawierają dużo bardziej szczegółową informację dotyczącą wykonanych operacji.  Daje również możliwość skopiowania zapytań DAX generowanych podczas odświeżania wizualizacji.

Powiązanie działań użytkownika a wizualizacji i zapytań, podstawowe informacje

Po uruchomieniu Analizatora wydajności po prawej stronie pojawi się dedykowany mu panel, z kolejnymi funkcjonalnościami.

Aby sprawdzić wydajność na początku należy wybrać przycisk Rozpocznij nagrywanie, co uruchomi rejestrację kolejnych zdarzeń i ich pomiar. By wywołać jakieś akcje możliwe do zarejestrowania, wystarczy wykonać działania na raporcie lub wybrać Odśwież wizualizacje, co w efekcie spowoduje odświeżenie wszystkich wizualizacji na aktualnej karcie raportu.

Po wybraniu Odśwież wizualizacje, wygenerowana zostanie lista odświeżonych wizualizacji wraz z czasem ich trwania. Całą listę można wygodnie posortować, według widocznych na poniższym screenie kategorii.

Często korzystając z listy elementów Analizatora wydajności trudno odgadnąć, z którą wizualizacją mamy do czynienia, więc warto je nazywać. Z panelu Wybór.

Możemy też wybrać dany element z widoku raportu, a zostanie podświetlony na liście w Analizatorze wydajności i na odwrót.

Warto pamiętać o tym, że jeżeli nie zatrzymamy nagrywania w Analizatorze, wówczas każde działanie zostanie „nagrane” i odzwierciedlone w analizie. Co po pewnym czasie może wygenerować dość długą listę…

Jednak nie ma się czym martwić bo listę (warto pamiętać, że całą) można wyczyścić przy pomocy przycisku „Wyczyść” .

Bardzo przydatną opcją jest możliwość zmierzenia wydajności jednej wybranej wizualizacji, poprzez wybranie przycisku Odśwież tę wizualizację , opcja ta jest możliwa jedynie w momencie kiedy widoczny jest panel Analizatora wydajności.

Szczegółowe informacje dotyczące Analizatora Wydajności

Czas generowania/odświeżania danej wizualizacji jest mierzony na różnych płaszczyznach :

• Zapytanie DAX – czas potrzebny na otrzymanie wyniku zapytania DAX towarzyszącego danej wizualizacji

• Wyświetlenie elementu wizualnego – czas potrzebny na utworzenie wizualizacji opartej na kalkulacji DAX
• Inne – czas oczekiwania na wygenerowanie innych wizualizacji, można nazwać to czasem oczekiwania w kolejce na wygenerowania innych wizualizacji

Opcja, która pozostała jeszcze do omówienia, to Kopiuj zapytanie. Pozwala na przechwycenie zapytania, które towarzyszy wygenerowaniu danej wizualizacji.

Wyniki Analizatora wydajności, czyli całą listę operacji wraz z czasami, również możemy wyeksportować do pliku .json przy pomocy przycisku Eksportuj. A w kolejnych krokach wykorzystać jako źródło do wizualizacji w Power BI i zaprezentować wyniki wydajności w raporcie.

Na ciekawe aspekty wyników otrzymanych w Analizatorze wydajności zwraca również uwagę Seequality, a mianowicie:

• wykorzystanie cache przy odświeżaniu wizualizacji, co może zaburzać prawidłowość otrzymanych wyników w Analizatorze  
• synchronizacja slicerów pomiędzy stronami raportu, które również wpływają na czas odświeżenia wizualizacji, co widać w części Inne.

Podsumowanie

Analizator wydajności jest bardzo przydatnym narzędziem, pozwalającym na rozpoczęcie pracy z optymalizacją tworzonego przez nas raportu, ale też łatwe jej sprawdzenie. Szybko wskazuje miejsca, gdzie może być problem z wydajnością i daje możliwość wyeksportowania wyników analiz. Warto jednak pamiętać o takich kruczakach jak część Inne czy mierzenie wydajności bez wyczyszczenia cache. Dla ciekawskich Microsoft udostępnił dodatkowe informacje na GitHubie.

Czym są ustawienia prywatności danych w Power Query?

Ustawienia prywatności pozwalają na określenie poziomu izolacji jednego źródeł danych od innych. Dzięki temu Power Query zapobiega wyciekaniu danych podczas łączenia danych z różnych źródeł. Istnieje ryzyko, że posiadając w skoroszycie poufne dane, np. numer PESEL, zechcesz połączyć się z danymi z serwera lub źródła internetowego. Twoje dane mogą być przesyłane na serwer w celu wygenerowania zapytania, tym samym możesz nawet nieświadomie przekazać prywatne dane do publicznego źródła.

Aby zapobiegać tego typu przypadkom, firma Microsoft stworzyła ustawienia prywatności danych, które mają za zadanie:

• oddzielić od siebie różnego typu dane,
• zapobiec przesyłaniu czy wyciekaniu danych prywatnych czy organizacyjnych do publicznego źródła.

Poziomy prywatności danych

Rozróżniamy trzy poziomy prywatności danych:

• prywatne – może zawierać poufne dane, które mogą być widoczne jedynie dla autoryzowanych użytkowników, prywatne źródło danych jest całkowicie odizolowane od innych źródeł danych np. skoroszyt zawierający dane pracowników, dane z Facebooka.
• organizacyjne – zwykle dane te są dostępne dla zaufanej grupy użytkowników, dane organizacyjne są odizolowane od danych publicznych jednak widoczne dla innych danych na poziomie organizacyjnym, jako przykład takich danych można podać dokument umieszczony w intranecie SharePoint, udostępniony dla pewnej zaufanej grupy użytkowników. Często to właśnie ten typ danych używany jest jako domyślny przez użytkowników, jednak model prywatności danych nadal działa, co wciąż wpływa na szybkość zapytań.
• publiczne – pozwala na podejrzenie danych przez wszystkich użytkowników znajdujących się w źródle danych; jedynie pliki, internetowe źródła danych, skoroszyty mogą być określone jako dane publiczne. Przykłady danych to źródła udostępnione w Microsoft Azure Martketplace, dane z Wikipedii, lokalny plik z danymi skopiowanymi z publicznej strony internetowej.

Gdzie znaleźć Ustawienia prywatności danych?

Ustawienia prywatności są dostępne z poziomu Power Query i podzielone na globalne oraz bieżące:

• Excel 2016  – Dane > Nowe Zapytanie > Opcje dodatku Query > Opcje zapytania > Prywatność

• Excel 2010/2013  – Power Query > Ustawienia > Opcje > Opcje zapytania > Prywatność

Co oznaczają dostępne opcje?

• Zawsze łącz dane zgodnie z ustawieniami poziomu prywatności dla każdego źródła – jest to ustawienie tylko globalne, więc dla wszystkich skoroszytów, ale również możliwe jedynie dla wybranego skoroszytu.
• Zawsze ignoruj ustawienia poziomu prywatności – całkowicie wyłączy sprawdzanie poziomów prywatności ale jednocześnie przyspieszy pracę.
• Połącz dane zgodnie z ustawieniami poziomu prywatności dla każdego pliku – wybór tej opcji umożliwia wybranie ustawień prywatności w części Bieżący skoroszyt. Przy wyborze innych opcji  ustawień globalnych, ustawienia dla bieżącego skoroszytu z automatu są nadawane  z ustawień globalnych.

Ignoruj poziom prywatności – prosty sposób na przyspieszenie zapytania

W kilku wewnętrznych testach potwierdziło się, że Power Query działa najszybciej, gdy poziom prywatności jest ignorowany. Zatem jeżeli wiesz, że nie musisz się skupiać na poziomach prywatności danych, warto dla ich sprawnego odświeżenia wybrać tę opcję. Dodatkowo możesz także wybrać opcję szybkiego ładowania danych, co także może przyspieszyć ładowanie zapytania.

Zarządzanie poziomem prywatności źródeł danych

W Power Query znajdziesz specjalne miejsce do zarządzania poziomem prywatności z wielu Twoich źródeł: Dane > Pobieranie i Przekształcanie > Nowe zapytanie > Ustawienia źródeł danych. Możemy tam przejrzeć oraz zmienić poziom prywatności dla każdego ze źródeł znajdujących się w skoroszycie.

Dostępne na liście poziomy prywatności to: brak, prywatne, publiczne, organizacyjne.