Działanie Query Folding

Łącząc się z serwerowym źródłem danych (np. bazą Microsoft SQL Server), Power Query tłumaczy wykonane operacje na język źródła danych. W przypadku wspominanego SQL Servera wygenerowane zostanie zapytanie w języku T-SQL, a kalkulacje zostaną przeprowadzone już w źródle – przed pobraniem danych przez PQ. Dzięki temu do Query może być pobranych mniej danych, co jest bardzo ważnym aspektem działania Query Folding. Przykładowo, jeśli baza danych zawiera 100 mln rekordów, ale interesują Cię tylko dane z tego roku (5 mln rekordów), Query Folding przyspieszy niesamowicie działanie zapytania, pobierając tylko potrzebną część danych. Operacja ta ma 2 ograniczenia:

1. Nie każde źródło obsługuje Query Folding

Mechanizm Query Folding wspierają:

• relacyjne bazy danych,
• modele Analysis Services,
• Azure Marketplace,
• listy SharePoint,
• Exchange,
• Active Directory,
• HDFS i niektóre operacje na systemie plików.

Query Folding nie działa m.in. dla plików Excel i tekstowych – wszystkie zmiany wykonane są lokalnie na naszym komputerze.

2. Nie wszystkie wykonane działania mogą być przeniesione na źródło

W przypadku baz danych dużą część operacji możesz przerzucić na źródło, m.in.:

• agregacja,
• filtracja,
• pivot/unpivot,
• proste kalkulacje liczbowe,
• proste transformacje tekstowe,
• złączenia wertykalne (union),
• złączenia horyzontalne (join).

Szczegółowa dokumentacja w tym zakresie po stronie Power Query jest niestety uboga i potrzebne są własne testy.

Część z wykonywanych w Power Query operacji może być przerzucona do źródła, a część nie. Taka sytuacja nazwa się Partially Query Folding. Ważne jest, że gdy następuje czynność nieprzerzucana na źródło, wszystkie występujące w sekwencji po niej nie zostaną wykonane na źródle. Dlatego warto jest zaplanować działania w taki sposób, by jak najwięcej z nich zostało wykonanych na źródle: na początku wykonywane na źródle, na końcu nie.

Przykład Query Folding dla bazy SQL Server

Połączę się z tabelą znajdującą się w bazie danych SQL Server. W tym celu uruchamiam zakładkę Dane> Pobieranie i przekształcanie > Nowe zapytanie > Z bazy danych > Z bazy danych programu SQL Server.

Wprowadzam parametry: nazwę serwera oraz bazę danych.

Wybieram tabelę z danymi dotyczącymi budżetu i ładuję ją jako połączenie do Power Query. By pokazać jakie działania będą przekazywane na źródło, dokonam różnych modyfikacji danych.

W pierwszej kolejności przefiltruję kolumnę typ danych i wybiorę z niej jedynie typ budżet.

Następnie grupuję dane według kolumn MPK, Kategorii biznesowej, Konta, Spółki, Typu danych oraz partnera. Polem agregacji będzie Kwota w kPLN.

W kolejnym kroku w kolumnie Partner odfiltruję wartości null.

W kolumnie Typ danych zmieniam poprzez Prawy przycisk myszy na nazwie kolumny > Przekształć > Małe litery.

Po wykonaniu wszystkich tych operacji widzę listę zastosowanych kroków.

Monitorowanie działania Query Folding

By przekonać się, które z operacji są przekazane do źródła w Power Query, wystarczy wybrać z listy kroków jeden z nich, wyświetlić menu podręczne. Powinna się na nim znaleźć pozycja Wyświetl zapytanie natywne. Jeżeli jest ona aktywna, to wybrany krok oraz wszystkie przed nim są przekazane do źródła (Query Folding działa w całości). Jeżeli jest inaczej, wówczas wybrany krok na pewno nie jest przekazany do źródła i możliwe że wcześniejsze również (by dowiedzieć się który z kroków hamuje przekazanie danych do źródła należy sprawdzić dla nich aktywność opcji Wyświetl zapytanie natywne).

Przykładem operacji, która nie jest przekazywana do źródła to transpozycja. Przekształć > Tabela >Transponuj.

Na liście kroków pojawił się nowy Trasponowano tabelę. Jak widać poniżej, opcja Wyświetl zapytanie natywne jest nieaktywna dla tego kroku, więc od tego kroku działanie nie jest przekazywane do źródła.

Kiedy dane nie są przekazywane do źródła?

Istnieje jeszcze wiele innych sytuacji, w których nie istnieje możliwość przekazania danych do źródła (Query Folding zostaje wyłączone):

• gdy używamy źródła, które nie obsługuje Query Folding.
• użycie funkcji .Buffer() języka M – funkcja ta powoduje zaczytanie wszystkich danych do pamięci Power Query. Przydaje się, gdy chcemy uniknąć wielokrotnego pobierania danych z bazy SQL, z dysku czy witryny internetowej. Polecenie buffer załaduje dane do pamięci i przestanie składać zapytania do źródła.
• użycie własnego polecenia SQL do pozyskania danych z bazy SQL
• niektóre z transformacji np. filtrowanie według opcji Ten miesiąc dla kolumny z datą.

Wyświetlenie zapytania natywnego nie jest możliwe

• ustawienia poziomów prywatności (opisane we wcześniejszym artykule https://skuteczneraporty.pl/ignoruj-poziom-prywatnosci-prosty-sposob-na-przyspieszenie-power-query/), mają one znaczenie gdy przesyłane są dane wrażliwe pomiędzy źródłami danych.
• użycie opcji usunięcia wierszy z błędami: Narzędzia główne > Zmniejsz wiersze > Usuń błędy.

• użycie i definiowanie własnych funkcji w Power Query.

Opcja Wyświetl zapytanie natywne wyłączyła się w innej sytuacji?

Podziel się w komentarzu.

Parametr jako połączenie z bazą danych

Rozwiązanie te może znaleźć zastosowanie gdy różne bazy danych, o tej samej strukturze, ale o innych nazwach czy lokalizacjach, są wykorzystywane do budowy analogicznych raportów. Wówczas by zobaczyć wygląd, już skonstruowanego raportu na innych danych, nie ma konieczności budowy go od nowa, a jedynie zmienić bazę z którą się łączy.

Narzędzia główne > Edytuj zapytania > Edytuj zapytania > Narzędzia główne > Zarządzaj parametrami > Nowy parametr 

Dodaję dwa parametry, jak na załączonych poniżej screenach: jeden z nich będzie nazwą bazy danych, z którą będę się łączyć, a drugi z nich będzie serwerem na którym ta baza się znajduje. W obu jako typ parametru wybieram: Tekst , sugerowane wartości jako Lista wartości . Wprowadzam po trzy elementy moich list wartości w parametrach. Jako wartość domyślą oraz bieżącą wybieram jedną z wpisanych na liście (przy pierwszym połączeniu właśnie wartości bieżące wskażą źródło danych).

Następnie łączę się z bazą danych poprzez > Narzędzie główne > Nowe źródło > SQL Server > gdzie wybieram po lewej stronie z listy rozwijanej Parametr , ponieważ chcę w tym miejscu wykorzystać utworzony wcześniej parametr ServerName , a poniżej NazwaBazy (jak sama nazwa mówi, by połączyć się z konkretną bazą).

Następnie by zmienić bazę na inną, czy też serwer wybieram > Narzędzia główne > Edytuj zapytania > Edytuj parametry , gdzie mogę zmienić ich bieżącą wartość.

Parametr jako filtr kolumn w źródle

Parametr mogę wykorzystać również jako filtr pozwalający na wybór kolumny ze źródła danych. Tworzę parametr w Edytorze zapytań o nazwie Kolumna , dla którego ustawiam parametry jak na zdjęciu poniżej. W sugerowanych wartościach listy wpisuję nazwy kolumn ze źródła danych, z którym będę się łączyć czyli z Excelem, wybieram wartość domyślną oraz bieżącą > OK > Zamknij i załaduj by wyjść z edytora.

Następnie poprzez Narzędzia główne > Pobierz dane > Excel > wybieram plik > Otwórz > wybieram arkusz który chcę zaimportować > Edytuj >

Zaznaczam kolumnę Sprzedawca > prawy przycisk myszy > Usuń inne kolumny. Dzięki czemu w widoku danych powinna być widoczna jedna kolumna.

Przy pomocy parametru będę wybierać widoczną kolumnę Narzędzia główne > Zapytanie > Edytor zaawansowany > w miejscu zaznaczonym na niebiesko obecnie widzę nazwę kolumny „Sprzedawca” , czyli tą którą przed chwilą pozostawiłem.  Tym miejscu umieszczam nazwę parametru Kolumna (bez cudzysłowu) > OK.

W zależności od tego jaka wartość parametru jest wybrana jako bieżąca , taka też zostanie zaprezentowana w Edytorze. By zmienić kolumnę należ edytować parametr i wybrać jego inną wartość. (Narzędzia główne > Edytuj zapytania > Edytuj parametry > potwierdzić wprowadzenie zmian na żółtym pasku > Zastosuj zmiany).

Poniżej zdjęcie gdzie widać, że wartość parametru Kolumna to Sprzedawca, która jest widoczna na raporcie oraz w obszarze pól do wyboru.

Szablon pliku Power BI z parametrem

Wykorzystując już wcześniej stworzony model w Power BI wraz z parametrami i danymi możemy zapisać go jako szablon Power BI. Czym jest szablon? Jest to model danych, zawierający już połączenia, parametry, definicje raportów, zapytań, ale nie zawierający danych. Szablony służą do szybkiego wdrażania istniejących modeli tzn. tworząc parametry z szablonu, możemy tworzyć pliki/raporty z różnymi konfiguracjami parametru. Korzystamy wówczas z jednej utworzonej struktury, by stworzyć w szybki sposób kolejne.

Mogę go stworzyć w bardzo łatwy sposób Plik > Eksportuj > Szablon usługi Power BI. Przed zapisem mogę dodać jeszcze opis do tworzonego szablonu. Po otwarciu pliku szablonu (rozszerzenie .pbit) program załaduje pusty model i zapyta o wartości parametrów.

Tworzenie parametru w postaci listy z zapytania

Na początku załaduję dane dla roku 2017 oraz dane sprzedawców (odpowiednie Arkusze w pliku Excel „Dane”) , które połączę w model danych, przy pomocy pola ID Sprzedawcy. Power BI tak naprawdę sam odnajduje relacje pomiędzy tabelami, ja mogę jeszcze upewnić się, edytując ją, czy jest poprawna.

Przechodzę do Edytora zapytań (Narzędzia główne > Edytor zapytania). Otwieram zapytanie sprzedawcy, zaznaczam kolumnę Województwo > prawy przycisk myszy > Dodaj jako nowe zapytanie.

W tym momencie w widoku po prawej stronie zobaczę nową listę Województwo.

W kolumnie znajdują się wszystkie wartości z zapytania Sprzedawcy, a więc nazwy województw powtarzają się. Usuwam duplikaty z listy , zaznaczam kolumnę > Przekształć > usuń duplikaty

Następnie dodaję nowy parametr (Narzędzia główne > Zarządzaj parametrami > Nowy parametr). Z danymi wprowadzonymi jak poniżej (oznaczam pole Wymagane, ponieważ parametr nie będzie wymagany w moim modelu).

Przechodzę do zapytania Sprzedawcy  i filtruję je po parametrze Woj (Filtry tekstu > Równa się > Parametr > Woj > OK > Zamknij i zastosuj)

Następnie wybieram pola: Sprzedawca, Wartość sprzedaży (z zapytania 2017) oraz Województwo (z zapytania Sprzedawcy, ponieważ właśnie to pole wcześniej filtrowałem z użyciem parametru). Następnie w filtrach przechodzę do filtru dla Województwa > wybieram Filtrowanie Zaawansowane > Pokaż elementy, jeśli ich wartość nie jest pusta.

Dzięki temu zabiegowi w obszarze raportu będą widoczne jedynie dane , które są zgodne z wartością parametru.

Uwaga!

Należy pamiętać, aby relacje pomiędzy tabelami działały prawidłowo, więc kluczowe jest tu ustalenie typu połączenia pomiędzy filtrującą tabelą/kolumną Województwo, a pozostałymi tabelami (w tabeli Sprzedawcy nazwa województwa może pojawić się wielokrotnie).

Aby istniała możliwość utworzenia z tabel relacyjnego modelu danych, przynajmniej w jednej z nich musi występować klucz główny (zwany też podstawowym) –  kolumna służąca do identyfikacji poszczególnych rekordów tabeli. Wartości w kluczu podstawowym muszą być unikalne, aby istniała możliwość przypisania jednego wiersza tabeli do jednej wartości klucza. Zazwyczaj funkcję takiego klucza spełnia numer porządkowy:

W powyższym przykładzie jest to tzw. klucz jednopolowy – identyfikacja rekordu odbywa się przy pomocy jednego pola w wierszu. Istnieją także klucze złożone (wielopolowe) – w ich przypadku identyfikacja odbywa się przy pomocy więcej niż jednej kolumny. Unikalne jest zestawienie komórek tworzących klucz w wierszu. Niestety w PowerPivot nie mamy możliwości zastosowania klucza złożonego. Możemy obejść tą kwestię tworząc kolumnę z unikalnymi wartościami na podstawie komórek które mogą tworzyć klucz złożony, np. poprzez proste połączenie występujących tam znaków (o tworzeniu kolumn przeczytasz tutaj):

W powyższej tabeli możemy zauważyć, że ani kolumna nr producenta, ani typ produktu nie zawiera unikalnych wartości, jednakże zestawienie wartości w tych dwóch komórkach jest unikalne dla każdego wiersza. Na tej podstawie tworzymy trzecią kolumnę która może spełniać warunek klucza podstawowego. Relację ustanawiamy pomiędzy dwoma tabelami na podstawie wartości klucza podstawowego w jednej tabeli i kolumny w drugiej tabeli zawierającej wartości klucza podstawowego z tabeli pierwszej. Wyróżniamy trzy rodzaje relacji:

– jeden do jednego – w tego typu relacji jednemu rekordowi z tabeli A odpowiada tylko jeden wiersz z tabeli B. Rodzaj ten występuje stosunkowo rzadko, ponieważ wszystkie informacje przechowywane w ten sposób można zamieścić w jednej tabeli.

– jeden do wielu – jednemu rekordowi z tabeli A odpowiada wiele rekordów z tabeli B. Jest to najpowszechniejszy typ relacji.

– wiele do wielu – rekord w tabeli A może mieć wiele dopasowanych wiele wierszy z tabeli B oraz odwrotnie – rekord z tabeli B może mieć dopasowanych wiele wierszy z tabeli A. Taki typ jest możliwy do zdefiniowania tylko poprzez dodanie do modelu trzeciej tabeli (zwanej tabelą łącza), w której będą znajdowały się wartości kluczy podstawowych tabel A oraz B

Możliwość tworzenia relacji pomiędzy tabelami (a tym samym relacyjnej bazy danych) istnieje w programie Microsoft Excel już od dawna. W tym celu należy kliknąć DANE > Relacje > Nowy a następnie ustawić odpowiednie tabele i kolumny w polach Tabela, Pokrewna tabela, Kolumna (obiekt obcy) oraz Pokrewna kolumna (obiekt podstawowy):

Dzięki dodatkowi PowerPivot możemy stworzyć relacje w sposób nieco prostszy, intuicyjny i bardzo poglądowy. W pierwszej kolejności należy dodać tabele do modelu danych – jeżeli znajdują się one w arkuszach Excela, wystarczy kliknąć wewnątrz nich kursorem zaznaczając dowolną komórkę a następnie wybrać POWERPIVOT > Dodaj do modelu danych:

O innych sposobach dołączania tabel do modelu danych przeczytasz w tym artykule.

Otworzy się okno dodatku PowerPivot, które będzie wyglądać będzie podobnie do tego:

Jeżeli zamiast widoku podobnego do powyższego widzimy tabelę, oznacza to że mamy włączony widok danych zamiast widoku diagramu. Zmieniamy to w zakładce Narzędzia główne > Widok > Widok diagramu: Do modelu dodajemy także drugą tabelę. Relację tworzymy w bardzo prosty sposób – po prostu klikamy na nazwę kolumny znajdującej się w polu tabeli, po czym przeciągamy ją na nazwę kolumny w drugiej tabeli. Wybieramy oczywiście kolumny w oparciu o które możemy utworzyć relację. Przy tej czynności nie ma znaczenia kierunek przeciągania (taki sam efekt otrzyma się przeciągając nazwę kolumny z tabeli A do B, jak i z B do A):

Taki sposób tworzenia relacji jest szczególnie przydatny podczas tworzenia skomplikowanych modeli danych, takich jak poniższy:

Widok diagramu jest dużo bardziej poglądowy niż tabelaryczne zestawienie wszystkich relacji w Excelu:

Swój pierwszy prosty model danych można stworzyć przy pomocy naszego pliku. Wystarczy go pobrać i utworzyć relację pomiędzy tabelami Kody pocztowe oraz województwa na podstawie kolumn (odpowiednio) woj. oraz województwo. Tworzenie takiego modelu jest podstawową umiejętnością, która pozwoli zagłębić się nam w ciekawy i bardzo praktyczny świat analizy danych oraz raportowania ad-hoc.

Plik z przykładowymi danymi: Relacyjna baza danych