Kurs „Pobieranie danych w Excelu dla finansistów” – co tydzień nowe wideo

Przed Tobą 25. lekcja z serii „Pobieranie danych w Excelu dla finansistów”. W kursie ukazały się dotychczas:

• Lekcja 1. Wczytaj przyjazny plik tekstowy
• Lekcja 2. Napraw „popsuty” plik tekstowy
• Lekcja 3. Połącz dane z wielu plików i uniknij Ctrl+C i Ctrl+V
• Lekcja 4. Najgorszy plik tekstowy, jaki mi się trafił
• Lekcja 5. Pobierz dane z pliku bankowego .MT940
• Lekcja 6. Dołącz w pionie wiele arkuszy z 1 pliku
• Lekcja 7. Wstaw tabelę przestawną na zapytaniu Power Query
• Lekcja 8. Porównaj 2 pliki Excel ze środkami trwałymi
• Lekcja 9. Zbuduj w Excelu saldo kont na bazie tabeli księgowań
• Lekcja 10. Napraw scalone komórki i spivotowane dane
• Lekcja 11. Pobierz plik z dysku OneDrive lub SharePointa
• Lekcja 12 i 13. Pobierz folder plików z dysku OneDrive lub SharePoint
• Lekcja 14. Pobierz dane z plików otrzymywanych regularnie na e-mail
• Lekcja 15. Pobierz dane do Excela z pliku PDF
• Lekcja 16. Pobierz dane z wielu plików PDF na raz
• Lekcja 17. Pobierz dane z pliku plik XML z deklaracją JPK_VAT
• Lekcja 18. Automatycznie pobieraj do Excela kursy walut z NBP
• Lekcja 19. Sprawdź kontrahenta na białej liście podatników przez API
• Lekcja 20. Pobierz hurtowo dane o wielu kontrahentach z KRS API?
• Lekcja 21. Sprawdź jakość danych w Power Query
• Lekcja 22. Monitoruj błędy w danych
• Lekcja 23. Baza danych vs Hurtownia danych vs Kostka – Czym się różnią Twoje zaawansowane źródła danych?
• Lekcja 24. Połącz się z bazą danych SQL i hurtownią danych w Excelu i Power BI

Kurs bazuje na codziennych wyzwaniach z działów finansów, kontrolingu i księgowości 💲. Co tydzień pojawi się krótki film, w którym pokażę, jak każdy użytkownik Excela 💚 i Power BI 💛 może usprawnić swoją pracę.

Jeśli temat wykorzystania Power Query, Power Pivot, Power BI i dashboardów w pracy z danymi Cię interesuje, zapisz się na kurs POWER, zorganizuj szkolenie zamknięte lub weź udział w szkoleniu otwartym i rozpędź swoją karierę.

Jak zapytanie w Power Query jest tłumaczone na natywne zapytanie SQL do bazy danych?

Pozwala ona na monitorowanie i sprawdzenie, jakie zapytania są przesyłane do źródła danych. Znajduje się Power Query > Narzędzia.

Jeżeli nie możesz uruchomić Diagnostyki, wybierz wówczas przycisk Opcje diagnostyczne na pasku menu i zaznacz opcję Włącz w edytorze zapytań (nie wymaga uruchomienia jako administrator), co pozwoli Ci nadal w Power Query korzystać z diagnostyki pomimo ograniczeń administracyjnych w Twojej organizacji. Opcja ta jedna nie pozwoli Ci na pełną diagnostykę podczas odświeżania w usłudze Power BI.

Gdy uruchamiasz diagnostykę, Power Query śledzi i sprawdza każdy Twój krok. W zależności od konektora diagnostyka może rozpoczynać się nie tylko od momentu odświeżenia danych czy też pobrania ich po raz pierwszy.

Przycisk Diagnozuj krok, pozwala na sprawdzenie wydajności tylko jednego kroku, wybranego przez Ciebie, co znacznie zawęża ilość otrzymanych danych oraz całą analizę. Najbardziej przyda się w momencie, gdy zechcesz sprawdzić, jakie operacje w zapytaniu dzieją się zdalnie, a jakie lokalnie.

Aby zachować i zebrać dane z analizy o szerszym zakresie (odświeżania, pobierania danych), po wciśnięciu Rozpocznij diagnostykę należy wybrać również Zatrzymaj Diagnostykę. Przyciski te korespondują ze sobą.

Wynik analizy prezentowany jest w dwóch widokach Zagregowanym oraz Szczegółowym, które również można wybrać w opcjach diagnostyki. Wynik zagregowany jest szybką informacją o tym, gdzie i jaki czas jest poświęcony. Wynik szczegółowy jest informacją przydatną dla Power Users do analizy wykonywanych operacji (dla zwykłego użytkownika otrzymane informacje mogą być zbyt szczegółowe) .

Warto też wiedzieć, że operacje, które zostaną zarejestrowane w diagnostyce, nie zawsze wynikają z bezpośredniego działania użytkownika. Czasem mogą być związane z działaniem konektora czy pobieraniem metadanych.

Widok szczegółowy oraz zagregowany

Widok zagregowany jest sumą wielu związanych ze sobą operacji, zaprezentowanych pod zbiorczą pozycją. Oznacza to, że żadne dane w ten sposób nie są tracone, np. czasy trwania są sumowane i prezentowane pod odpowiednią pozycją.

Widok zagregowany ma na celu w łatwy sposób na wysokim poziomie zaprezentować użytkownikowi, co się działo. Jeżeli potrzebne są bardziej szczegółowe informacje dla poszczególnych operacji, wówczas wraz z Group ID można przejść do widoku szczegółowego, by zobaczyć detale.

Wykonywanie wielu ocen

Podczas odświeżania w Edytorze Power Query wiele dzieje się poza widokiem danych. Na przykład, gdy wybierzesz Odśwież podgląd, wówczas ostatni krok każdego zapytania zostanie wykonany, ale w tle w każdym zapytaniu zostaną wykonane wszystkie wcześniejsze kroki, dla których otrzymasz już wówczas wyniki diagnostyki.

Należy również pamiętać, że niesie to ze sobą pewne ryzyko, że nie zawsze otrzymamy poprawne wyniki analizy, ponieważ wykorzystywana jest pamięć podręczna.

Wynik diagnostyki

W odrębnym folderze zapytań Power Query pojawiają się zapytania z zapisanymi wynikami. Wynik posiada wiele kolumn w których znajdują się poniższe informacje:

• ID – dla analizowania wyników jednej diagnostyki ważne jest by filtrować je o wspólnym  Id
• Query – nazwa zapytania dla którego wykonywana była diagnostyka (pochodząca z okna ustawień zapytania)
• Step – nazwa kroku pochodząca z okna ustawień zapytania
• Category – rodzaj operacji
• Data Source Kind – rodzaj źródła danych z którego pozyskiwane są dane : plik, SQL czy Oracle
• Operation – aktualnie wykonywana operacja np. tworzenie połączenia, wysyłanie zapytań do źródła danych
• Start Time – czas rozpoczęcia operacji
• End Time – czas zakończenia operacji
• Exclusive Duration % – wyłączony czas trwania w % dla poszczególnych operacji z tego samego Id
• Exclusive Duration – absolutny czas trwania operacji
• Resource – dokładna nazwa źródła z którego będą pobrane dane np. ścieżka do pliku
• Data Source Query – ilość zapytań wysyłana do źródła danych
• Additional Info – dodatkowe informacje, które nie mieszczą się w pozostałych kolumnach
• Row Count – ilość wierszy wrócona przez źródło danych, kolumna nie jest dostępna we wszystkich konektorach
• Content Length – długość treści zwracana przez zapytania http
• Is User Query – przyjmuje wartości false/true, informuje, czy zapytanie/operacja było wykonane przez użytkownika, czy też jest operacją typu okna Nawigatora
• Path – pokazuje ścieżkę, kolejność wykonywanych operacji na której dana operacja się znajduje
• Group ID – pozwala na przejście i zobaczenie w widoku szczegółowym, operacji które pod tym group id istnieją, ponieważ może być ich kilka

Rejestrowanie diagnostyki

Bardzo ważną informacją jest to, że na otrzymane wyniki w ramach przeprowadzonej analizy wpływa wiele czynników a mianowicie: wykonane transformacje, system na którym pracujesz, opcje konfiguracji sieci czy Power BI, złącze…

Rozpoczęcie diagnostyki, a następnie odświeżenie podglądu, da taki sam efekt jak diagnostyka dla każdego kroku.

Warto też wiedzieć, że przycisk Odśwież podgląd lub Odśwież wszystko nie spowoduje pojawienia się w diagnostyce tylko jednego wiersza Refresh. Spowoduje natomiast wykonanie wszystkich operacji do wykonanie odświeżenia ostatniego kroku zapytania.

Jak już wspomniałem, jest tu haczyk ponieważ, ponieważ nie zawsze pokazywana w diagnostyce pozycja może kosztować np. wskazany czas. Dzieje się tak ponieważ, Power BI może wykorzystywać pamięć podręczną do tego celu. W kolejnych aktualizacjach zespół deweloperów Power BI deklaruje dodanie informacji, czy dane pobierane są z pamięci podręcznej, by usprawnić diagnostykę.

Ponieważ wyniki diagnostyki pojawiają się jako zapytania, mogą one nam posłużyć jako źródło danych dla budowy wizualizacji w Power BI na ich bazie.

Przykład wykorzystania diagnostyki do sprawdzenia Query Folding

Najważniejszym celem diagnostyki zapytań jest sprawdzenie, jakie zapytania zostały wysłane do źródła danych przez Power Query w celu ich pozyskania, co właśnie nazywane jest Query Folding. Jak widać na poniższym screenie, w jednej z kolumn możemy znaleźć zapytania wysyłane w przypadku połączenia się ze źródłem danych, w tym przypadku bazą SQL.

Udało Ci się wykorzystać w praktyce Diagnostykę zapytań Power Query?

Podziel się wrażeniami w komentarzu.

Działanie Query Folding

Łącząc się z serwerowym źródłem danych (np. bazą Microsoft SQL Server), Power Query tłumaczy wykonane operacje na język źródła danych. W przypadku wspominanego SQL Servera wygenerowane zostanie zapytanie w języku T-SQL, a kalkulacje zostaną przeprowadzone już w źródle – przed pobraniem danych przez PQ. Dzięki temu do Query może być pobranych mniej danych, co jest bardzo ważnym aspektem działania Query Folding. Przykładowo, jeśli baza danych zawiera 100 mln rekordów, ale interesują Cię tylko dane z tego roku (5 mln rekordów), Query Folding przyspieszy niesamowicie działanie zapytania, pobierając tylko potrzebną część danych. Operacja ta ma 2 ograniczenia:

1. Nie każde źródło obsługuje Query Folding

Mechanizm Query Folding wspierają:

• relacyjne bazy danych,
• modele Analysis Services,
• Azure Marketplace,
• listy SharePoint,
• Exchange,
• Active Directory,
• HDFS i niektóre operacje na systemie plików.

Query Folding nie działa m.in. dla plików Excel i tekstowych – wszystkie zmiany wykonane są lokalnie na naszym komputerze.

2. Nie wszystkie wykonane działania mogą być przeniesione na źródło

W przypadku baz danych dużą część operacji możesz przerzucić na źródło, m.in.:

• agregacja,
• filtracja,
• pivot/unpivot,
• proste kalkulacje liczbowe,
• proste transformacje tekstowe,
• złączenia wertykalne (union),
• złączenia horyzontalne (join).

Szczegółowa dokumentacja w tym zakresie po stronie Power Query jest niestety uboga i potrzebne są własne testy.

Część z wykonywanych w Power Query operacji może być przerzucona do źródła, a część nie. Taka sytuacja nazwa się Partially Query Folding. Ważne jest, że gdy następuje czynność nieprzerzucana na źródło, wszystkie występujące w sekwencji po niej nie zostaną wykonane na źródle. Dlatego warto jest zaplanować działania w taki sposób, by jak najwięcej z nich zostało wykonanych na źródle: na początku wykonywane na źródle, na końcu nie.

Przykład Query Folding dla bazy SQL Server

Połączę się z tabelą znajdującą się w bazie danych SQL Server. W tym celu uruchamiam zakładkę Dane> Pobieranie i przekształcanie > Nowe zapytanie > Z bazy danych > Z bazy danych programu SQL Server.

Wprowadzam parametry: nazwę serwera oraz bazę danych.

Wybieram tabelę z danymi dotyczącymi budżetu i ładuję ją jako połączenie do Power Query. By pokazać jakie działania będą przekazywane na źródło, dokonam różnych modyfikacji danych.

W pierwszej kolejności przefiltruję kolumnę typ danych i wybiorę z niej jedynie typ budżet.

Następnie grupuję dane według kolumn MPK, Kategorii biznesowej, Konta, Spółki, Typu danych oraz partnera. Polem agregacji będzie Kwota w kPLN.

W kolejnym kroku w kolumnie Partner odfiltruję wartości null.

W kolumnie Typ danych zmieniam poprzez Prawy przycisk myszy na nazwie kolumny > Przekształć > Małe litery.

Po wykonaniu wszystkich tych operacji widzę listę zastosowanych kroków.

Monitorowanie działania Query Folding

By przekonać się, które z operacji są przekazane do źródła w Power Query, wystarczy wybrać z listy kroków jeden z nich, wyświetlić menu podręczne. Powinna się na nim znaleźć pozycja Wyświetl zapytanie natywne. Jeżeli jest ona aktywna, to wybrany krok oraz wszystkie przed nim są przekazane do źródła (Query Folding działa w całości). Jeżeli jest inaczej, wówczas wybrany krok na pewno nie jest przekazany do źródła i możliwe że wcześniejsze również (by dowiedzieć się który z kroków hamuje przekazanie danych do źródła należy sprawdzić dla nich aktywność opcji Wyświetl zapytanie natywne).

Przykładem operacji, która nie jest przekazywana do źródła to transpozycja. Przekształć > Tabela >Transponuj.

Na liście kroków pojawił się nowy Trasponowano tabelę. Jak widać poniżej, opcja Wyświetl zapytanie natywne jest nieaktywna dla tego kroku, więc od tego kroku działanie nie jest przekazywane do źródła.

Kiedy dane nie są przekazywane do źródła?

Istnieje jeszcze wiele innych sytuacji, w których nie istnieje możliwość przekazania danych do źródła (Query Folding zostaje wyłączone):

• gdy używamy źródła, które nie obsługuje Query Folding.
• użycie funkcji .Buffer() języka M – funkcja ta powoduje zaczytanie wszystkich danych do pamięci Power Query. Przydaje się, gdy chcemy uniknąć wielokrotnego pobierania danych z bazy SQL, z dysku czy witryny internetowej. Polecenie buffer załaduje dane do pamięci i przestanie składać zapytania do źródła.
• użycie własnego polecenia SQL do pozyskania danych z bazy SQL
• niektóre z transformacji np. filtrowanie według opcji Ten miesiąc dla kolumny z datą.

Wyświetlenie zapytania natywnego nie jest możliwe

• ustawienia poziomów prywatności (opisane we wcześniejszym artykule https://skuteczneraporty.pl/ignoruj-poziom-prywatnosci-prosty-sposob-na-przyspieszenie-power-query/), mają one znaczenie gdy przesyłane są dane wrażliwe pomiędzy źródłami danych.
• użycie opcji usunięcia wierszy z błędami: Narzędzia główne > Zmniejsz wiersze > Usuń błędy.

• użycie i definiowanie własnych funkcji w Power Query.

Opcja Wyświetl zapytanie natywne wyłączyła się w innej sytuacji?

Podziel się w komentarzu.