Krok 1: Przygotuj listę wartości w Excelu

W moim przypadku listę wartości stanowi tabela Excela z 20 identyfikatorami klientów.

Krok 2: Złącz wartości w 1 tekst i utwórz parametr

Jest na to kilka sposobów:

1. Funkcja Excelowa POŁĄCZ.TEKSTY, którą z postaci komórki później można zamienić na parametr PQ.
2. Trik w Power Query

Ja w tym celu wykorzystałem konwersję na listę, którą realizuje się poprzez odwołanie do (1) konkretnej kolumny z konkretnego kroku. Listę umieszczam w środku (2) funkcji języka M Text.Combine z separatorem w postaci przecinka, dzięki czemu na koniec otrzymuję parametr tekstowy.

Krok 3: Stwórz zapytanie do bazy danych SQL

W moim przypadku był to prosty SELECT z tabeli z klientami.

Krok 4: Wklej zapytanie z listą do środka zapytania SQL i podłącz

Ten krok jest najtrudniejszy technicznie, gdyż wymaga połączenia obu zapytań w jedno. Wynika to z zapory bezpieczeństwa danych Power Query, która nie pozwala odwoływać się do kroków między zapytaniami z Excelem i bazą danych SQL, generując błąd Formula.Firewall.

Dlatego:

1. W zapytaniu do bazy danych SQL wklejam najpierw kroki z zapytania z listą, pamiętając o przecinku na końcu linijki.
2. Dopisuję warunek filtrujący SQL, uzupełniając go o nawiasy i cudzysłowy wymagane przez Power Query.

WHERE MojaKolumna IN (MojaLista)

3. Poprawiam nazwę kroku Źródło na Źródło2, żeby nazwy kroków się nie duplikowały.

W ten sposób na koniec otrzymałem z bazy danych SQL krótką listę klientów, których źródłem była Excelowa tabela.

Podziękowania

Specjalne podziękowanie w tym artykule kieruję do Roberta i jego zespołu. Zachęcam też Ciebie, drogi Czytelniku, do podsyłania wyzwań w narzędziach Power Query, Power Pivot i Power BI, które być może staną się zaczynem do kolejnego artykułu na blogu.

Plik Excel do pobrania z zapytaniem Power Query

Tu możesz pobrać plik Excel i przetestować rozwiązanie na swojej bazie danych SQL.

Co to jest DirectQuery?

Przy budowie raportu Power BI w połączeniu z bazami danych polecany jest tryb importu. Jednak jeśli danych jest zbyt dużo lub chcemy raport odświeżać na bieżąco, mamy także do dyspozycji tryb połączania na żywo, nazywany DirectQuery.

Po kliknięciu OK i następnie Załaduj żadne dane nie są importowane do raportu Power BI. Zamiast tego podczas tworzenia wizualizacji zapytania są wysyłane do bazy w celu pobrania niezbędnych danych. Czas potrzebny na odświeżenie wizualizacji zależy od wydajności źródła danych. Co ciekawe, zmiany w danych źródłowych nie są natychmiast aktualizowane – nadal trzeba je odświeżyć, klikając coś na raporcie w celu wysłania nowego zapytania.

Więcej o DirectQuery: https://docs.microsoft.com/en-us/power-bi/connect-data/desktop-directquery-about

Krok 1: Połącz się z bazą danych SQL Server

W swoim przykładzie łączę się z bazą danych Adventure Works od Microsoft. Oto prosty model, z którego korzystam:

Krok 2: Utwórz parametr w Power Query

W scenariuszu wykorzystam jako parametr, pole Color z tabeli Production Product. Pierwszą z rzeczy, którą należy wykonać, jest utworzenie parametru w Power Query: Zarządzaj parametrami > Nowy parametr.

Nadaję nazwę parametrowi, wybieram Typ parametru jako Tekst oraz Sugerowane wartości jako Lista wartości. Następnie wprowadzam listę kolorów, wartość domyślną dla parametru oraz wartość bieżącą. Wybieram OK. Parametr został utworzony.

Krok 3: Umieść parametr w zapytaniu Power Query

Następnie parametr musimy wkomponować w istniejące zapytanie, aby faktycznie zobaczyć jego wpływ na dane. W przykładzie jedno z zapytań (Product) jest skonstruowane przy pomocy warunku filtrowania dla pola kolor, w którym kolor zastąpię wcześniej utworzonym parametrem Param_Color. Otwieram edytora zaawansowanego, gdzie będę modyfikować kod.

Krok 4: Zbuduj tabelę w modelu danych Power BI

Aby zmiana parametru była dynamiczna, muszę skonstruować listę kolorów, którą wykorzystam na fragmentatorze. W tym celu wykorzystam „Wprowadź dane” na Narzędziach głównych (Power Query lub w Power BI) i wprowadzę listę elementów, które chcę widzieć w raporcie.

Krok 5: Powiąż parametr z polem

Po jej utworzeniu przechodzę do widoku modelu > znajduję utworzoną tabelę > zaznaczam kolumnę z kolorem, aby to dla niej wyświetlić właściwości.

Na końcu w sekcji z właściwościami zaawansowanymi rozwijam Powiąż z parametrem, a na wyświetlonej liście wybieram nazwę utworzonego parametru. Po powiązaniu z parametrem pojawiają się dodatkowe opcje, związane z możliwością wielokrotnego wyboru.

Krok 6: Zbuduj fragmentator

Na wizualizacji w tabeli po lewej stronie wykorzystane są kolumny z modelu danych, natomiast w filtrze po prawej stronie znajduje się ręcznie wprowadzona lista kolorów powiązana z parametrem w Power Query.

Podsumowanie parametrów Power Query w Power BI

Dzięki zastosowaniu dynamicznych parametrów pobierana jest jedynie niezbędna ilość danych zdefiniowana przez wartość parametru. Deweloper ma dzięki temu większą kontrolę nad pobieranymi danymi (optymalizacja), a użytkownik szybciej działający raport.

Krok 1: Stwórz tabelę w Excelu z komórką o tekstowym formacie

Przedstawiony przykład dotyczy podania parametru typu data. Jednak łatwiej będzie pracować od razu na tekście, dlatego tworzymy nagłówek, a następnie ustawiamy format komórki Excel na tekstowy. Na koniec wpisujemy datę, która stanie się parametrem i tworzymy z tego tabelę.

Krok 2: Stwórz zapytanie z tabeli

Zamiast pobierać dane z zewnętrznego źródła, utworzymy zapytanie na tej tabeli.

Krok 3: Wejdź do środka komórki w Power Query

Aby stworzyć parametr, wejdź do środka komórki poprzez polecenie Wyszczególnij.

Krok 4: Zbuduj zapytanie do bazy danych SQL

W tym celu utwórz nowe zapytanie (np. z bazy danych SQL) > rozwiń opcje zaawansowane > wklej instrukcję SQL w okienko.

Gdybyśmy na tym etapie próbowali podmienić datę na nasz parametr w oknie Edytora zaawansowanego lub w pasku formuły:

otrzymamy następujący komunikat:

Oznacza on, że zapytanie SQL nie może odnosić się do innych zapytań i samo zapytanie Power Query musi zawierać wszystko w jednym kodzie. Dlatego kolejny krok wymaga edycji zapytania.

Krok 5: Skopiuj kroki zapytania z parametrem i wklej je do zapytania z bazą

Operację kopiuj-wklej wykonasz w oknie Edytora zaawansowanego. To jednak nie wystarczy, dlatego w kodzie języka M wykonaj dodatkowe zmiany:

1. Zmień nazwę ostatniego kroku na Parametr.
2. Dodaj przecinek na końcu linijki kodu z parametrem.
3. Zmień powtarzającą się nazwę Źródło np. na Źródło2.
4. Wstaw parametr w miejsce kodu za pomocą znaku łączenia tekstowego (&). Pamiętaj o pozostawieniu apostrofów i uzupełnieniu o znaki cudzysłowu.

Krok 6: Przetestuj działanie z poziomu Excela

Zapytanie z parametrem ustaw jako połączenie, a końcowe zapytanie do bazy jako tabelę. Umieść obie tabele na jednym arkuszu, zmień parametr i odśwież zapytanie. Powinno zadziałać.

Krok 7 (opcjonalnie): Wyłącz ostrzeżenia Power Query

Ponieważ natywne zapytanie SQL może w ekstremalnym przypadku dokonać zmian w bazie, domyślnie włączone są ostrzeżenia Power Query. Wymuszają one każdorazowe zaakceptowanie wysyłanego zapytania SQL.

Jeśli chcemy to ostrzeżenie wyłączyć, potrzebujemy zarówno u siebie, jak i u każdego użytkownika końcowego, wyłączyć to w opcjach Power Query.

Ile wierszy można tak pobrać?

Jeśli wynik ma wylądować w arkuszu Excel jako tabela, otrzymamy maksymalnie 1 048 575 wierszy. Jeśli wynik może wylądować w tabeli przestawnej, z wykorzystaniem modelu danych można próbować i do 100 000 000 wierszy.

Jednak najpierw odrobina teorii … o macierzach

Macierz to prostokątna tablica zawierająca liczby, symbole i wyrażenia, które ułożone są w wiersze oraz kolumny. Służą do zapisywania dużych zbiorów danych, które są we wzajemnej relacji. Szczególnie ważną rolę pełnią macierze w informatyce oraz statystyce, gdzie często występują ogromne zbiory danych.

Gdzie można wykorzystać macierze?

Są wykorzystywane do rozwiązywania skomplikowanych układów równań liniowych. Bardzo ciekawym jest wykorzystanie do modelowania ekranu komputera, który składa się z pikseli ułożonych w wiersze oraz kolumny.

Macierze wykorzystuje oprogramowanie graficzne takie jak Adobe Photoshop, do przetwarzania transformacji linowych w celu renderowania obrazów.

W fizyce macierze znajdują zastosowanie w badaniach obwodów elektrycznych, mechanice kwantowej i optyce. Macierze wykorzystywane są do dokonywania dokładanych obliczeń pogrzebnych w pracy mechaniki kwantowej.

Macierze wykorzystywane są również do kodowania i szyfrowania wiadomości.

W robotyce i automatyce macierze tworzą podstawowe ruchy robota.

Macierze to również struktury do przechowywania danych śledzenia informacji o użytkownikach, służą do kompresji informacji elektronicznych, czy przechowywania danych biometrycznych, ale także informacji o populacji.

Transformacje macierzy, które dają doskonale skalibrowane obliczenia, wykorzystuje się w sieciach elektronicznych, samolotach, statkach kosmicznych oraz inżynierii chemicznej.

Dla mnie osobiście najbardziej interesującym zastosowaniem macierzy są wyszukiwarki internetowe np. Google. W tym konkretnym przypadku zastosowany jest algorytm PageRank (PR), który wykorzystuje macierze oraz ich wartości i wektory własne. Wyszukiwarka przyporządkowuje stronom internetowym pewien wskaźnik, którego początkiem był PageRank. Im jest o wyższy tym strona wyżej pojawia się w wyszukiwarce. Wartość PR powstaje w oparciu o jakość i ilość linków prowadzących do danej strony www.

Oczywiście nie są to wszystkie zastosowania, ponieważ macierze dotykają wielu dziedzin, a wymienione tu to tylko przykłady.

Na czym polega mnożenie macierzy?

Na mnożeniu wierszy pierwszej macierzy przez kolumny drugiej macierzy. By wymnożyć macierze musi być spełniony warunek : pierwsza macierz ma tyle kolumn ile druga wierszy.

Dlaczego mnożenie macierzy w Power Query?

W Excelu do mnożenia macierzy można wykorzystać wbudowaną funkcję MACIERZ.ILOCZYN, czyli podać zakresy dwóch tablic, które między siebie miałyby być wymnożone. Niestety jeżeli zmienią się wymiary tablic, wówczas formułę należy zaktualizować oraz ponownie przeliczyć przy pomocy Ctrl + Shift + Enter (ponieważ jest to formuła tablicowa).

Jednak operowanie na Power Query pozwala zapomnieć o konieczności aktualizacji działania procedury, gdy zmieni się zakres poszczególnych macierzy.

Mnożenie macierzy w Power Query

Potrzebuję dwóch macierzy A i B jako zdefiniowane zakresy w Excel. Zacznę od pobrania i modyfikacji pierwszej macierzy do Power Query: Dane > Pobieranie i przekształcanie > Z tabeli

Kolejne transformacje tabeli doprowadzą ją do postaci trzykolumnowej: wiersz, kolumna oraz wartość.

Wybieram Dodaj kolumnę > Dodaj kolumnę indeksu > od 1.

Zostanie dodana nowa kolumna z numerem wiersza. Wybieram ją i prawym przyciskiem myszy rozwijam menu podręczne z którego wybieram Anuluj przestawienie innych kolumn.

Operacja ta powoduje przekształcenie macierzy w wyglądu zbliżony do oczekiwanego. Należ jeszcze oczyścić kolumnę Atrybut do form liczbowej.

Kolejne kroki do wykonania to :

1. Zamiana w drugiej kolumnie słowa ColumnX na X : PP myszy > zamień wartości > w polu Wartość do znalezienia wpisuję Column, Zamień na pozostawiam puste
2. Po powyższej operacji kolumna ma format tekstowy, więc zmieniam go na liczbowy : PP myszy > Zmień typ > Liczba całkowita
3. Zmieniam nazw dwóch pierwszych kolumn na: Wiersz, Kolumna co też kończy całą operację zmian na tej tablicy.

Tworzenie funkcji

Na początku zmieniam nazwę zapytania na PrzygotowanieMacierzy. Następnie zmieniam ciąg wykonanych operacji na funkcję. Wchodzę do Edytora zaawansowanego i dodaję w pierwszej linii wyrażenie (TableName) =>

Usuwam cały wiersz „Zmieniono typ” , który jest zbędny (pozostawienie go spowoduje, że funkcja nie będzie uniwersalna, ponieważ zawiera odwołania do nazw poszczególnych kolumn). W kolejnym wierszu #”Zmieniono typ” zmieniam na #”Źródło”(ponieważ wcześniej usunąłem krok Zmieniono typ).

W miejscu deklaracji źródła danych (Excel.CurrentWorkbook) zmieniam nazwę „MacierzA” na TableName > Gotowe. Poniżej widok finalnego polecenia.

Dzięki wykonanym zmianom po prawej stronie, w oknie nawigatora jest widoczna funkcja. Po wybraniu jej z listy pojawia się okno do wprowadzenia parametru dla funkcji (wcześniej wprowadzonego TableName). Wprowadzam nazwę zakresu, który ma być przekształcony w wyniku działania funkcji : MacierzA > Wywołaj.

Dzięki funkcji powstaje nowe zapytanie, zmieniam jego nazwę na MacierzA. Takie same kroki wykonuję dla drugiej macierzy, zmieniam nazwę zapytania na MacierzB.

Tworzenie tabeli połączonej

W następnej kolejności utworzę tabelę połączoną gdzie dla kolejnych kolumn Macierzy A dopasuję wiersze z Macierzy B. Zaznaczam na liście zapytań MacierzA > Narzędzia główne >Połącz > Scal zapytania > Scal zapytania jako nowe.  Z Macierzy A zaznaczam Kolumnę zaś z MacierzyB zaznaczam Wiersz. Jako rodzaj połączenia tabel wybieram Lewe zewnętrze > OK.

W wyniku operacji pojawia się nowa kolumna, której nazwę zmieniam na B.

Klikam a podwójną strzałkę w kolumnie B i z listy wyboru oznaczam Wiersz,  pozostawiam zaznaczoną opcję Użyj oryginalnej nazwy kolumny jako prefiksu (co pozwoli mi później odnaleźć się  w danych).

Powstaje tablica zawierająca wszystkie kombinacje Macierzy A oraz B, które niezbędne są do wymnożenie między siebie macierzy. Znajdują się one w kolumnie Wartość oraz B.Wartość. By wymnożyć macierze musimy wymnożyć między siebie kolumny Wartość oraz B.Wartość.  W tym celu stawiam nową kolumnę Dodaj kolumnę > Kolumna niestandardowa.

Nazywam ją AB oraz wprowadzam formułę wymnożenia kolumn między siebie.

Wynikiem mnożenia macierzy jest macierz o ilości wiersz z Macierz A oraz ilości kolumn z Macierzy B. Zaznaczam kolumnę Wiersz oraz B.Kolumna Przekształć > Grupowanie według

W okna wprowadzam wybory jak powyżej, grupuję dane według numery wierszy oraz kolumn, w nowej kolumnie. Cała operacja powoduje ogromne zmniejszenie się wielkości tabeli.

Dane nie są jednak jeszcze w ostatecznej, oczekiwanej formie. Zaznaczam kolumnę B.Kolumna Przekształć > Dowolna kolumna > Kolumna przestawna

Wskazuję która kolumna jest kolumną z wartościami oraz jaka operacja ma być wykonana na danych,  tym przypadku Suma.

Na koniec powstaje mała macierz o spodziewanych rozmiarach.

Pobierz plik

Jeżeli chcesz sam przejść wszystkie kroki samodzielnie, pobierz plik Mnożenie macierzy w Power Query.

Źródło pomysłu na artykuł

Autor pomysłu: Bill Szysz

https://datachant.com/2016/06/07/faster-matrix-mulitplication/

Tekst jako parametr Power Query

Krok 1: Zdefiniuj parametr

Z pomocą opcji Poprawność danych (na karcie Dane), tworzymy listę wyboru w komórce A2.

Krok 2: Wstaw tabelę

Na zakresie komórek wstawiamy tabelę, aby mieć obiekt widziany przez Power Query. Zmieniam jej nazwę na „Segment”.

Krok 3: Załaduj dane źródłowe i tabelę

Przygotowujemy 2 zapytania: główne i to z parametrem.

Krok 4: Wejdź do komórki z parametrem

To najciekawszy krok. Możemy w Power Query stanąć na konkretnej komórce i wybrać pod prawym przyciskiem myszy polecenie Wyszczególnij. Zapytanie zamienia się wtedy na ciąg tekstowy.

Krok 5: Utwórz krok wykorzystujący parametr (np. filtr)

Teraz czas na posłużenie się parametrem wewnątrz głównego zapytania. Najpierw tworzymy krok filtrujący.

Krok 6: Podmień parametr

Następnie podmieniamy w pasku formuły filtrowany tekst na parametr „Segment”.

Krok 7: Przetestuj działanie

1. Wybierz segment
2. Odśwież raport (na przykładzie za pomocą dodatkowo wstawionego przycisku)
3. Sprawdź wynik

Data Od i Data Do jako parametr

Krok 1: Zdefiniuj parametry z datami

Tworzymy 2 komórki do wpisania dat i zabezpieczamy je regułami sprawdzania poprawności.

Krok 2: Nazwij komórki

Dla urozmaicenia posłużymy się nie tabelą a zakresem komórek. W tym celu nazywamy komórki w Polu nazwy „Daty”.

Krok 3: Wczytaj dane do Power Query i zmień typ danych na liczbę całkowitą

Sposób opisany w pierwszym scenariuszu z tekstem nie sprawdza się dla dat – Power Query potrafi tylko wyszczególnić tekst lub liczbę. Dlatego typ danych dla kolumn z datami zmieniamy na liczbę całkowitą.

Krok 4: Wyszczególnij liczbę

Krok 5: Wstaw liczbę z formułą Date.From() do paska formuły

Podobnie jak poprzednio, filtrujemy dane, a następnie podmieniamy tekst w pasku formuły. Tym razem wzbogacamy go o formułę tworzącą w locie datę z liczby. Ważne, aby kolumna z datą miała typ danych Data krótka. Jeśli dodamy także datą końcową, krok będzie miał postać:

Pobierz szablon Excel z parametrami w Power Query

Tu możesz pobrać plik Excel z parametrami w arkuszu i podstawić swoje dane.

Przygotowanie aktualizującej się ścieżki folderu

Pierwszym krokiem będzie przygotowanie zapytania, ze ścieżką do folderu. W tym celu w nowym arkuszu Excel tworzę tabelę z dwiema kolumnami: Parametr oraz Wartość. W pierwszej komórce tabeli wprowadzam nazwę parametru czyli Ścieżka pliku. W komórce obok wprowadzam formułę, która zwróci mi ścieżkę do folderu, w którym znajduje się aktualnie modyfikowany plik Excel.

=LEWY(KOMÓRKA("filename";B1);ZNAJDŹ("[";KOMÓRKA("filename";B1);1)-1)

Funkcja KOMÓRKA zwraca informację o formatowaniu, położeniu czy też zawartości komórki. Dzięki funkcji Szacuj formułę (Formuły > Inspekcja formuł > Szacuj formułę), pokażę jakie są kolejne efekty działania tej formuły.

Argument filename zwraca nazwę pliku wraz z jego ścieżką zapisu.

Następnie funkcja ZNAJDŹ wyszukuje w nazwie pliku nawiasu kwadratowego („[„) , by z całej nazwy która pojawia się pod filename  odseparować jedynie ścieżkę pliku bez jego nazwy (w nawiasie kwadratowym pojawia się nazwa pliku).

Funkcja ZNAJDŹ jako wynik, podaje miejsce nawiasu kwadratowego w ciągu znaków.

A następnie funkcja LEWY z całego ciągu tekstowego, ukrytego pod filename, pobiera jedynie ścieżkę.

Tak utworzoną tabelę ładuję do Power Query jako zapytanie Dane > Pobieranie i przekształcanie > Z tabeli, nadaje mu nazwę Parametr.

Formuła w Power Query

Kolejnym krokiem będzie stworzenie formuły, która z zapytania Parametr pobierze jedynie nazwę ścieżki. W tym celu należy otworzyć nowe zapytanie Power Query: Narzędzia główne > Nowe zapytanie > Nowe źródło > Inne źródła > Puste zapytanie.

W Edytorze zaawansowanym (Widok > Edytor Zaawansowany) wprowadzam poniższą treść. Kod w języku M pozwala na pobranie z zapytania Parametry, ścieżki pliku, która w moim przypadku znajduje się w komórce B2. Zaznaczone na niebiesko fragmenty , to elementy zmienne. Jeżeli swoje zapytanie lub kolumny w pliku nazwiesz inaczej, to również w poniższym poleceniu nazwy te musisz zmienić.

Zmieniam nazwę tego zapytania na fnPobierzParametr.

Pobranie danych z folderu

Następnie pobieram dane z folderu. W tym kroku chodzi o powstanie kodu języka M w Edytorze Zaawansowanym, by w kolejnym kroku zmodyfikować go o wcześniej stworzone parametry (więcej o pobieraniu danych z folderu z parametrem). Wybieram w Edytorze zapytań > Narzędzia główne > Nowe zapytanie > Nowe źródło > Plik > Folder.

Wskazuję folder z którego będą pobrane dane. Następnie przechodzę do Edytora Zaawansowanego (Widok > Edytor zaawansowany) . Poniżej kod jaki został wygenerowany.

Aby faktycznie ścieżka była dynamiczna, dodam zmienną do której przypiszę Ścieżkę pliku (pobraną przez stworzoną przeze mnie funkcję fnPobierzParametr). Poniżej kod jaki finalnie umieszczam w edytorze.

Pojawia się lista z plikami dostępnymi we wskazanym folderze. Należy pamiętać aby odznaczyć z niej plik do którego pobierane są dane oraz jego wersję niezapisaną ( oznaczoną ~$).

Pobierz szablon Excel z zapytaniem Power Query

Pobierz i sprawdź plik Wczytywanie plików z lokalnej ścieżki.

Pobierze dane z folderu w Power Query

Aby połączyć dane z wielu plików w Power BI wybieram Narzędzia główne > Pobierz dane > Więcej > Folder > Połącz > wskazuję lokalizację folderu z plikami do połączenia.

Następnie program sam odczytuje pliki jakie znajdują się w folderze. Edytor daje mi w tym momencie kilka możliwości:

Połącz i załaduj

Polecenie przenosi mnie do okna Połącz pliki , gdzie mogę podejrzeć zawartość łączonych plików (rozwijana lista Przykładowy plik), jednak nie mam możliwości ich edytowania. Jedyną opcją wpływającą na złączone dane jest przycisk na dole Pomiń pliki z błędami.  Następnie po wybraniu OK dane są łączone i ładowane do modelu, widoczne od razu w Power BI. Wybieram również plik który będzie przekładowym, Pierwszy plik to pierwszy plik znajdując się w folderze. Z listy mogę również wybrać inny, który został w tym folderze przez program odnaleziony.

Połącz i edytuj

Jest to opcja bardzo podobna do wcześniejszej. Również pojawia się okno Połącz pliki, z takimi samymi funkcjami jednak, po wyborze przycisku OK przechodzę do edycji łączonych plików, w Edytorze zapytań.

Załaduj

Polecenie powoduje stworzenie modelu, który można modyfikować (w Edytorze zapytań), ale po wyborze przycisku przenosi mnie od razu do widoku raportu w Power BI, a polami do wyboru w tym momencie są parametry techniczne plików pobranych ze wskazanego folderu (data utworzenia pliku, modyfikacji, rozszerzenie, nazwa), więc na niewiele się to zda w naszym przypadku.

Edytuj

W edytorze zapytań mam możliwość wskazania plików które będą łączone oraz jakie kolumny z nich powinny być połączone

Połącz pliki w interfejsie Edytora Zapytań

Analogiczne polecenie mogę znaleźć w samym Edytorze zapytań. Są dwa miejsca, gdzie mogę wybrać opcję połączenia plików:

• Z kolumny z danymi (mały przycisk z dwiema strzałkami w dół)

• Z Narzędzia główne > Połącz > Połącz pliki

Opcja połączenia plików na pasku Narzędzi głównych uaktywni się tylko w przypadku jeżeli zaznaczę kolumnę z danymi (czyli Content) pozostałe kolumny to jedynie informacje techniczne dot. łączonych plików. Przy pomocy filtrów mogę zaznaczyć, które pliki chcę ze sobą finalnie połączyć.

Co się dzieje podczas łączenia danych z folderu w Edytorze zapytań?

Podczas łączenia danych Power Query:

1. Tworzy przykładowe zapytanie, które wykonuje wszystkie wymagane kroki ekstrakcji
2. Tworzy parametr, którym jest przykładowy plik binarny.
3. Tworzy zapytanie funkcyjne, które parametryzuje dane wejściowe pliku do przykładowego zapytania. Zapytanie funkcyjne i przykładowe są ze sobą połączone, tak by zmiany w przykładowym zapytaniu zostały odzwierciedlone w zapytaniu o funkcję (co można sprawdzić na pasku formuły).
4. Stosuje zapytanie funkcyjne do oryginalnego zapytania (z wejściowymi binarnymi), więc stosuje zapytanie funkcyjne dla wejściowych danych binarnych w każdym wierszu i rozszerza wynikową ekstrakcję danych.

Efekt końcowy pobierania danych z folderu

W zapytaniu końcowym widoczne będą dane ze wszystkich plików, zaś w zapytaniu przykładowym – tylko z jednego.

Łączenie plików ze ścieżką jako parametrem

Opisany powyżej sposób jest często wykorzystywany w praktyce, jednak może spowodować, że przy zmianie ścieżki plików wszystkie zapytania pokażą błąd. Co ważne, ścieżka plików pojawia się w naszych zapytaniach 2 razy – raz jako ścieżka folderu, drugi raz jako ścieżka przykładowego pliku. Wykorzystam parametr, aby w Power Query zmieniać tę ścieżkę w jednym miejscu. Parametry opisywałem już w dwóch artykułach:

• Podstawowe zastosowania parametrów w Edytorze zapytań
• Ciekawe przykłady wykorzystania parametrów Power Query

Tworzenie parametru w Power Query

Zacznę od utworzenia parametru , którym będzie ścieżka do łączonych plików. Przechodzę więc do Edytora zapytań Narzędzia główne > Edytuj zapytania > Narzędzia główne Parametry > Zarządzaj parametrami > Nowy parametr.

Dodaję nowy parametr o nazwie Folder, wybieram jako Wymagany, typ Tekst ,  jako wartość bieżącą wprowadzam ścieżkę do folderu z plikami, które chcę połączyć > OK.

Mając parametr, przechodzę do połączenia plików > Narzędzia główne > Nowe źródło > Więcej > Folder > Połącz > z lewej strony okna wybieram opcję Parametr > Ścieżka folderu > OK.

W kolejnym oknie wybieram Edytuj. Zmieniam nazwę zapytania na PołączPliki, a z zaznaczoną kolumną Content wybieram opcję Połącz pliki (na pasku zadań lub wybierając znak dwóch strzałek na kolumnie). By faktycznie zmienić ścieżkę do plików ze statycznej na dynamiczną przechodzę do edytora zaawansowanego (Narzędzia główne > Zapytanie > Edytor zaawansowany). Znajduję zapytanie Przykładowy plik i zmieniam ścieżkę na parametr:

Następnie przechodzę do zapytania głównego i tam także zmieniam ścieżkę pliku na wartość parametru.

W ten sposób mogę łatwo przenosić dane źródłowe w inne miejsce, a do korekty będzie zawsze tylko i wyłącznie parametr. Ta technika ma jeszcze większe możliwości w Excelu, gdyż tam mamy możliwość pobrania ścieżki aktualnie otwartego pliku, o czym wkrótce napiszę na blogu.

Pobierz plik Power BI z zapytaniem w edytorze zapytań

Pobierz i sprawdź plik Połącz pliki.

Parametr jako połączenie z bazą danych

Rozwiązanie te może znaleźć zastosowanie gdy różne bazy danych, o tej samej strukturze, ale o innych nazwach czy lokalizacjach, są wykorzystywane do budowy analogicznych raportów. Wówczas by zobaczyć wygląd, już skonstruowanego raportu na innych danych, nie ma konieczności budowy go od nowa, a jedynie zmienić bazę z którą się łączy.

Narzędzia główne > Edytuj zapytania > Edytuj zapytania > Narzędzia główne > Zarządzaj parametrami > Nowy parametr 

Dodaję dwa parametry, jak na załączonych poniżej screenach: jeden z nich będzie nazwą bazy danych, z którą będę się łączyć, a drugi z nich będzie serwerem na którym ta baza się znajduje. W obu jako typ parametru wybieram: Tekst , sugerowane wartości jako Lista wartości . Wprowadzam po trzy elementy moich list wartości w parametrach. Jako wartość domyślą oraz bieżącą wybieram jedną z wpisanych na liście (przy pierwszym połączeniu właśnie wartości bieżące wskażą źródło danych).

Następnie łączę się z bazą danych poprzez > Narzędzie główne > Nowe źródło > SQL Server > gdzie wybieram po lewej stronie z listy rozwijanej Parametr , ponieważ chcę w tym miejscu wykorzystać utworzony wcześniej parametr ServerName , a poniżej NazwaBazy (jak sama nazwa mówi, by połączyć się z konkretną bazą).

Następnie by zmienić bazę na inną, czy też serwer wybieram > Narzędzia główne > Edytuj zapytania > Edytuj parametry , gdzie mogę zmienić ich bieżącą wartość.

Parametr jako filtr kolumn w źródle

Parametr mogę wykorzystać również jako filtr pozwalający na wybór kolumny ze źródła danych. Tworzę parametr w Edytorze zapytań o nazwie Kolumna , dla którego ustawiam parametry jak na zdjęciu poniżej. W sugerowanych wartościach listy wpisuję nazwy kolumn ze źródła danych, z którym będę się łączyć czyli z Excelem, wybieram wartość domyślną oraz bieżącą > OK > Zamknij i załaduj by wyjść z edytora.

Następnie poprzez Narzędzia główne > Pobierz dane > Excel > wybieram plik > Otwórz > wybieram arkusz który chcę zaimportować > Edytuj >

Zaznaczam kolumnę Sprzedawca > prawy przycisk myszy > Usuń inne kolumny. Dzięki czemu w widoku danych powinna być widoczna jedna kolumna.

Przy pomocy parametru będę wybierać widoczną kolumnę Narzędzia główne > Zapytanie > Edytor zaawansowany > w miejscu zaznaczonym na niebiesko obecnie widzę nazwę kolumny „Sprzedawca” , czyli tą którą przed chwilą pozostawiłem.  Tym miejscu umieszczam nazwę parametru Kolumna (bez cudzysłowu) > OK.

W zależności od tego jaka wartość parametru jest wybrana jako bieżąca , taka też zostanie zaprezentowana w Edytorze. By zmienić kolumnę należ edytować parametr i wybrać jego inną wartość. (Narzędzia główne > Edytuj zapytania > Edytuj parametry > potwierdzić wprowadzenie zmian na żółtym pasku > Zastosuj zmiany).

Poniżej zdjęcie gdzie widać, że wartość parametru Kolumna to Sprzedawca, która jest widoczna na raporcie oraz w obszarze pól do wyboru.

Szablon pliku Power BI z parametrem

Wykorzystując już wcześniej stworzony model w Power BI wraz z parametrami i danymi możemy zapisać go jako szablon Power BI. Czym jest szablon? Jest to model danych, zawierający już połączenia, parametry, definicje raportów, zapytań, ale nie zawierający danych. Szablony służą do szybkiego wdrażania istniejących modeli tzn. tworząc parametry z szablonu, możemy tworzyć pliki/raporty z różnymi konfiguracjami parametru. Korzystamy wówczas z jednej utworzonej struktury, by stworzyć w szybki sposób kolejne.

Mogę go stworzyć w bardzo łatwy sposób Plik > Eksportuj > Szablon usługi Power BI. Przed zapisem mogę dodać jeszcze opis do tworzonego szablonu. Po otwarciu pliku szablonu (rozszerzenie .pbit) program załaduje pusty model i zapyta o wartości parametrów.

Tworzenie parametru w postaci listy z zapytania

Na początku załaduję dane dla roku 2017 oraz dane sprzedawców (odpowiednie Arkusze w pliku Excel „Dane”) , które połączę w model danych, przy pomocy pola ID Sprzedawcy. Power BI tak naprawdę sam odnajduje relacje pomiędzy tabelami, ja mogę jeszcze upewnić się, edytując ją, czy jest poprawna.

Przechodzę do Edytora zapytań (Narzędzia główne > Edytor zapytania). Otwieram zapytanie sprzedawcy, zaznaczam kolumnę Województwo > prawy przycisk myszy > Dodaj jako nowe zapytanie.

W tym momencie w widoku po prawej stronie zobaczę nową listę Województwo.

W kolumnie znajdują się wszystkie wartości z zapytania Sprzedawcy, a więc nazwy województw powtarzają się. Usuwam duplikaty z listy , zaznaczam kolumnę > Przekształć > usuń duplikaty

Następnie dodaję nowy parametr (Narzędzia główne > Zarządzaj parametrami > Nowy parametr). Z danymi wprowadzonymi jak poniżej (oznaczam pole Wymagane, ponieważ parametr nie będzie wymagany w moim modelu).

Przechodzę do zapytania Sprzedawcy  i filtruję je po parametrze Woj (Filtry tekstu > Równa się > Parametr > Woj > OK > Zamknij i zastosuj)

Następnie wybieram pola: Sprzedawca, Wartość sprzedaży (z zapytania 2017) oraz Województwo (z zapytania Sprzedawcy, ponieważ właśnie to pole wcześniej filtrowałem z użyciem parametru). Następnie w filtrach przechodzę do filtru dla Województwa > wybieram Filtrowanie Zaawansowane > Pokaż elementy, jeśli ich wartość nie jest pusta.

Dzięki temu zabiegowi w obszarze raportu będą widoczne jedynie dane , które są zgodne z wartością parametru.

Uwaga!

Należy pamiętać, aby relacje pomiędzy tabelami działały prawidłowo, więc kluczowe jest tu ustalenie typu połączenia pomiędzy filtrującą tabelą/kolumną Województwo, a pozostałymi tabelami (w tabeli Sprzedawcy nazwa województwa może pojawić się wielokrotnie).

Jeśli temat Cię zainteresuje, zapraszam do lektury drugiej części artykułu: Parametry w Power Query dla Excel i Power BI (cz. 2).

Gdzie znaleźć Parametry na wstążce Power Query?

Do menedżera dostanę się poprzez edytor Power Query > Narzędzia główne > Parametry > Zarządzaj Parametrami.

Po rozwinięciu strzałki dostępne są opcje:

• zarządzania parametrami,
• edycji parametrów,
• dodania nowego parametru.

Czy wybiorę opcję zarządzania parametrami czy dodania nowego parametru, na ekranie pojawi się to samo okno, z tą różnicą, że przy drugiej opcji będę mógł od razu dodać nowy parametr, ale będę widzieć oczywiście też te istniejące.

1. Nowe – przycisk pozwalający na dodanie nowego parametru.
2. Nazwa – miejsce na nadanie nazwy dla parametru.
3. Opis – „słowno-muzyczny” opis dla parametru (wyświetlany przy edycji parametru).
4. Wymagane – użytkownik może określić czy wartość dla danego parametru może być opcjonalna, czy też wartość dla parametru musi być podana
5. Typ – typ danych umieszczanego parametru. Np. przy filtrowaniu kolumn przy pomocy parametru, ważny jest typ danych parametru oraz filtrowanej kolumny, powinien być spójny, aby parametr był możliwy do wyboru, by mógł kolumnę przefiltrować.
6. Sugerowane wartości – do wyboru są trzy opcje:– Dowolna wartość – tu można wpisać ręcznie wartość parametru, niezależnie od wybranego typu danych- Lista wartości – mogę tu wprowadzić ręcznie, wartości w postaci listy
   – Zapytanie – parametrem stają się elementy znajdujące się w zapytaniu Power Query sformatowanym jako Lista
7. Wartość domyślna – pozwala określić użytkownikowi domyślne wartości parametru
8. Wartość bieżąca – wartość jaką przyjmuje parametr w bieżącym momencie

Okno edycji parametrów wygląda nieco inaczej. Z tego poziomu zobaczę wszystkie zbudowane parametry i będę mógł zmienić ich wartość. Bez znaczenia czy będą to parametry stworzone na podstawie listy czy pisane ręcznie.

Zastosowanie parametrów w Power Query

Parametry można zastosować jako zapytania, do pobrania różnych zestawów danych, do filtrowania wierszy, zachowania/usunięcia/zastąpienia wierszy. Parametry mogą być załadowane do modelu, tak więc można się do nich odwoływać z poziomu miar, kalkulowanych kolumn, kalkulowanych tabel czy elementów raportu (np. w Power BI).

Parametry w interfejsie poleceń Power Query

Zachowanie, usuwanie wierszy

Znajdując się w edytorze Power Query > Narzędzia główne > Zmniejsz wiersze znajdę dwie opcjonalności : Zachowaj wiersze oraz Usuń wiersze. Wybierając każdą z tych opcji otwieram bardzo podobne okno (poniżej przykładowe).

Jak widać liczbę wierszy, którą w zależności od opcji, chcę zachować/usunąć, mogę wskazać poprzez podanie liczby, wskazanie istniejącego parametru czy utworzenie również z tego miejsca nowego.

Filtrowanie wierszy

Aby przy pomocy parametru przefiltrować dane w kolumnie, wybieram trójkąt/strzałeczkę w dół znajdującą się w nagłówku kolumny, wybieram filtry tekstu (kolumna na format tekstowy)  z rozwiniętego menu > Równa się.

Jak widać na poniższym rysunku jako wartość filtru mogę wybrać wartość parametru. Należy jednak pamiętać, że format kolumny powinien by spójny z formatem parametru. Dlatego na liście wyboru dostępnych parametrów pojawią się te, które mają spójny format z kolumną danych.

Wartość parametru, która zostanie zastosowana czy to przy filtrowaniu, czy przy pozostawianiu wierszy będzie wcześniejszą wartością bieżącą.

Każdy z dodanych parametrów pojawia się na liście zapytań edytora Power Query. Wybierając dany parametr, wklikując się w niego, można zmienić jego wartość bieżącą oraz przejść do okna zarządzania parametrami.