Pobierze dane z folderu w Power Query

Aby połączyć dane z wielu plików w Power BI wybieram Narzędzia główne > Pobierz dane > Więcej > Folder > Połącz > wskazuję lokalizację folderu z plikami do połączenia.

Następnie program sam odczytuje pliki jakie znajdują się w folderze. Edytor daje mi w tym momencie kilka możliwości:

Połącz i załaduj

Polecenie przenosi mnie do okna Połącz pliki , gdzie mogę podejrzeć zawartość łączonych plików (rozwijana lista Przykładowy plik), jednak nie mam możliwości ich edytowania. Jedyną opcją wpływającą na złączone dane jest przycisk na dole Pomiń pliki z błędami.  Następnie po wybraniu OK dane są łączone i ładowane do modelu, widoczne od razu w Power BI. Wybieram również plik który będzie przekładowym, Pierwszy plik to pierwszy plik znajdując się w folderze. Z listy mogę również wybrać inny, który został w tym folderze przez program odnaleziony.

Połącz i edytuj

Jest to opcja bardzo podobna do wcześniejszej. Również pojawia się okno Połącz pliki, z takimi samymi funkcjami jednak, po wyborze przycisku OK przechodzę do edycji łączonych plików, w Edytorze zapytań.

Załaduj

Polecenie powoduje stworzenie modelu, który można modyfikować (w Edytorze zapytań), ale po wyborze przycisku przenosi mnie od razu do widoku raportu w Power BI, a polami do wyboru w tym momencie są parametry techniczne plików pobranych ze wskazanego folderu (data utworzenia pliku, modyfikacji, rozszerzenie, nazwa), więc na niewiele się to zda w naszym przypadku.

Edytuj

W edytorze zapytań mam możliwość wskazania plików które będą łączone oraz jakie kolumny z nich powinny być połączone

Połącz pliki w interfejsie Edytora Zapytań

Analogiczne polecenie mogę znaleźć w samym Edytorze zapytań. Są dwa miejsca, gdzie mogę wybrać opcję połączenia plików:

• Z kolumny z danymi (mały przycisk z dwiema strzałkami w dół)

• Z Narzędzia główne > Połącz > Połącz pliki

Opcja połączenia plików na pasku Narzędzi głównych uaktywni się tylko w przypadku jeżeli zaznaczę kolumnę z danymi (czyli Content) pozostałe kolumny to jedynie informacje techniczne dot. łączonych plików. Przy pomocy filtrów mogę zaznaczyć, które pliki chcę ze sobą finalnie połączyć.

Co się dzieje podczas łączenia danych z folderu w Edytorze zapytań?

Podczas łączenia danych Power Query:

1. Tworzy przykładowe zapytanie, które wykonuje wszystkie wymagane kroki ekstrakcji
2. Tworzy parametr, którym jest przykładowy plik binarny.
3. Tworzy zapytanie funkcyjne, które parametryzuje dane wejściowe pliku do przykładowego zapytania. Zapytanie funkcyjne i przykładowe są ze sobą połączone, tak by zmiany w przykładowym zapytaniu zostały odzwierciedlone w zapytaniu o funkcję (co można sprawdzić na pasku formuły).
4. Stosuje zapytanie funkcyjne do oryginalnego zapytania (z wejściowymi binarnymi), więc stosuje zapytanie funkcyjne dla wejściowych danych binarnych w każdym wierszu i rozszerza wynikową ekstrakcję danych.

Efekt końcowy pobierania danych z folderu

W zapytaniu końcowym widoczne będą dane ze wszystkich plików, zaś w zapytaniu przykładowym – tylko z jednego.

Łączenie plików ze ścieżką jako parametrem

Opisany powyżej sposób jest często wykorzystywany w praktyce, jednak może spowodować, że przy zmianie ścieżki plików wszystkie zapytania pokażą błąd. Co ważne, ścieżka plików pojawia się w naszych zapytaniach 2 razy – raz jako ścieżka folderu, drugi raz jako ścieżka przykładowego pliku. Wykorzystam parametr, aby w Power Query zmieniać tę ścieżkę w jednym miejscu. Parametry opisywałem już w dwóch artykułach:

• Podstawowe zastosowania parametrów w Edytorze zapytań
• Ciekawe przykłady wykorzystania parametrów Power Query

Tworzenie parametru w Power Query

Zacznę od utworzenia parametru , którym będzie ścieżka do łączonych plików. Przechodzę więc do Edytora zapytań Narzędzia główne > Edytuj zapytania > Narzędzia główne Parametry > Zarządzaj parametrami > Nowy parametr.

Dodaję nowy parametr o nazwie Folder, wybieram jako Wymagany, typ Tekst ,  jako wartość bieżącą wprowadzam ścieżkę do folderu z plikami, które chcę połączyć > OK.

Mając parametr, przechodzę do połączenia plików > Narzędzia główne > Nowe źródło > Więcej > Folder > Połącz > z lewej strony okna wybieram opcję Parametr > Ścieżka folderu > OK.

W kolejnym oknie wybieram Edytuj. Zmieniam nazwę zapytania na PołączPliki, a z zaznaczoną kolumną Content wybieram opcję Połącz pliki (na pasku zadań lub wybierając znak dwóch strzałek na kolumnie). By faktycznie zmienić ścieżkę do plików ze statycznej na dynamiczną przechodzę do edytora zaawansowanego (Narzędzia główne > Zapytanie > Edytor zaawansowany). Znajduję zapytanie Przykładowy plik i zmieniam ścieżkę na parametr:

Następnie przechodzę do zapytania głównego i tam także zmieniam ścieżkę pliku na wartość parametru.

W ten sposób mogę łatwo przenosić dane źródłowe w inne miejsce, a do korekty będzie zawsze tylko i wyłącznie parametr. Ta technika ma jeszcze większe możliwości w Excelu, gdyż tam mamy możliwość pobrania ścieżki aktualnie otwartego pliku, o czym wkrótce napiszę na blogu.

Pobierz plik Power BI z zapytaniem w edytorze zapytań

Pobierz i sprawdź plik Połącz pliki.

Transformacja 1: Unpivot

Operacja Unpivot, przetłumaczona w polskim interfejsie jako Anuluj przestawienie kolumn (?!), pozwala „odkręcić” dane, pozostawione w układzie przestawnym. Omawiane w czasie spotkania scenariusze obejmowały zarówno jednopoziomowy, jak i wielopoziomowy unpivot.

Unpivot prosty

PRZED

PO

Unpivot złożony

PRZED

PO

Transformacja 2: Grupowanie

Grupowanie może być wykorzystywane w wielu celach, m.in.:

• sprawdzenie słowników danych lub podsumowań
• wstępna agregacja danych, zmniejszającą ich ilość
• dalsze wykorzystanie danych zgrupowanych (np. jako filtr)

PRZED

PO

Transformacja 3: Scalanie

Scalanie jest kluczową operacją w Power Query, gdyż potrafi zastąpić WYSZUKAJ.PIONOWO, dając znaczenie więcej możliwości. Operacja ta jest odpowiednikiem operacji JOIN w języku SQL. Na spotkaniu przeszliśmy przez 6 typów scalania.

Bonus

Przygotowałem też zadanie bonusowe pokazujące, że w Power Query można procesować dane różnymi ścieżkami, a później łączyć je w jeden zbiór. Przykład bonusowy polegał na oddzielnym procesowaniu danych, które generowały błędy.

Materiały do pobrania

Wszystkie przykłady omówione na spotkaniu oraz towarzyszące im dane źródłowe możesz pobrać tutaj: Materiały po #18 Meetup.

W przykładach podmień ścieżkę plików źródłowych.

Co to jest Data Visualization & BI Meetup?

To bezpłatne i otwarte spotkania organizowane przeze mnie dla osób zainteresowanych analizą i wizualizacją danych w różnych narzędziach BI. Aktualnie koncentrujemy się na nowych możliwościach Excela oraz aplikacji Power BI.

Co będzie prezentowane na spotkaniu?

W programie spotkania:

1. Unpivot – prosty i zaawansowany
2. Grupowanie proste i zaawansowane
3. Scalanie na kilka różnych sposobów

Gdzie odbędzie się spotkanie?

W Warszawie, w siedzibie SGH: sala A117 w budynku A (1. piętro)

Jak mogę się zapisać?

Dołącz do grupy na stronie spotkania: https://www.meetup.com/Data-Visualization-and-BI/events/245691476/

Kto organizuje spotkanie?

Organizatorami spotkania są SkuteczneRaporty.pl i SKN Statystyki SGH.

Pobieranie plików z folderu za pomocą Power Query

W katalogu Dane znajdują się 2 pliki.

Na karcie Power Query wybieramy polecenie Z pliku > Z folderu. Opcja ta umożliwia import wielu plików jednocześnie.

W kolejnym kroku należy wskazać ścieżkę (folder), w której znajdują się wszystkie pliki do importu.

W edytorze zapytań, po zaznaczeniu kolumny Content i kliknięciu prawym przyciskiem myszy, pojawi się lista, z której należy wybrać opcję Usuń inne kolumny. Kolumna Content odpowiada za nasz plik.

W kolejnym etapie należy dodać kolumnę niestandardową (Dodaj kolumnę > Dodawanie kolumny niestandardowej) oraz wpisać poniższą formułę

= Excel.Workbook([Content])

Uwaga: opisana w obecnym przykładzie metoda importu danych dotyczy plików w formacie xlsx. W przypadku innych formatów działania mogą się różnić.

W edytorze pojawi się nowa kolumna (PobierzDane) z obiektami tabeli oraz symbolem strzałek w prawym górnym rogu. Po ich kliknięciu należy wybrać OK.

Power Query wyświetli wszystkie obiekty znajdujące się w 2 plikach. Z kolumny PobierzDane.Item należy odfiltrować tylko interesujące nas arkusze tj. Arkusz1 z plików 1 i 2.

Następnie zaznaczamy kolumnę PobierzDane.Data i usuwamy pozostałe kolumny.

W tym momencie możliwe jest już zaimportowanie danych poprzez wybór strzałek w górnym rogu kolumny PobierzDane.Data. Rozwiązanie to wymagałoby jednak kilku dodatkowych operacji na danych na dalszym etapie. Żeby ich uniknąć, posłużymy się formułą w kolumnie niestandardowej (Dodaj kolumnę > Dodawanie kolumny niestandardowej):

=Table.PromoteHeaders([PobierzDane.Data])

W ostatnim etapie możemy usunąć kolumnę PobierzDane.Data, rozwinąć kolumnę DaneZaimportowane (za pomocą strzałek w nagłówku), odznaczając Użyj oryginalnej nazwy kolumn jako prefiksu, a następnie wciskamy OK. Odznaczenie Użyj oryginalnej nazwy kolumny jako prefiksu spowoduje, że w tabeli wynikowej nagłówki kolumn nie będą posiadały zbędnego prefiksu DaneZaimportowane np. DaneZaimportowane.Data wysyłki.

Opcja Zamknij i załaduj w zakładce Narzędzia główne ładuje dane do nowego arkusza Excel w formacie tabeli.

Jak dodać nowe dane do pobrania poprzez Power Query?

O ile na żadnym etapie polecenia w Power Query nasz nowy plik nie zostanie odfiltrowany (np. w powyższym ćwiczeniu odfiltrowaliśmy tylko arkusze o nazwie Arkusz1), może wystarczyć skopiowanie nowego pliku do folderu i wybranie polecenia Odśwież. W bardziej zaawansowanych przypadkach potrzebne jest bardziej uniwersalne polecenie, które pokazuję w kolejnym poście.

Plik do pobrania

Możesz pobrać załączony katalog i samodzielnie przetestować gotowy skrypt Power Query. Na swoim komputerze podmień tylko ścieżkę katalogu: