Dane źródłowe w programie Excel

Dane mają postać tabeli, w której dla każdej kategorii (A, B itd.) dane nt. 4 wskaźników dla różnych ID lecą w prawo.

Liczba kategorii wynosi kilkaset, zaś liczba ID sięga kilku tysięcy, więc sposób na unpivot, omawiany kiedyś na meetupie, nie wchodzi w rachubę, gdyż powstałoby zbyt wiele kolumn w momencie transponowania tabeli. W związku z tym rozdzielimy proces na dwa zapytania i oddzielnie przeprocesujemy nagłówki, a oddzielnie dane.

Krok 1: Wczytaj dane do Power Query

Tworzymy nowe zapytanie do pliku z danymi.

Krok 2: Zrób odwołanie na proces dla nagłówka i danych

Tworzymy odwołanie do zapytania źródłowego i rozdzielamy proces na 2 ścieżki: nagłówka i danych.

Następnie usuwamy w obu zapytaniach niepotrzebne wiersze. W moim scenariuszu było to:

• Pozostawienie 2 wierszy dla nagłówka:

• Usunięcie 2 wierszy dla danych:

Krok 3: Przygotuj złączony nagłówek

Czas na złączenie danych dla nagłówka do jednej kolumny. Najpierw wykonujemy transpozycję.

Następnie tworzymy kolumnę scaloną z separatorem jako średnikiem.

A na koniec ją ponownie transponujemy 🙂

Krok 4: Dołącz dane do nowego nagłówka

Teraz łączymy dane ponownie w całość operacją Dołącz, zaczynając od nagłówka, a kończąc na danych.

Zapytanie wygląda teraz następująco.

Krok 5: Unpivot

Nadajemy nagłówki i wykonujemy Unpivot others, czyli Anuluj przestawienie innych kolumn.

Krok 6: Rozdziel kolumny

Dzielimy kolumnę wg ogranicznika.

Krok 7: Kolumna przestawna, czyli wtórny pivot

Teraz wykonujemy operację tworzenia kolumn przestawnych na kolumnie ze wskaźnikami, wskazując wartość jako kolumnę obliczeniową.

Krok 8: Zmień nazwy kolumn

Na koniec zmieniamy nazwy kolumn na właściwe i ładujemy dane do tabeli przestawnej, Power Pivot lub Power BI.

Pobierz plik Excel z zapytaniem w Power Query

Tu możesz pobrać plik Excel i prześledzić wszystkie kroki w zaawansowanym unpivocie.

Jak wygląda WYSZUKAJ.PIONOWO Z 1?

Opcja 1: Kolumna warunkowa w Power Query

W arkuszach posiadam dwie tabele z danymi: pierwszą z produktami oraz uzyskanym na nich zyskiem, a drugą z kategorią dla wysokości uzyskanego zysku.

Jeśli reguła jest liczbowa, możemy odwzorować działanie WYSZUKAJ.PIONOWO z 1 kolumną warunkową: Query Editor > Dodaj kolumnę > Ogólne > Kolumna warunkowa.

W oknie Dodawanie kolumny warunkowej wprowadzam kolejne warunki, czyli kategorię do której przypiszę daną wartość zysku. Poniżej okno uzupełnione o wszystkie kategorie i warunki.

Po wybraniu przycisku OK, w danych pojawia się nowa kolumna, uzupełniona wcześniejszymi kategoriami.

Zalety kolumny warunkowej

• szybkość wprowadzania przy małej ilości warunków,
• prostota – gotowy mechanizm dodawania kolumny.

Wady kolumny warunkowej

• brak możliwości szybkiej edycji wpisanych warunków lub dodania nowych przez użytkownika tabeli
• długi czas wprowadzania kolejnych warunków w oknie Dodawanie kolumny warunkowej – im ich jest więcej, tym dłużej to trwa
• opcja nie zadziała dla wyszukiwań tekstowych

Opcja 2: Dołącz zapytania w Power Query

Sposób polega na wprowadzeniu do PQ obu tabel z Excela i wykonaniu kilku operacji w odpowiedniej sekwencji. Po wprowadzeniu tabel do Power Query w pierwszym ruchu połączymy je ze sobą Narzędzia główne > Połącz > Dołącz zapytania (kolumna Zysk musi nazywać się identycznie w obu tabelach).

Następnie sortujemy dane rosnąco według kolumny Zysk, co powoduje wymieszanie kategorii oraz pozostałych danych.

Na kolumnie Kategoria wywołuję prawym przyciskiem myszy menu podręczne i wybieram Wypełnij > W górę.

Dzięki temu wszystkie wartości do 4000 będą miały przypisane kategorie. Co z wartościami które przekraczały ostatnią z kategorii (czyli 4000)?

Jeżeli założę filtr na kolumnie Kategoria wówczas widać null, czyli pola bez przypisanej kategorii.

Jeżeli szybko zerknę na dane okaże się, że są o rekordy o zysku większym niż 4000. Na nie również jest sposób. Ponownie na kolumnie Kategoria wybieram menu podręczne i opcję Zamień wartości. Zamieniam wartości null (bez przypisanej kategorii, czyli większe od 4000) na kategorię bardzo duży.

Dzięki temu już wszystkie wiersze mają przypisane kategorie.

Na koniec pamiętajmy o odfiltrowaniu sztucznie dodanych wierszy (np. w kolumnie Nazwa produktu).

Zalety dołączania

• prostota wprowadzania zmian (wystarczy aktualizacja tabelki w Excelu)
• działa dla wyszukiwań liczbowych i tekstowych

Wady dołączania

• granica przedziału, której należy pilnować ręcznie (ewentualnie można ustawić ostatni przedział daleko za danymi)
• bardziej złożony proces wykonania

Pobierz plik Excel

Pobierz plik WYSZUKAJ.PIONOWO w Power Query z 1 i podstaw własne dane.

Wyzwanie Power Query

Sprawdź, które numery faktur (ID) pojawiają się w drugim źródle danych, gdzie numer jest połączony tekstowo z innymi numerami faktur.

Krok 1: Przygotuj 2 zapytania w Power Query

Krok 2: Wykonaj scalanie Wewnętrzne

W ten sposób wychwycisz rekordy, które wyszukują się idealnie.

Krok 3: Wykonaj scalanie Lewe anty

Lewe anty znajdzie wszystkie niescalone ID z Kroku 2.

Krok 4: Dodaj kolumnę =1 do Tabeli 2 i Lewe Anty

Kolumna ta stanie się kluczem w operacji Scalanie.

Krok 5: Scal Lewe Anty z Tabelą 2 i rozwiń

Uwaga: takie scalanie może dać bardzo wiele wierszy, np. 1000 w Lewe Anty x 1000 w Tabela 2 = 1 mln rekordów.

Krok 6: Wstaw kolumnę warunkową i pozostaw TRUE

Kolumna warunkowa ma funkcję „zawiera”, interpretowaną przez język M jako Text.Contains.

Mając taką kolumnę ustawiamy filtr = TAK.

Krok 7: Usuń zbędne kolumny i dołącz Wewnętrzne z Lewe Anty

W ten sposób znajdziemy wszystkie kombinacje ID z Tabeli 1 z ID Tabeli 2 wg warunku „zawiera” (np. dla ID = 1).

Pobierz plik Excel z zapytaniem Power Query

Tu możesz pobrać plik Excel Scalanie z regułą „zawiera” w Power Query i prześledzić całe zapytanie.

Znasz inne rozwiązanie dla tego wyzwania?

Podziel się w komentarzu.

„Power Query – Oszczędzi Ci wiele godzin pracy, a Twój Szef nie musi o tym wiedzieć.”

Oto 11 powodów, dla których KAŻDY użytkownik Excela powinien znać ten dodatek.

1. Jest bezpłatnym dodatkiem ETL

Na rynku istnieje wiele płatnych narzędzi do przetwarzania danych (ta kategoria narzędzi jest często nazywana ETL – Extract, Transform & Load), ale zanim zaczniemy się nad nimi zastanawiać, warto poznać możliwości darmowego dodatku do programu Excel, który jest integralną częścią arkusza kalkulacyjnego. Jak w reklamie: Jeśli nie widać różnicy, po co przepłacać?

2. Został oficjalnie wypuszczony przez Microsoft

Ten argument może mieć duże znaczenie dla działu IT, który odpowiada za to, co i od kogo jest instalowane na komputerach użytkowników. Pierwsza wersja dodatku została udostępniona przez Microsoft w lipcu 2013 roku, już po premierze Excela 2013. Dlatego każdy, kto chce z niego skorzystać, mając wersję 2010 i 2013, potrzebuje ten dodatek doinstalować. Po instalacji dodatek stanie się widoczny na wstążce programu Excel.

Inaczej sprawa wygląda w programie Excel 2016 lub przy subskrypcji stacjonarnego Excela 365 – tam dodatek jest już wbudowany na karcie Dane > Pobieranie i Przekształcanie (w wersji angielskiej Data > Get & Transform).

Pierwszy link po wpisaniu w Google „Download Power Query” służy do pobrania dodatku:

https://www.google.com/search?q=download+power+query

3. Jest spójny pomiędzy wersjami Excela 2010 – 2013 – 2016

Microsoft bardzo często wypuszcza dodatki, które nie są spójne między poszczególnymi wersjami programu Excel. Możemy spędzić dużo czasu w jednej wersji, ale po przejściu na nowszą, cały nasz wysiłek „jak krew w piach” – jakby powiedział Adam Miauczyński. Tu na szczęście zrobiono wyjątek. Power Query wszędzie działa dokładnie tak samo i nie pojawiają się problemy z niespójnością. Co więcej, dodatek działa na wszystkich wersjach pakietu Office – od Home przez Standard, a na Professional Plus skończywszy. Zapytanie utworzone w Excelu 2010 zadziała w 2016 i na odwrót.

4. Oszczędza ogromną ilość czasu

To najważniejszy argument na liście, być może powinien być na pierwszym miejscu, żeby zwrócić uwagę (stąd dodałem na początku motto). W skali całej organizacji oszczędności mogą być liczone w dniach, co oznacza istną rewolucję. Dlaczego raporty często wyglądają tak, jak wyglądają? Bo analityk musi spędzić 90% czasu, żeby przygotować dane i na odpowiednią prezentację danych i zaprojektowanie dashboardu zostaje już niewiele czasu. Mając Power Query, będziesz mieć zatem więcej czasu na analizę danych i wyciąganie wniosków.

5. Pozwala zrezygnować z VBA

Świat automatyzacji raportów w Excelu można podzielić na 2 fazy: przed Query i po Query. Świat przed Query nie był zły. Dane były często przygotowywane metodą Kopiuj-Wklej, ale Analitycy obeznani z VBA (lub znający kogoś, kto zna kogoś, kto zna VBA) zautomatyzowali większą część poleceń za pomocą makr. Jednak wystarczy, że zmieni się ścieżka pliku lub dojdzie dodatkowa kolumna w środku danych źródłowych i nasz kod nie zadziała. Świat po Query jest zupełnie inny. Każdy analityk będzie w stanie przygotować podstawowe zapytania, wyklikując je ze wstążki, a ewentualne zmiany i edycja zapytania przebiegają bezproblemowo.

6. Zamienia nasze klikanie w ciąg powtarzalnych poleceń

Klikanie interfejsu nagrywa sekwencję poleceń, która będzie wykorzystywana w przyszłości – analogicznie, jak nagrywa się w Excelu makra. Z tą jednak różnicą, że zawsze mogę wrócić i zobaczyć, jak wyglądały moje dane w każdym kroku, usunąć niepotrzebne polecenia lub je wizualnie wyedytować.

7. Jest transparentny

Przejrzystość Power Query jest niewątpliwie jego mocną stroną. Rozpatrzmy scenariusz dramatyczny: jedyna w firmie osoba odpowiedzialna za raporty złamała nogę. Na jej miejsce przychodzi w trybie pilnym ktoś, kto zna trochę Excela i zwykle nawet nie wie, gdzie zacząć (od zrobienia kawy?). Mając plik z zapytaniami w Power Query, zastępca szybko odnajdzie istniejące w nim zapytania i uruchomi je, nie zwracając uwagi na kolejność realizacji zapytań – Power Query samo wybierze odpowiednią ścieżkę realizacji wszystkich zapytań w arkuszu. Jeżeli coś pójdzie nie tak, zastępca może sprawdzić szczegóły każdego zapytania i ewentualnie coś poprawić.

8. Umożliwia łączenie różnych źródeł danych

Power Query to pobranie danych nie tylko z jednego źródła i ich obróbka. Po pierwsze, zapytania można tworzyć także do zaawansowanych systemów źródłowych (np. Hadoop, Facebook, Webservice’y i wiele, wiele innych). Po drugie, zapytania można ze sobą łączyć (łączenie kilku tabel w jedną większą tabelę „na długość”, np. dołączanie danych dla poszczególnych regionów sprzedaży – Południe i Północ) lub scalać (łączenie kilku tabel w jedną większą tabelę „na szerokość”, analogicznie jak WYSZUKAJ.PIONOWO na wielu kolumnach na raz). Zwłaszcza ta druga operacja – scalanie – ma dużo wspólnego z operacjami wykonywanymi w bazach danych: wybieramy ID, po którym dokonujemy łączenia.

9. Daje zaawansowane możliwości

Jeżeli klikanie poleceń na wstążce jest dla Ciebie nudne, kup książkę o języku M i pisz polecenia samodzielnie. Opcja Edytora zaawansowanego daje olbrzymie możliwości tym, którzy szukają mocniejszych doznań w pracy z Power Query. Już sama nazwa najpopularniejszej książki nt. tego języka rzuca analitykowi wyzwanie: „M Is for (Data) Monkey”. Także zwykły użytkownik Query może być czasem zmuszony odnaleźć jakąś funkcję (np. do utworzenia kolumny), ale nie przysporzy to żadnych trudności.

10. Po napisaniu zapytań po prostu klikasz Odśwież

To moja ulubiona część pracy z Power Query. Raz napisane polecenia działają już na zawsze po kliknięciu Odśwież. Czas ładowania danych (zwłaszcza przy dużych zbiorach) możemy spędzić na kawie i promowaniu Power Query „wtajemniczonym” pracownikom swojej organizacji.

11. Do jego poznania wystarczy 1 dzień

Tak. Tylko tyle i aż tyle. Żeby przejść przez podstawowe zastosowania Power Query, a później wykonać samodzielnie kilka ćwiczeń, wystarczy jeden dzień. To może być najlepiej zainwestowany jeden dzień w życiu analityka – no może póki Microsoft nie wypuści czegoś lepszego. Narzędzie jest proste w nauce, intuicyjne, logiczne i przyjemne do nauki. Czy jesteś gotowy na taką przygodę?