Krok 1: Usuń niepotrzebne wiersze

Możesz to uczynić operacją Usuń pierwsze wiersze i Usuń końcowe wiersze lub zwykłym filtrowaniem np. wartości null. Zachowaj przy tym wszystkie wiersze, które składają się na nagłówki.

Krok 2: Zbuduj 2 odwołania

Jedno odwołanie będzie procesować nagłówki, drugie – dane właściwe.

Krok 3: Usuń symetrycznie wiersze

W naszym przypadku w zapytaniu Nagłówki zostawiam 2 pierwsze wiersze, a w zapytaniu Dane usuwam je.

Krok 4: Transponuj nagłówki

Czas na zabawę z transpozycją, dzięki której nagłówki będzie można potraktować jak kolumnę tekstową.

Krok 5: Złącz teksty

Czasem nagłówki nadają się wprost do złączenia, a czasem nie do końca i wtedy trzeba użyć jeszcze kolumny warunkowej czy zamiany wartości.

Krok 6: Wypełnij w dół

Wypełnianie jest jedną z najciekawszych opcji w Power Query i zastępuje stary trik: znajdź puste i = komórka wyżej z Ctrl + Enter. Trzeba tylko pamiętać, że potrzebna jest wartość null, a jeśli jej nie ma, zastępujemy tekst (1–>2 na karcie Przekształć) na null pisany małymi literami.

Krok 7: Usuń niepotrzebne kolumny i transponuj z powrotem

Krok 8: Do nagłówków dołącz dane jako nowe zapytanie

Nazwy nagłówków obu tabel nadal powinny zaczynać się od słowa Column.

Jeśli dobrze zrealizujemy cały proces, diagram zależności zapytań będzie wyglądał tak:

Krok 9: Nadaj nowe nagłówki

Teraz jest wreszcie moment na polecenie Użyj pierwszego wiersza jako nagłówków z karty Przekształć.

Sprawdź zapytanie Power Query w pliku Excel

Tu możesz pobrać plik Excel z zapytaniem Power Query naprawiającym nagłówki.

Masz inny problem z plikami tekstowymi lub Excelami?

Podziel się w komentarz.

Krok 1: Utwórz dwa Odwołania

Odwołanie świetnie przydaje się do tworzenia dynamicznego połączenia z głównym zapytaniem i rozbicia ścieżki procesowej na dwie części: dane prawidłowe i błędy

Krok 2: Usuń błędy i pozostaw błędy

Jeśli naszym celem jest wyczyszczenie danych z błędów, możemy je symetrycznie usunąć (zapytanie dane prawidłowe) i zostawić (zapytanie błędne).

Pamiętajmy przy tym, że widok Power Query jest ograniczony do pierwszego 1000 rekordów, a przy dużej liczbie kolumn tylko do 200. Stąd nie zawsze błędy widać od razu w oknie podglądu.

Krok 3: Dodaj kolumnę niestandardową

W zapytaniu z błędami dodamy kolumnę niestandardową i posłużymy się językiem M, aby dowiedzieć się więcej nt. błędów. Formuła ma postać:

= try [Data]

Otrzymamy kolumnę jako Record.

Krok 4: Rozwiń rekord

Teraz dokopujemy się do końcowej struktury błędu, rozwijając wszystkie złożone obiekty.

Krok 5: Przeanalizuj przyczyny błędów

Na koniec otrzymujemy 3 przydatne kolumny:

• Reason – powód wystąpienia błędu
• Message – komunikat, który towarzyszy temu powodowi
• Detail – wartość komórki przed wystąpieniem błędu

Całe zapytanie może nam posłużyć do przygotowania dashboardu jakości danych – czy to w Excelu, czy to w Power BI.

Pobierz plik Excel z zapytaniem Power Query

Tu możesz pobrać plik Excel z mechanizmem sprawdzania błędów w Power Query i podejrzeć jego działanie.

Masz swój sposób na błędy w Power Query?

Podziel się w komentarzu

Pomysł #1: Przejdź na 64-bitowy Excel lub Power BI

Wersja 32-bitowa ogranicza się do 4GB RAM, a wersja 64-bitowa potrafi efektywniej wykorzystać dostępną pamięć roboczą. Jak sprawdzić swoją wersję Excela?

Reinstalację w dużej firmie trzeba zwykle zlecić w IT. Zanim to zrobisz, sprawdź z kolegami z IT, czy Excel 64-bitowy nie wchodzi w konflikt z wykorzystywanymi w Twojej organizacji nakładkami na Excel od dostawców zewnętrznych, które często są tylko 32-bitowe.

Pomysł #2: Przejdź z plików Excel na CSV

Pobierając dane z systemu źródłowego (np. SAP) masz wybór co do rozszerzenia pliku i jego typu? Zamiast pliku programu Excel wybierz plik tekstowy (np. CSV). Dzięki prostszej strukturze pliki tekstowe są kilkukrotnie szybciej procesowane przez Power Query.

Pomysł #3: Zignoruj sprawdzanie prywatności

Jeśli pracujesz z danymi na dysku sieciowym, Excel zapyta, jak bezpiecznie ma je traktować. Okazuje się, że nasz wybór ma wpływ na wydajność Power Query, czym pisałem już w artykule o poziomach prywatności w Power Query. Jeśli pojawi się okienko z poziomami prywatności, wybierz Ignoruj.

Pomysł #4: Pomyśl nad kolejnością operacji i liczbą kroków

W uproszczeniu: każdy krok przechowuje pełen obraz naszych danych. Jeśli kroków i zapytań jest dużo, ich przetwarzanie w pamięci będzie trwało. Dlatego pomyśl nad kolejnością operacji i ich powtarzalnością:

• najpierw nagraj usuwanie kolumn, grupowanie czy filtrowanie
• nagraj kroki podobne jednocześnie (np. Zmieniono typ danych, Zmieniono nazwy nagłówków)

Pomysł #5: Włącz szybkie ładowanie danych

Szybkie ładowanie danych jest opcją zapytania w programie Excel, dzięki której zapytania wykonują się szybciej, ale okienko Excela jest blokowane, podobnie jak przy VBA.

Pomysł #6: Sprawdź, jak Power Query radzi sobie z tym samym zapytaniem w Power BI

Dlaczego? Power Query w Excelu wczytuje te same pliki wiele razy, podczas gdy Power Query w Power BI potrafi je przechować w pamięci podręcznej. Dlatego warto sprawdzić (np. metodą kopiuj-wklej między Power Query Excela a Power Query Power BI), jak szybko wykona się zapytanie w Power BI. Jeśli jest różnica, w Excelu może pomóc Pomysł #10.

Pomysł #7: Ubierz transformacje w funkcje

Najprostszy przykład funkcji możemy zaobserwować w działaniu Kolumny z przykładów (1).

Zamiast tworzyć oddzielne kroki, Power Query próbuje w tej operacji wykonać wszystko w jednym kroku.

Jeśli przekształceń jest sporo, użytkownik zaawansowany może spróbować zagnieździć funkcję w ramach kolumny i wywołać ją poleceniem Dodaj kolumnę > Wywołaj funkcję niestandardową (2).

Pomysł #8: Wystaw źródło w bazie danych SQL

Co daje natywne połączenie z bazą danych SQL? Query folding. Oznacza to, że operacje wykonywane są na serwerze, a nie na naszym komputerze. Dane potrzebujemy przechowywać w bazie danych SQL (Access nie pomoże) i dobierać się do nich w taki sposób, aby opcja Wyświetl zapytanie natywne nie zgasła. To samo źródło danych, obsługiwane przez ODBC, okazywało się często wielokrotnie wolniejsze niż polecenie Pobierz dane > Z bazy danych.

Pomysł #9: Rozbij proces na kilka etapów

To rozwiązanie wymaga trochę więcej pracy przy odświeżaniu, ale może przynieść oczekiwane efekty. Zamiast wykonywać skomplikowane operacje w jednym pliku Excel z wieloma zapytaniami Power Query, możesz zbudować rozwiązanie kaskadowe:

• zapytanie 1 łączy się z plikiem 0
• zapytanie 1 ląduje w pliku 1 jako tabela
• zapytanie 2 łączy się z tabelą z pliku 1
• zapytanie 2 ląduje w pliku 2 jako tabela
• itd.

Pomysł #10: Wczytaj wszystkie dane do pamięci RAM Power Query

Jedna z zaawansowanych technik wykorzystuje operację wczytania danych do pamięci RAM poprzez operację Table.Buffer. Dzięki temu źródło danych wczyta tam się jeden raz i nie będzie pobierane wiele razy na potrzeby różnych zapytań.

Pomysł #11: Użyj operacji Odwołanie zamiast Duplikuj

Jeśli na jednym źródle tworzysz wiele zapytań, lepiej posłużyć się operacją Odwołanie niż Duplikuj.

Dzięki temu zapytanie bazowe wykona się do pewnego momentu, a potem rozejdzie się po zapytaniach zależnych.

Znasz inne sposoby na przyspieszenie Power Query w Excelu lub Power BI?

Podziel się w komentarzu.