Gdy transformacja Podziel kolumny w Power Query nie wystarcza

Na blogu opisywałem już jedną z nowości w Power Query – Podziel kolumny według przejścia.

Są jednak sytuacje, gdy nie chcemy rozdzielać tekstu, a jedynie oczyścić go z niepotrzebnych znaków czy symboli. I nie chodzi tu o operacje takie jak Przycięcie (usuwa spacje) czy Wyczyść (usuwa znaki niedrukowalne).

Text.Select – wyodrębniacz znaków z kolumny w Power Query

Z pomocą przychodzi nam funkcja języka M, którą wstawimy poprzez kartę Dodaj kolumnę > Kolumna niestandardowa. Następnie wpisujemy:

=Text.Select([Tekst],{"a".."z"})

Pierwszym argumentem jest kolumna tekstowa, drugim lista znaków, które chcemy wyodrębnić. Żeby nie wpisywać wszystkich liter alfabetu, możemy się posłużyć wbudowaną w Power Query listą od A do Z, reprezentowaną przez {„a”..”z”}. Efektem końcowym jest kolumna z tekstem.

Na liście nie ma jednak polskich znaków, dlatego w naszym scenariuszu je dopiszemy.

=Text.Select([Tekst],{"a".."z","ą","ć","ę","ł","ń","ó","ś","ź","ż"})

Jak wyodrębnić duże litery w Power Query?

Analogicznie możemy zająć się tylko dużymi literami, tworząc listę liter od A do Z (dużą literą).

=Text.Select([Tekst],{"A".."Z"})

Jak wyodrębnić cyfry w Power Query?

Taką samą listę znaków możemy zastosować do wygenerowania listy cyfr, dzięki czemu wytniemy je wszystkie z tekstu.

=Text.Select([Tekst],{"0".."9"})

Jak wyodrębnić inne znaki w Power Query?

Jeśli Twój tekst zawiera różne symbole, możesz się ich pozbyć w analogiczny sposób, tworząc listę znaków do wyodrębnienia, np. – % # (.

=Text.Select([Tekst],{"-","%","#","("})

Jak usunąć znaki specjalne w Power Query?

Najczęściej zależy nam jednak na operacji przeciwnej. Przyda się wtedy druga funkcja języka M – Text.Remove. Jej składnia jest taka sama, jednak zamiast wyodrębniać wskazany tekst, funkcja usuwa go z niego. Jeśli jednak zapomnimy o jakimś znaku (np. $), wówczas pozostanie on w tekście.

=Text.Remove([Tekst],{"-","%","#","("})

Jest na to jednak sposób. Otóż Power Query przy tworzeniu list typu {„a”..”z”} bazuje na liście znaków standardu Unicode. Zamiast więc tworzyć listę znaków specjalnych, możemy ją w skrócie zapisać jako:

=Text.Remove( [Tekst], {" ".."/",":".."@", "[".."`","{".."~"} )

Pobierz plik Excel z zapytaniem Power Query

Tu możesz pobrać plik Excel ze wszystkimi kolumnami utworzonymi z funkcjami Text.Select i Text.Remove w języku M.

Jednak najpierw odrobina teorii … o macierzach

Macierz to prostokątna tablica zawierająca liczby, symbole i wyrażenia, które ułożone są w wiersze oraz kolumny. Służą do zapisywania dużych zbiorów danych, które są we wzajemnej relacji. Szczególnie ważną rolę pełnią macierze w informatyce oraz statystyce, gdzie często występują ogromne zbiory danych.

Gdzie można wykorzystać macierze?

Są wykorzystywane do rozwiązywania skomplikowanych układów równań liniowych. Bardzo ciekawym jest wykorzystanie do modelowania ekranu komputera, który składa się z pikseli ułożonych w wiersze oraz kolumny.

Macierze wykorzystuje oprogramowanie graficzne takie jak Adobe Photoshop, do przetwarzania transformacji linowych w celu renderowania obrazów.

W fizyce macierze znajdują zastosowanie w badaniach obwodów elektrycznych, mechanice kwantowej i optyce. Macierze wykorzystywane są do dokonywania dokładanych obliczeń pogrzebnych w pracy mechaniki kwantowej.

Macierze wykorzystywane są również do kodowania i szyfrowania wiadomości.

W robotyce i automatyce macierze tworzą podstawowe ruchy robota.

Macierze to również struktury do przechowywania danych śledzenia informacji o użytkownikach, służą do kompresji informacji elektronicznych, czy przechowywania danych biometrycznych, ale także informacji o populacji.

Transformacje macierzy, które dają doskonale skalibrowane obliczenia, wykorzystuje się w sieciach elektronicznych, samolotach, statkach kosmicznych oraz inżynierii chemicznej.

Dla mnie osobiście najbardziej interesującym zastosowaniem macierzy są wyszukiwarki internetowe np. Google. W tym konkretnym przypadku zastosowany jest algorytm PageRank (PR), który wykorzystuje macierze oraz ich wartości i wektory własne. Wyszukiwarka przyporządkowuje stronom internetowym pewien wskaźnik, którego początkiem był PageRank. Im jest o wyższy tym strona wyżej pojawia się w wyszukiwarce. Wartość PR powstaje w oparciu o jakość i ilość linków prowadzących do danej strony www.

Oczywiście nie są to wszystkie zastosowania, ponieważ macierze dotykają wielu dziedzin, a wymienione tu to tylko przykłady.

Na czym polega mnożenie macierzy?

Na mnożeniu wierszy pierwszej macierzy przez kolumny drugiej macierzy. By wymnożyć macierze musi być spełniony warunek : pierwsza macierz ma tyle kolumn ile druga wierszy.

Dlaczego mnożenie macierzy w Power Query?

W Excelu do mnożenia macierzy można wykorzystać wbudowaną funkcję MACIERZ.ILOCZYN, czyli podać zakresy dwóch tablic, które między siebie miałyby być wymnożone. Niestety jeżeli zmienią się wymiary tablic, wówczas formułę należy zaktualizować oraz ponownie przeliczyć przy pomocy Ctrl + Shift + Enter (ponieważ jest to formuła tablicowa).

Jednak operowanie na Power Query pozwala zapomnieć o konieczności aktualizacji działania procedury, gdy zmieni się zakres poszczególnych macierzy.

Mnożenie macierzy w Power Query

Potrzebuję dwóch macierzy A i B jako zdefiniowane zakresy w Excel. Zacznę od pobrania i modyfikacji pierwszej macierzy do Power Query: Dane > Pobieranie i przekształcanie > Z tabeli

Kolejne transformacje tabeli doprowadzą ją do postaci trzykolumnowej: wiersz, kolumna oraz wartość.

Wybieram Dodaj kolumnę > Dodaj kolumnę indeksu > od 1.

Zostanie dodana nowa kolumna z numerem wiersza. Wybieram ją i prawym przyciskiem myszy rozwijam menu podręczne z którego wybieram Anuluj przestawienie innych kolumn.

Operacja ta powoduje przekształcenie macierzy w wyglądu zbliżony do oczekiwanego. Należ jeszcze oczyścić kolumnę Atrybut do form liczbowej.

Kolejne kroki do wykonania to :

1. Zamiana w drugiej kolumnie słowa ColumnX na X : PP myszy > zamień wartości > w polu Wartość do znalezienia wpisuję Column, Zamień na pozostawiam puste
2. Po powyższej operacji kolumna ma format tekstowy, więc zmieniam go na liczbowy : PP myszy > Zmień typ > Liczba całkowita
3. Zmieniam nazw dwóch pierwszych kolumn na: Wiersz, Kolumna co też kończy całą operację zmian na tej tablicy.

Tworzenie funkcji

Na początku zmieniam nazwę zapytania na PrzygotowanieMacierzy. Następnie zmieniam ciąg wykonanych operacji na funkcję. Wchodzę do Edytora zaawansowanego i dodaję w pierwszej linii wyrażenie (TableName) =>

Usuwam cały wiersz „Zmieniono typ” , który jest zbędny (pozostawienie go spowoduje, że funkcja nie będzie uniwersalna, ponieważ zawiera odwołania do nazw poszczególnych kolumn). W kolejnym wierszu #”Zmieniono typ” zmieniam na #”Źródło”(ponieważ wcześniej usunąłem krok Zmieniono typ).

W miejscu deklaracji źródła danych (Excel.CurrentWorkbook) zmieniam nazwę „MacierzA” na TableName > Gotowe. Poniżej widok finalnego polecenia.

Dzięki wykonanym zmianom po prawej stronie, w oknie nawigatora jest widoczna funkcja. Po wybraniu jej z listy pojawia się okno do wprowadzenia parametru dla funkcji (wcześniej wprowadzonego TableName). Wprowadzam nazwę zakresu, który ma być przekształcony w wyniku działania funkcji : MacierzA > Wywołaj.

Dzięki funkcji powstaje nowe zapytanie, zmieniam jego nazwę na MacierzA. Takie same kroki wykonuję dla drugiej macierzy, zmieniam nazwę zapytania na MacierzB.

Tworzenie tabeli połączonej

W następnej kolejności utworzę tabelę połączoną gdzie dla kolejnych kolumn Macierzy A dopasuję wiersze z Macierzy B. Zaznaczam na liście zapytań MacierzA > Narzędzia główne >Połącz > Scal zapytania > Scal zapytania jako nowe.  Z Macierzy A zaznaczam Kolumnę zaś z MacierzyB zaznaczam Wiersz. Jako rodzaj połączenia tabel wybieram Lewe zewnętrze > OK.

W wyniku operacji pojawia się nowa kolumna, której nazwę zmieniam na B.

Klikam a podwójną strzałkę w kolumnie B i z listy wyboru oznaczam Wiersz,  pozostawiam zaznaczoną opcję Użyj oryginalnej nazwy kolumny jako prefiksu (co pozwoli mi później odnaleźć się  w danych).

Powstaje tablica zawierająca wszystkie kombinacje Macierzy A oraz B, które niezbędne są do wymnożenie między siebie macierzy. Znajdują się one w kolumnie Wartość oraz B.Wartość. By wymnożyć macierze musimy wymnożyć między siebie kolumny Wartość oraz B.Wartość.  W tym celu stawiam nową kolumnę Dodaj kolumnę > Kolumna niestandardowa.

Nazywam ją AB oraz wprowadzam formułę wymnożenia kolumn między siebie.

Wynikiem mnożenia macierzy jest macierz o ilości wiersz z Macierz A oraz ilości kolumn z Macierzy B. Zaznaczam kolumnę Wiersz oraz B.Kolumna Przekształć > Grupowanie według

W okna wprowadzam wybory jak powyżej, grupuję dane według numery wierszy oraz kolumn, w nowej kolumnie. Cała operacja powoduje ogromne zmniejszenie się wielkości tabeli.

Dane nie są jednak jeszcze w ostatecznej, oczekiwanej formie. Zaznaczam kolumnę B.Kolumna Przekształć > Dowolna kolumna > Kolumna przestawna

Wskazuję która kolumna jest kolumną z wartościami oraz jaka operacja ma być wykonana na danych,  tym przypadku Suma.

Na koniec powstaje mała macierz o spodziewanych rozmiarach.

Pobierz plik

Jeżeli chcesz sam przejść wszystkie kroki samodzielnie, pobierz plik Mnożenie macierzy w Power Query.

Źródło pomysłu na artykuł

Autor pomysłu: Bill Szysz

https://datachant.com/2016/06/07/faster-matrix-mulitplication/

Wyzwanie Power Query

Sprawdź, które numery faktur (ID) pojawiają się w drugim źródle danych, gdzie numer jest połączony tekstowo z innymi numerami faktur.

Krok 1: Przygotuj 2 zapytania w Power Query

Krok 2: Wykonaj scalanie Wewnętrzne

W ten sposób wychwycisz rekordy, które wyszukują się idealnie.

Krok 3: Wykonaj scalanie Lewe anty

Lewe anty znajdzie wszystkie niescalone ID z Kroku 2.

Krok 4: Dodaj kolumnę =1 do Tabeli 2 i Lewe Anty

Kolumna ta stanie się kluczem w operacji Scalanie.

Krok 5: Scal Lewe Anty z Tabelą 2 i rozwiń

Uwaga: takie scalanie może dać bardzo wiele wierszy, np. 1000 w Lewe Anty x 1000 w Tabela 2 = 1 mln rekordów.

Krok 6: Wstaw kolumnę warunkową i pozostaw TRUE

Kolumna warunkowa ma funkcję „zawiera”, interpretowaną przez język M jako Text.Contains.

Mając taką kolumnę ustawiamy filtr = TAK.

Krok 7: Usuń zbędne kolumny i dołącz Wewnętrzne z Lewe Anty

W ten sposób znajdziemy wszystkie kombinacje ID z Tabeli 1 z ID Tabeli 2 wg warunku „zawiera” (np. dla ID = 1).

Pobierz plik Excel z zapytaniem Power Query

Tu możesz pobrać plik Excel Scalanie z regułą „zawiera” w Power Query i prześledzić całe zapytanie.

Znasz inne rozwiązanie dla tego wyzwania?

Podziel się w komentarzu.

Przygotowanie danych w tabeli Excel

Przykład rozpoczniemy od zbioru danych, w którym znajdziemy 2 kolumny: Data i Sprzedaż.

Cel: obliczyć dynamikę dzień do dnia.

W komórkach Excel formuła nie sprawi nam większych problemów.

Jak podobny efekt osiągnąć w Excel Power Query?

Krok 1: Utwórz kolumnę indeksu od 0

Kolumnę indeksu znajdziemy na karcie Przekształć > Kolumna indeksu > od 0. Zaczyna się od 0, gdyż domyślną liczbą startową w formułach Power Query jest 0, a nie jak w zwykłym Excelu 1.

Krok 2: Utwórz kolumnę indeksu od 1

Krok 3: Scal zapytanie z samym sobą

Na karcie Narzędzia główne wybierz Scalanie, a następnie wskaż kolumnę indeksu od 0 jako klucz pierwszej tabeli i kolumnę indeksu od 1 jako klucz drugiej tabeli.

Po rozpakowaniu otrzymamy szukaną wartość z wiersza niżej.

Krok 4: Zbuduj formułę w Power Query

Ostatni krok to obliczenie dynamiki za pomocą Kolumny niestandardowej.

Plik do pobrania

Tu możesz pobrać plik Excel Zmiana między wierszami w Power Query i zajrzeć do gotowego zapytania.

Krok 1. Formuła List.Dates

Tworzę nowe, puste zapytanie poprzez Dane > Nowe zapytanie > Z innych źródeł > Puste zapytanie.

Będę wprowadzać kolejne formuły języka M, które pozwolą mi na zbudowanie kalendarza. Dlatego poprzez zakładkę Widok uruchamiam Pasek formuły.

W pasku wpisuję formułę List.Dates (uwaga na wielkość znaków, język M jest językiem typu case sensitive). Następnie wciskam Enter, dzięki czemu na ekranie pojawia opis działania funkcji, przykład oraz miejsce na podanie jej kolejnych argumentów.

Jako start podaję początek roku 2017, Count  – ilość kolejnych wygenerowanych dat, w tym przypadku 100 oraz step czyli odstęp pomiędzy datami – 1 dzień.

Po wyborze przycisku Wywołaj została wygenerowana formuła oraz lista dat jak poniżej, na dole screenu wydać również, że liczba wygenerowanych elementów przez funkcję to 100.

Nie satysfakcjonuje mnie jednak ta ilość dat – chciałbym, by była to liczba dynamiczna, czyli od początku roku do dziś. W tym celu w formule zamieniam liczbę 100 na Duration.Days(DateTime.Date(DateTime.FixedLocalNow())-#date(2017,1,1)). Widać również po zaakceptowaniu zmian w funkcji, że liczba wygenerowanych elementów się zmieniła na 300 (oczywiście liczba elementów będzie inna w Twoim pliku, zależna od tego kiedy wykonasz to ćwiczenie 😉 ).

Przekształcam utworzoną listę na tabelę Przekształć > Do tabeli.

Krok 2: Budowa dodatkowych kolumn

Dodaję kolumnę Indeksu, która będzie numerowała kolejne wiersze w tabeli Dodaj kolumnę > Dodaj kolumnę indeksu > Od 1. Plus zmieniam nazwę pierwszej kolumny na Data.

Następnie dodaję kolejne kolumny z kolejnymi wymiarami daty poprzez Dodaj kolumnę > Dodawanie kolumny niestandardowej. Zaczynam od roku jak na załączonym obrazku. Można je też wyklikać z interfejsu na karcie Dodaj kolumnę. Po prawej stronie widoczne są kolumny, które mogę wykorzystać w tworzeniu kolejnych. Zmiany w tworzonej tabeli wprowadzam przyciskiem OK. Tworzę kolejne kolumny jak poniżej:

Numer Miesiąca =Date.Month([Data])

Dzień =Date.Day([Data])

Nazwa dnia =Date.ToText([Data],”ddd”)

Nazwa miesiąca =Date.ToText([Data],”MMM”)

Nazwa kwartału =Date.QuarterOfYear([Data])

Poniżej widok z wszystkimi utworzonymi kolumnami.

Chciałbym stworzyć kolumnę z informacją o skróconym roku (2 ostatnie znaki) oraz o numerze kwartału tego roku. W tym celu duplikuję kolumnę Rok Prawy przycisk myszy > Duplikuj kolumnę.

Aby ze zduplikowanej kolumny wydzielić dwa ostatnie znaki, muszę zmienić jej typ na tekstowy prawy przycisk myszy > Zmień typ > Tekst.

Następnie by wydzielić znaki wybieram prawy przycisk myszy > podziel kolumny > według liczy znaków > 2 > Powtarzalne > OK.

Wyniku tej operacji dostaję dwie kolumny, usuwam tę z wartościami ‘20’ a dla drugiej zmieniam nazwę na Skrócony Rok. Następnie dodaję nową kolumnę poprzez Dodaj kolumnę > Dodawanie kolumny niestandardowej. Poniżej formuła oraz nazwa tworzonej kolumny, która będzie dawała informację o roku i jego kolejnym kwartale.

Krok 3. Uporządkowanie i zmiana typu danych

Następnie zmieniam kolejność kolumn oraz ich formaty, by uporządkować nieco dane. Niemal wszystkie kolumny zmieniam na format tekstowy (Przekształć > Dowolna kolumna > Typ danych > Tekst), nazwę dnia tygodnia zmieniam na dwuliterową poprzez wyodrębnienie znaków (Przekształć  > Kolumna tekstu > Wyodrębnij > Pierwsze znaki , w przypadku poniedziałku i niedzieli muszę ręcznie poprzez zamień wartości z menu podręcznego kolumny zamienić kodowanie).

Pobierz plik Excel i wstaw swoje dane

Tu możesz pobrać Kalendarz w Power Query i wstawić swoje dane.

Dane do zapytania Power Query

Zaczynamy od tabeli transakcji, która powstała na końcu artykułu o dzieleniu kolumn na wiersze.

Krok 1: Utwórz zapytanie

Tworzę tabelę (Ctrl + T) i ładuję ją jako zapytanie do edytora zapytań Power Query.

Krok 2: Grupowanie według

Ponieważ szukanej przez nas operacji nie da się wykonać jednym kliknięciem, szukamy najprostszego sposobu do osiągnięcia celu. Zaczynamy od operacji Grupowanie według.

Otrzymamy obiekty typu Table.

Krok 3: Odfiltruj kolumny tabeli

Gdy wejdę do środka pojedynczej tabeli, mogę wykonać operację filtrowania kolumn, a następnie zastosować ją do wszystkich tabel, które były w kroku wcześniej.

W moim przykładzie otrzymałem polecenie:

= Table.SelectColumns(#"PL-2012-007335",{"Produkty"})

Korzystam z tego polecenia, aby odfiltrować kolumny we wszystkich tabelach, a wykonuje się to, tworząc nową kolumnę niestandardową.

Krok 4: Skonwertuj na listę

Łączenie tekstowe w pionie to operacja zarezerwowana dla obiektów w postaci list. Zamieńmy więc tabelę na listę.

Krok 5: Połącz teksty

Do tego kroku zmierzaliśmy. Listy mają wbudowaną operację łączenia tekstów, którą ponownie można wydobyć nową kolumną niestandardową.

Krok 6: Zamknij i załaduj

Zwracam dane w postaci tabeli do programu Excel.

Przykład ten nie jest może najłatwiejszy, ale pokazuje, że te rzeczy, których nie będziemy w stanie wyklikać, prawdopodobnie także można stworzyć w Power Query, studiując formuły języka M.

Jeśli znasz prostszy sposób na wykonanie tej operacji, podziel się w komentarzu.

Pobierz plik Excel z zapytaniem w Power Query

Tutaj możesz pobrać plik Excel i zerknąć na całe zapytanie, a nawet skopiować je i wkleić do swojego pliku (zmieniając nazwy tabel i kolumn).