Webinar „WYSZUKAJ.PIONOWO vs SCALANIE”

Podczas 1-godzinnego spotkania WYSZUKAJ.PIONOWO w Excelu vs Scalanie w Power Query pokazałem, jakie są różnice między wyszukiwaniem w Excelu za pomocą WYSZUKAJ.PIONOWO oraz X.WYSZUKAJ a Scalaniem zapytań w Power Query. Wielu użytkowników Excela, przesiadających się na Power Query, ma z tym problem. Uczestnicy webinaru jako pierwsi dowiedzieli się o:

• premierze kursów online w języku angielskim w Excel BI Academy (w tym 13-godzinnego, bezpłatnego kursu Excel na angielskim interfejsie),
• starcie programu „Polecam kursy”
• promocji na pakiet kursów Akademia 4w1 (w którym jest 5-godzinny moduł o Power Query). Kurs jest dostępny także w języku angielskim na platformie Excel BI Academy jako 4in1 Power courses bundle.

Materiały do Wyzwania Scalania

Tu możesz pobrać zarówno pliki źródłowe wraz z opisem zadań, jak i pliki z rozwiązaniami. Aby przepiąć rozwiązania na swój komputer, wyedytuj źródła danych w Power Query poprzez Ustawienia lub przez krok Źródło.

Rozwiązanie Wzywania Scalanie – wideo

Każde zadanie można ukończyć na kilka sposobów. Oto moja wersja rozwiązań. Jeśli masz inny, ciekawy pomysł, opisz w komentarzu.

Opcja 1: Table.Buffer na ratunek zapytania Power Query

Aby obejść to ograniczenie, dopisz w pasku formuły Table.Buffer przed operacją sortowania.

Ryzyko: Table.Buffer wczytuje całą tabelę do pamięci, więc może znacznie spowolnić zapytanie. Jeśli tak jest, przetestuj opcję 2.

Opcja 2: Kolumna indeksu

Drugą opcją jest ponumerowanie wierszy za pomocą kolumny indeksu. Dodanie tego dodatkowego kroku także gwarantuje właściwą kolejność usuwania duplikatów.

Znasz inne nietypowe funkcjonalności (błędy?) Power Query?

Podziel się w komentarzu.

Jednak najpierw odrobina teorii … o macierzach

Macierz to prostokątna tablica zawierająca liczby, symbole i wyrażenia, które ułożone są w wiersze oraz kolumny. Służą do zapisywania dużych zbiorów danych, które są we wzajemnej relacji. Szczególnie ważną rolę pełnią macierze w informatyce oraz statystyce, gdzie często występują ogromne zbiory danych.

Gdzie można wykorzystać macierze?

Są wykorzystywane do rozwiązywania skomplikowanych układów równań liniowych. Bardzo ciekawym jest wykorzystanie do modelowania ekranu komputera, który składa się z pikseli ułożonych w wiersze oraz kolumny.

Macierze wykorzystuje oprogramowanie graficzne takie jak Adobe Photoshop, do przetwarzania transformacji linowych w celu renderowania obrazów.

W fizyce macierze znajdują zastosowanie w badaniach obwodów elektrycznych, mechanice kwantowej i optyce. Macierze wykorzystywane są do dokonywania dokładanych obliczeń pogrzebnych w pracy mechaniki kwantowej.

Macierze wykorzystywane są również do kodowania i szyfrowania wiadomości.

W robotyce i automatyce macierze tworzą podstawowe ruchy robota.

Macierze to również struktury do przechowywania danych śledzenia informacji o użytkownikach, służą do kompresji informacji elektronicznych, czy przechowywania danych biometrycznych, ale także informacji o populacji.

Transformacje macierzy, które dają doskonale skalibrowane obliczenia, wykorzystuje się w sieciach elektronicznych, samolotach, statkach kosmicznych oraz inżynierii chemicznej.

Dla mnie osobiście najbardziej interesującym zastosowaniem macierzy są wyszukiwarki internetowe np. Google. W tym konkretnym przypadku zastosowany jest algorytm PageRank (PR), który wykorzystuje macierze oraz ich wartości i wektory własne. Wyszukiwarka przyporządkowuje stronom internetowym pewien wskaźnik, którego początkiem był PageRank. Im jest o wyższy tym strona wyżej pojawia się w wyszukiwarce. Wartość PR powstaje w oparciu o jakość i ilość linków prowadzących do danej strony www.

Oczywiście nie są to wszystkie zastosowania, ponieważ macierze dotykają wielu dziedzin, a wymienione tu to tylko przykłady.

Na czym polega mnożenie macierzy?

Na mnożeniu wierszy pierwszej macierzy przez kolumny drugiej macierzy. By wymnożyć macierze musi być spełniony warunek : pierwsza macierz ma tyle kolumn ile druga wierszy.

Dlaczego mnożenie macierzy w Power Query?

W Excelu do mnożenia macierzy można wykorzystać wbudowaną funkcję MACIERZ.ILOCZYN, czyli podać zakresy dwóch tablic, które między siebie miałyby być wymnożone. Niestety jeżeli zmienią się wymiary tablic, wówczas formułę należy zaktualizować oraz ponownie przeliczyć przy pomocy Ctrl + Shift + Enter (ponieważ jest to formuła tablicowa).

Jednak operowanie na Power Query pozwala zapomnieć o konieczności aktualizacji działania procedury, gdy zmieni się zakres poszczególnych macierzy.

Mnożenie macierzy w Power Query

Potrzebuję dwóch macierzy A i B jako zdefiniowane zakresy w Excel. Zacznę od pobrania i modyfikacji pierwszej macierzy do Power Query: Dane > Pobieranie i przekształcanie > Z tabeli

Kolejne transformacje tabeli doprowadzą ją do postaci trzykolumnowej: wiersz, kolumna oraz wartość.

Wybieram Dodaj kolumnę > Dodaj kolumnę indeksu > od 1.

Zostanie dodana nowa kolumna z numerem wiersza. Wybieram ją i prawym przyciskiem myszy rozwijam menu podręczne z którego wybieram Anuluj przestawienie innych kolumn.

Operacja ta powoduje przekształcenie macierzy w wyglądu zbliżony do oczekiwanego. Należ jeszcze oczyścić kolumnę Atrybut do form liczbowej.

Kolejne kroki do wykonania to :

1. Zamiana w drugiej kolumnie słowa ColumnX na X : PP myszy > zamień wartości > w polu Wartość do znalezienia wpisuję Column, Zamień na pozostawiam puste
2. Po powyższej operacji kolumna ma format tekstowy, więc zmieniam go na liczbowy : PP myszy > Zmień typ > Liczba całkowita
3. Zmieniam nazw dwóch pierwszych kolumn na: Wiersz, Kolumna co też kończy całą operację zmian na tej tablicy.

Tworzenie funkcji

Na początku zmieniam nazwę zapytania na PrzygotowanieMacierzy. Następnie zmieniam ciąg wykonanych operacji na funkcję. Wchodzę do Edytora zaawansowanego i dodaję w pierwszej linii wyrażenie (TableName) =>

Usuwam cały wiersz „Zmieniono typ” , który jest zbędny (pozostawienie go spowoduje, że funkcja nie będzie uniwersalna, ponieważ zawiera odwołania do nazw poszczególnych kolumn). W kolejnym wierszu #”Zmieniono typ” zmieniam na #”Źródło”(ponieważ wcześniej usunąłem krok Zmieniono typ).

W miejscu deklaracji źródła danych (Excel.CurrentWorkbook) zmieniam nazwę „MacierzA” na TableName > Gotowe. Poniżej widok finalnego polecenia.

Dzięki wykonanym zmianom po prawej stronie, w oknie nawigatora jest widoczna funkcja. Po wybraniu jej z listy pojawia się okno do wprowadzenia parametru dla funkcji (wcześniej wprowadzonego TableName). Wprowadzam nazwę zakresu, który ma być przekształcony w wyniku działania funkcji : MacierzA > Wywołaj.

Dzięki funkcji powstaje nowe zapytanie, zmieniam jego nazwę na MacierzA. Takie same kroki wykonuję dla drugiej macierzy, zmieniam nazwę zapytania na MacierzB.

Tworzenie tabeli połączonej

W następnej kolejności utworzę tabelę połączoną gdzie dla kolejnych kolumn Macierzy A dopasuję wiersze z Macierzy B. Zaznaczam na liście zapytań MacierzA > Narzędzia główne >Połącz > Scal zapytania > Scal zapytania jako nowe.  Z Macierzy A zaznaczam Kolumnę zaś z MacierzyB zaznaczam Wiersz. Jako rodzaj połączenia tabel wybieram Lewe zewnętrze > OK.

W wyniku operacji pojawia się nowa kolumna, której nazwę zmieniam na B.

Klikam a podwójną strzałkę w kolumnie B i z listy wyboru oznaczam Wiersz,  pozostawiam zaznaczoną opcję Użyj oryginalnej nazwy kolumny jako prefiksu (co pozwoli mi później odnaleźć się  w danych).

Powstaje tablica zawierająca wszystkie kombinacje Macierzy A oraz B, które niezbędne są do wymnożenie między siebie macierzy. Znajdują się one w kolumnie Wartość oraz B.Wartość. By wymnożyć macierze musimy wymnożyć między siebie kolumny Wartość oraz B.Wartość.  W tym celu stawiam nową kolumnę Dodaj kolumnę > Kolumna niestandardowa.

Nazywam ją AB oraz wprowadzam formułę wymnożenia kolumn między siebie.

Wynikiem mnożenia macierzy jest macierz o ilości wiersz z Macierz A oraz ilości kolumn z Macierzy B. Zaznaczam kolumnę Wiersz oraz B.Kolumna Przekształć > Grupowanie według

W okna wprowadzam wybory jak powyżej, grupuję dane według numery wierszy oraz kolumn, w nowej kolumnie. Cała operacja powoduje ogromne zmniejszenie się wielkości tabeli.

Dane nie są jednak jeszcze w ostatecznej, oczekiwanej formie. Zaznaczam kolumnę B.Kolumna Przekształć > Dowolna kolumna > Kolumna przestawna

Wskazuję która kolumna jest kolumną z wartościami oraz jaka operacja ma być wykonana na danych,  tym przypadku Suma.

Na koniec powstaje mała macierz o spodziewanych rozmiarach.

Pobierz plik

Jeżeli chcesz sam przejść wszystkie kroki samodzielnie, pobierz plik Mnożenie macierzy w Power Query.

Źródło pomysłu na artykuł

Autor pomysłu: Bill Szysz

https://datachant.com/2016/06/07/faster-matrix-mulitplication/

Przygotowanie danych w tabeli Excel

Przykład rozpoczniemy od zbioru danych, w którym znajdziemy 2 kolumny: Data i Sprzedaż.

Cel: obliczyć dynamikę dzień do dnia.

W komórkach Excel formuła nie sprawi nam większych problemów.

Jak podobny efekt osiągnąć w Excel Power Query?

Krok 1: Utwórz kolumnę indeksu od 0

Kolumnę indeksu znajdziemy na karcie Przekształć > Kolumna indeksu > od 0. Zaczyna się od 0, gdyż domyślną liczbą startową w formułach Power Query jest 0, a nie jak w zwykłym Excelu 1.

Krok 2: Utwórz kolumnę indeksu od 1

Krok 3: Scal zapytanie z samym sobą

Na karcie Narzędzia główne wybierz Scalanie, a następnie wskaż kolumnę indeksu od 0 jako klucz pierwszej tabeli i kolumnę indeksu od 1 jako klucz drugiej tabeli.

Po rozpakowaniu otrzymamy szukaną wartość z wiersza niżej.

Krok 4: Zbuduj formułę w Power Query

Ostatni krok to obliczenie dynamiki za pomocą Kolumny niestandardowej.

Plik do pobrania

Tu możesz pobrać plik Excel Zmiana między wierszami w Power Query i zajrzeć do gotowego zapytania.

Dane źródłowe wczytane do Power Query

Niniejszy przykład bazuje na realnym źródle danych, w którym dane umieszczone były w jednej kolumnie. Naprzemiennie następowała po sobie kolumna 1 i kolumna 2.

Krok 1: Usuń naprzemienne wiersze w zapytaniu 1

Najpierw wydobywamy za pomocą polecenie Usuń naprzemienne wiersze dane pochodzące z kolumny 1.

Ważne, że jako pierwszy argument podajemy nie pierwszy wiersz do pozostawienia, ale pierwszy wiersz do usunięcia. W naszym przypadku wskazujemy wiersz nr 2, a w kolejnych polach ustawiamy 1 i 1. Dzięki temu usunięty zostanie najpierw drugi wiersz, a potem jeden zostawiony, jeden usunięty itd.

Krok 2: Usuń naprzemienne wiersze w zapytaniu 2

Duplikujemy zapytanie, a następnie usuwamy wszystkie wiersze, zaczynając od 1.

Krok 3: Dodaj kolumnę indeksu i scal

Wiersze w każdej z tabeli są teraz w identycznej kolejności, więc możemy dodać kolumnę indeksu i wykonać operację Scalanie, tworząc zapytanie końcowe.

Jeśli dane miałyby więcej wierszy, modyfikujemy liczbę wierszy do usunięcia.

Plik Excel do pobrania

Tu możesz pobrać plik Excel z przykładem usuwania naprzemiennych wierszy.