Nowość 1: Nazwa zapytania staje się automatycznie nazwą arkusza (Excel 365)

Klikając w Excelu polecenie Załaduj, zapytanie automatycznie wyląduje w arkuszu o tej samej nazwie.

Nowość 2: Wprowadź dane (Excel 365)

Polecenie Wprowadź dane było już dostępne w Power Query po stronie Power BI, ale teraz wylądowało także w Excelu. Dzięki temu możemy stworzyć ręcznie źródło danych, które staje się plikiem json ukrytym w zapytaniu. Polecanie daje alternatywę wobec danych pobieranych z tabeli tego samego pliku.

Nowość 3: Sugerowane tabele (Power BI)

Ta nowość na razie trafiła tylko do Power BI, ale możemy się spodziewać jej wkrótce także w Excelu. Jeżeli nasz arkusz Excel składa się z kilku odrębnych zakresów, Power Query to wykryje i podpowie tabele, które możemy wczytać.

Opcja pojawia się w okienku Nawigator.

Po kliknięciu Edytuj otrzymujemy listę kroków, które trzeba zweryfikować.

Polecenie ma ułatwić pracę z plikami Excel, w których dane nie zaczynają się od razu w prawym górnym rogu arkusza.

Nowość 4: Własne typy danych (Excel 365)

Nowe typy danych pojawiły się wraz z wprowadzeniem danych giełdowych i geograficznych obsługiwanych przez usługę Bing. Oznacza to, że pojedyncza komórka może zawierać aktywny, połączony i bogaty zestaw informacji o obiektach, takich jak firmy, akcje, miasta czy państwa. Informacje te mogą być sortowane, filtrowane, brać udział w formułach i wykresach.

Kolejny krok to praca z własnymi typami danych. Jeśli na przykład masz system CRM i chcesz przenieść dane o swoich klientach do programu Excel w celu analizy, teraz możesz zaimportować bogato ustrukturyzowany typ danych „Klienci”. Jeśli używasz usługę Power BI, program Excel automatycznie połączy się z tą usługą, a wszelkie opublikowane przez Ciebie dane będą łatwo dostępne i zostaną przesłane do programu Excel jako ustrukturyzowany typ danych. Jeśli nie masz usługi Power BI, możesz skorzystać z Power Query wbudowanego w Excel, aby utworzyć własny typ danych.

Aktualizacja ta jest dostępna w Office 365. Uaktualnij swojego Office’a, aby mieć najnowszą możliwą wersję.

Krok 1: Zaimportuj dane do Edytora Power Query

Pobierz dane z pliku Excel.

W Nawigatorze wybierz odpowiednią tabelę i kliknij przycisk Przekształć dane:

Zaznacz kolumny, które chcesz uwzględnić w Twoim typie danych i później używać na arkuszu.

Krok 2: Na karcie Przekształć użyj przycisku Utwórz typ danych

Pojawi się okienko Utwórz typ danych, w którym nazwij swój typ danych i wskaż podstawową kolumnę:

Wszystkie kolumny zwiną się do jednej:

Wybierz na karcie Narzędzia główne przycisk Zamknij i załaduj, aby przenieść dane na arkusz Excela:

Krok 3: Skorzystaj z własnego typu danych

Teraz można już z tych wszystkich danych wygodnie korzystać. I oczywiście je odświeżać, co będzie niezwykle istotne, jeśli Twoje dane będą się szybko zmieniać. Na przykład kliknij na ikonę po lewej stronie komórki z nazwą planety (lub Ctrl+Shift+F5), aby pokazać kartę z informacjami o tej planecie:

Po kliknięciu na tag inteligentny Dodaj kolumnę, Excel utworzy nam wskazaną kolumnę:

Można też w dowolnej komórce arkusza zacząć formułę od komórki z nazwą planety:

i wybrać myszą rodzaj informacji, którą chcesz wyświetlić:
=A7.[Okres obiegu '[lat’]]

Jakie są widoki na przyszłość? Microsoft nawiązał współpracę z firmą Wolfram, aby wzbogacić Excela o całą masę nowych typów danych. Będą dotyczyły one między innymi chemii, genetyki, odżywiania, kodów pocztowych, wydarzeń historycznych.

Daj znać, jeśli użyjesz własnego typu danych w praktyce!

Przykład „trudnego” pliku tekstowego

Spróbujemy przetestować działanie nowej funkcji. Tradycyjnie włączyć ją należy w opcjach preview w Power BI, przynajmniej w momencie publikacji artykułu.

Następnie wczytujemy plik testowy i w oknie Nawigatora wybieramy nową opcję: Wyodrębnij tabelę przy użyciu przykładów.

Jak widzimy, plik zawiera strukturę niczym sensownym nierozdzieloną (no może oprócz licznych spacji), dodatkowo posiada niepotrzebne wiersze na górze i rozdzielające stronę.

Wyodrębnij tekst przy użyciu przykładu

W kolejnym kroku, podobnie jak przy Kolumnie z przykładów, wpisujemy przykładowe wartości na bazie naszego pliku. Dane cały czas widzimy w tabeli a Power Query podpowiada całe ciągi tekstowe.

Po podaniu dwóch wierszy przykładów transformacja wydaje się działać.

Korekta w Power Query

Niestety podgląd może zostać ograniczony, tak jak stało się u mnie na łamaniu stron. Nie ma się jednak co zrażać, dlatego że Power Query nagrywa wiele oddzielnych kroków, a nie jedną funkcję (czyli czarną skrzynkę, której zawartości nie będziemy mogli łatwo edytować).

Możemy teraz przejrzeć kroki i usunąć niepotrzebne lub błędne. Przykładowo w moim pliku Power Query próbowało łączyć nagłówki w jeden wiersz z danymi, ale usunięcie lub modyfikacja kilku kroków przywróciła wszystkie wiersze i po chwili tabela była gotowa do raportu.

Podsumowanie

Jeśli chcesz oszczędzić czas, a Twój plik nie jest „superhipermegaskomplikowany”, możesz spokojnie spróbować zbudować zapytanie na bazie przykładów. Jeśli się nie uda, masz możliwość edycji kroków lub otrzymasz komunikat, że Power Query nie dało rady. A co, jeśli chcesz to uzyskać w Power Query, ale w Excelu? Na razie wykonaj przekształcenia w Power Query po stronie Power BI i wklej zapytanie do Excelowego Power Query.

Udało Ci się skorzystać z funkcji importowanie tekstu z przykładu?

Podziel się w komentarzu.

Przykład 1 – camelCase

CamelCase to określenie zapisu ciągu tekstowego, w którym kolejne wyrazy pisze się łącznie, rozpoczyanjąc każdy kolejny wielką literą, np.foreColor, isPaymentPosted. Zapis taki wygląda jak wielkbłąd, stąd nazwa. Jego oddzielenie w Power Query było skomplikowane, ale wraz z dodaniem nowych transformacji, wystarczy jedno kliknięcie.

Sercem operacji są listy Power Query, takie jak alfabet z małej litery (lista a do z) oraz z dużej litery (lista A do Z).

Ważniejsze, że listy te można uzupełniać w Power Query o własne znaki lub listy, co dla zaawansowanych użytkowników otworzy drzwi do niestandardowych przekształceń. Operacja ma też operację przeciwną (z litery wielkiej na małą).

Przykład 2 – poszukiwania kodu pocztowego

Szukałem niedawno sposobu na wyłapanie z ciągu tekstowego kodu pocztowego. Wiele metod zawiodło, ale ta z przejściami między znakami nie była mi jeszcze dana. Teraz mój przypadek rozwiązałbym dużo szybciej – wystarczyło wybrać polecenie Podziel kolumny > Według przejścia z cyfry na znak inny niż cyfra i ewentualnie wskazać, jakie separatory nie mają brać udziału w procesie.

Ja dodałem spację.

Następnie korzystając z poleceń Pierwsze znaki, Ostatnie znaki i Scal kolumny (odpowiedniki Excelowych LEWY, PRAWY i ZŁĄCZ.TEKSTY lub &), wydobyłem kod pocztowy.

Korzystasz z tych opcji?

Podziel się w komentarzu.

Co może być fuzzy w łączeniu danych?

Łączenie tabel kojarzy się ze zgodnością wartości; szukamy takich samych wartości w różnych tabelach, tak zwanych kluczy, by móc połączyć informacje z wierszy tabel. Power Query idzie o krok dalej: co jeśli by łączyć po nie tylko idealnie dopasowanych wartościach (z uwzględnieniem dużych i małych liter), ale i przybliżonych? To właśnie fuzzy merge! Fuzzy merge, czyli po polsku scalanie rozmyte, to łączenie po idealnie dopasowanych, ale i zbliżonych wartościach. Jako że w momencie pisania artykułu jest to funkcja testowa (preview), trzeba ją specjalnie włączyć.

Otwórz Power BI Desktop > Plik > Opcje i ustawienia > Opcje > Funkcje w wersji zapoznawczej > Włącz scalanie rozmyte.

Po kliknięciu OK możliwe, że trzeba będzie zrestartować Power BI, zatem zanim zaczniesz pracę, najpierw włącz tę funkcję.
A teraz przejdźmy do przykładu!

Popraw nazwy z literówkami

Wyobraź sobie, że sprzedajesz meble: szafy, komody, stoły i krzesła. Prowadzisz także rejestr sprzedaży, ale bywa, że w bazie znajdzie się literówka z nazwą produktu. Dzięki fuzzy merge możesz połączyć tabelę z produktami poprawnie napisanymi z produktami z błędami.
Załaduj dane i w Narzędzia główne kliknij Edytuj zapytania. Otworzysz Edytor Power Query.

Następnie w Narzędziach głównych Power Query kliknij Połącz > Scal zapytania. Wybierz tabele, które chcesz połączyć – w moim przypadku Sprzedaż i Produkty. Zaznacz kolumny, po których tabele mają się łączyć oraz zaznacz Użyj dopasowania rozmytego w celu wykonania scalenia.

Rozwińmy Opcje scalania rozmytego. Jest tu kilka możliwości, które pozwalają określić stopień dopasowania.

• Próg podobieństwa – przyjmuje wartości od 0 do 1, gdzie 0 sprawi, że wartości połączą się ze sobą bez względu na treść, a 1 dopuszcza tylko idealnie zgodne łączenie. Domyślnie program zakłada próg 0,8.
• Ignoruj wielkość liter – nieważne, czy nazwę napiszesz Tak czy taK – scalanie rozmyte potraktuje te słowa jako takie same.
• Ignoruj odstępy – „to jest” i „tojest” to samo. Innymi słowy program wyszuka podobieństwa bez względu na obecność spacji.
• Maksymalna liczba dopasowań – mówi, ile maksymalnie dopasowań życzysz sobie znaleźć. Przykładowo, jeśli chcesz dopasować tylko jedną nazwę do tabeli początkowej, wpisz 1. Domyślnie Power Query pokaże wszystkie możliwe dopasowania.
• Tabela przekształcenia – gdy pojawią się kłopoty z przypisywaniem wartościom z błędami nowych wartości, warto wskazać dodatkową tabelę, która połączy problematyczne nazwy.

Zobaczmy wynik domyślnych ustawień. Rozpakujmy nową kolumnę.

Pojawiło się kilka wierszy z wartościami NULL. Spróbujmy zmienić parametry w progu podobieństwa na np. 0,1, by sprawdzić, czy więcej kolumn się połączy.

Rezultat jest jednak bez zmian.

Stwórzmy zatem tabelę transformacji, która przypisze poprawne wartości. W Narzędziach głównych kliknij Wprowadź dane, a następnie stwórz tabelę z tłumaczeniem błędnych nazw na poprawne.

Jeszcze raz zróbmy scalanie rozmyte, ale tym razem w opcjach wstawmy przygotowaną tabelę transformacji.

Efekt?

Udało się! W tabeli transformacji nie trzeba wpisywać idealnie zgodnych nazw z tabelą docelową. Wpisz takie, by były wystarczająco podobne do tabeli docelowej. Teraz wystarczy usunąć zbędne kolumny i voilà!

Tabela gotowa do dalszej obróbki!

Odporne na niekonsekwencję

Takie, tAkIe, a nawet t a K E mogą być wartości w tabeli – fuzzy merge bez problemu sobie z nimi poradzi. Funkcja może ignorować wielkość liter, ale i spacje między znakami oraz, przede wszystkim, literówki. Scalanie rozmyte pomoże Ci nie tylko w eliminowaniu błędów literowych w danych, tak częstych przy ręcznym wprowadzaniu. Z sukcesem zaktualizujesz stare, niejednolite nazwy, np. produktów, na nowe lub połączysz tabele po nie w pełni zgodnych kluczach. Uważaj jednak, by nie połączyło Ci się zbyt wiele informacji; zawsze sprawdzaj, czy na pewno dane dobrze się złączyły. Sprzężenie lewe zewnętrzne w ustawieniach scalania to dobry wybór, by móc przeglądać wszystkie wyniki. Spróbuj sam!

Wizualizacja danych a światowe problemy

W pierwszej części spotkania Michał Łazowik, Full Stack Developer z QED, zaprezentował przykłady wykorzystania wizualizacji danych w projektach prowadzonych przez fundacje humanitarne w krajach trzeciego świata. Jak dowodził Michał, poprawa wydajności rolnictwa w krajach Afryki subsaharyjskiej czy Azji Wschodniej nie jest możliwa bez zbierania i przetwarzania dużej ilości danych, także z wykorzystaniem uczenia maszynowego. Jednak dopiero ich odpowiednia wizualizacja, m.in. na mapach, pozwala rozwiązywać realne problemy i szybciej reagować na zagrożenia – w przypadku upraw są to np. działania szkodników.

Tu możesz pobrać prezentację z komentarzem Michała: QED – Data Visualization – The Missing Link Between Science and Humanity

Power Query vs Tableau Prep

Drugą część stanowiło porównanie Power Query z Tableau Prep – analogicznym narzędziem ETL od Tableau. Prezentacji Tableau Prep podjął się Michał Mokwiński, prowadzący warszawską grupę Tableau User Group. Michał pokazał kilka ciekawych funkcji realizowanych w Prep metodą drag & drop:

• Dopasowanie niezłączonych („niezmaczowanych”) kluczy w operacji join
• Ujednolicenie tekstu na podstawie wymowy
• Budowa graficznego przepływu procesu, nazywanego w Prep „Flow”
• Wizualna dystrybucja danych

Dla porównania pokazywałem analogiczne przykłady dla Power Query w Power BI, udowadniając (przynajmniej wg mnie 😉 ), że jest to na ten moment wiodące narzędzie. Głównym wyróżnikiem Power Query okazały się:

1. Cena
2. Operacje na wierszach
3. Zaawansowane operacje na tabelach i listach
4. Kolumna z przykładów
5. Język M
6. Liczba connectorów

Oto pełne porównanie obu narzędzi: Power Query vs Tableau Prep

Nowości w Power Query jako pochodna Tableau Prep

Ciekawym wnioskiem ze spotkania jest to, że wprowadzenie wizualnego narzędzia ETL przez Tableau przyspieszyło rozwój analogicznych funkcji w Power Query. W październiku 2018 ukazały się w Power BI 2 nowe opcje na karcie Widok.

Rozkład kolumn w Power Query

Graficzna analiza liczby unikatowych wpisów w kolumnie oraz ich rozkładu jest możliwa w Power Query dzięki opcji Rozkład kolumn. Funkcję należy aktywować na karcie Widok. Dostaniemy też informację, ile rekordów (z podglądu pierwszego 1000 wierszy) jest:

• Odrębna (czyli, ile różnych wartości pojawia się w kolumnie)
• Unikatowa (czyli, ile wartości pojawia się tylko 1 raz i nie ma duplikatów)

Jakość kolumn w Power Query

Funkcja pozwala na sprawdzenie błędów w kolumnach, sygnalizując stan zielonym paskiem. Jeśli pojawi się na nim czerwony fragment, oznacza to, że dane mają wartości puste lub błędne.

Po włączeniu opcji Jakość kolumn na karcie Widok otrzymamy podsumowanie procentowe od razu pod nagłówkiem.

Fuzzy merge

Pojawiło się też scalanie rozmyte (fuzzy merge), o którym wkrótce napiszę w kolejnym wpisie.