Wizualizacja danych a światowe problemy

W pierwszej części spotkania Michał Łazowik, Full Stack Developer z QED, zaprezentował przykłady wykorzystania wizualizacji danych w projektach prowadzonych przez fundacje humanitarne w krajach trzeciego świata. Jak dowodził Michał, poprawa wydajności rolnictwa w krajach Afryki subsaharyjskiej czy Azji Wschodniej nie jest możliwa bez zbierania i przetwarzania dużej ilości danych, także z wykorzystaniem uczenia maszynowego. Jednak dopiero ich odpowiednia wizualizacja, m.in. na mapach, pozwala rozwiązywać realne problemy i szybciej reagować na zagrożenia – w przypadku upraw są to np. działania szkodników.

Tu możesz pobrać prezentację z komentarzem Michała: QED – Data Visualization – The Missing Link Between Science and Humanity

Power Query vs Tableau Prep

Drugą część stanowiło porównanie Power Query z Tableau Prep – analogicznym narzędziem ETL od Tableau. Prezentacji Tableau Prep podjął się Michał Mokwiński, prowadzący warszawską grupę Tableau User Group. Michał pokazał kilka ciekawych funkcji realizowanych w Prep metodą drag & drop:

• Dopasowanie niezłączonych („niezmaczowanych”) kluczy w operacji join
• Ujednolicenie tekstu na podstawie wymowy
• Budowa graficznego przepływu procesu, nazywanego w Prep „Flow”
• Wizualna dystrybucja danych

Dla porównania pokazywałem analogiczne przykłady dla Power Query w Power BI, udowadniając (przynajmniej wg mnie 😉 ), że jest to na ten moment wiodące narzędzie. Głównym wyróżnikiem Power Query okazały się:

1. Cena
2. Operacje na wierszach
3. Zaawansowane operacje na tabelach i listach
4. Kolumna z przykładów
5. Język M
6. Liczba connectorów

Oto pełne porównanie obu narzędzi: Power Query vs Tableau Prep

Nowości w Power Query jako pochodna Tableau Prep

Ciekawym wnioskiem ze spotkania jest to, że wprowadzenie wizualnego narzędzia ETL przez Tableau przyspieszyło rozwój analogicznych funkcji w Power Query. W październiku 2018 ukazały się w Power BI 2 nowe opcje na karcie Widok.

Rozkład kolumn w Power Query

Graficzna analiza liczby unikatowych wpisów w kolumnie oraz ich rozkładu jest możliwa w Power Query dzięki opcji Rozkład kolumn. Funkcję należy aktywować na karcie Widok. Dostaniemy też informację, ile rekordów (z podglądu pierwszego 1000 wierszy) jest:

• Odrębna (czyli, ile różnych wartości pojawia się w kolumnie)
• Unikatowa (czyli, ile wartości pojawia się tylko 1 raz i nie ma duplikatów)

Jakość kolumn w Power Query

Funkcja pozwala na sprawdzenie błędów w kolumnach, sygnalizując stan zielonym paskiem. Jeśli pojawi się na nim czerwony fragment, oznacza to, że dane mają wartości puste lub błędne.

Po włączeniu opcji Jakość kolumn na karcie Widok otrzymamy podsumowanie procentowe od razu pod nagłówkiem.

Fuzzy merge

Pojawiło się też scalanie rozmyte (fuzzy merge), o którym wkrótce napiszę w kolejnym wpisie.