Rozmowa o pracę w Excelu – Kurs Excel dla totalnie zielonych

Ta lekcja jest uzupełnieniem materiałów z bezpłatnego kursu Excel, w szczególności modułu „Excel dla totalnie zielonych”. Zadanie do wykonania jest na poziomie średnio zaawansowanym, ale poradzi sobie z nim także początkujący użytkownik program Excel. Lekcję znajdziesz też na platformie Akademia SkuteczneRaporty.pl.

Jak znaleźć niepotrzebne spacje w komórkach Excela?

Pobierz plik Excel z tej lekcji i ucz się razem ze mną

Tu możesz pobrać plik Excel i przejść przez lekcję samodzielnie

Jakie błędy w danych mogą się pojawić?

W lekcji poruszam kilka typowych błędów, które pojawiają się w pracy z danymi:

• Data błędnie wpisana – nie z tego roku
• Liczba spoza zakresu dopuszczalnych wartości
• Pole nieuzupełnione
• Pole inne niż do wyboru z listy
• Kwoty się nie zgadzają
• WYSZUKAJ.PIONOWO zwraca #N/D

Lista problemów z danymi zależy od Twojego źródła danych i będzie wynikać z Twoich doświadczeń. Power Query nie naprawi wszystkich danych, ale pozwoli Ci szybko wyłapać błędy.

Kurs „Pobieranie danych w Excelu dla finansistów” – co tydzień nowe wideo

Przed Tobą 22. lekcja z serii „Pobieranie danych w Excelu dla finansistów”. W kursie ukazały się dotychczas:

• Lekcja 1. Wczytaj przyjazny plik tekstowy
• Lekcja 2. Napraw „popsuty” plik tekstowy
• Lekcja 3. Połącz dane z wielu plików i uniknij Ctrl+C i Ctrl+V
• Lekcja 4. Najgorszy plik tekstowy, jaki mi się trafił
• Lekcja 5. Pobierz dane z pliku bankowego .MT940
• Lekcja 6. Dołącz w pionie wiele arkuszy z 1 pliku
• Lekcja 7. Wstaw tabelę przestawną na zapytaniu Power Query
• Lekcja 8. Porównaj 2 pliki Excel ze środkami trwałymi
• Lekcja 9. Zbuduj w Excelu saldo kont na bazie tabeli księgowań
• Lekcja 10. Napraw scalone komórki i spivotowane dane
• Lekcja 11. Pobierz plik z dysku OneDrive lub SharePointa
• Lekcja 12 i 13. Pobierz folder plików z dysku OneDrive lub SharePoint
• Lekcja 14. Pobierz dane z plików otrzymywanych regularnie na e-mail
• Lekcja 15. Pobierz dane do Excela z pliku PDF
• Lekcja 16. Pobierz dane z wielu plików PDF na raz
• Lekcja 17. Pobierz dane z pliku plik XML z deklaracją JPK_VAT
• Lekcja 18. Automatycznie pobieraj do Excela kursy walut z NBP
• Lekcja 19. Sprawdź kontrahenta na białej liście podatników przez API
• Lekcja 20. Pobierz hurtowo dane o wielu kontrahentach z KRS API?
• Lekcja 21. Sprawdź jakość danych w Power Query

Kurs bazuje na codziennych wyzwaniach z działów finansów, kontrolingu i księgowości 💲. Co tydzień pojawi się krótki film, w którym pokażę, jak każdy użytkownik Excela 💚 i Power BI 💛 może usprawnić swoją pracę.

Jeśli temat wykorzystania Power Query, Power Pivot, Power BI i dashboardów w pracy z danymi Cię interesuje, zapisz się na kurs POWER, zorganizuj szkolenie zamknięte lub weź udział w szkoleniu otwartym i rozpędź swoją karierę.

Jak zbudować zapytania monitorujące jakość danych w Power Query?

Pobierz plik Excel i ucz się razem ze mną

Tu możesz pobrać plik Excel i powtórzyć lekcję samodzielnie.

Kurs „Pobieranie danych w Excelu dla finansistów” – co tydzień nowe wideo

Przed Tobą 21. lekcja z serii „Pobieranie danych w Excelu dla finansistów”. W kursie ukazały się dotychczas:

• Lekcja 1. Wczytaj przyjazny plik tekstowy
• Lekcja 2. Napraw „popsuty” plik tekstowy
• Lekcja 3. Połącz dane z wielu plików i uniknij Ctrl+C i Ctrl+V
• Lekcja 4. Najgorszy plik tekstowy, jaki mi się trafił
• Lekcja 5. Pobierz dane z pliku bankowego .MT940
• Lekcja 6. Dołącz w pionie wiele arkuszy z 1 pliku
• Lekcja 7. Wstaw tabelę przestawną na zapytaniu Power Query
• Lekcja 8. Porównaj 2 pliki Excel ze środkami trwałymi
• Lekcja 9. Zbuduj w Excelu saldo kont na bazie tabeli księgowań
• Lekcja 10. Napraw scalone komórki i spivotowane dane
• Lekcja 11. Pobierz plik z dysku OneDrive lub SharePointa
• Lekcja 12 i 13. Pobierz folder plików z dysku OneDrive lub SharePoint
• Lekcja 14. Pobierz dane z plików otrzymywanych regularnie na e-mail
• Lekcja 15. Pobierz dane do Excela z pliku PDF
• Lekcja 16. Pobierz dane z wielu plików PDF na raz
• Lekcja 17. Pobierz dane z pliku plik XML z deklaracją JPK_VAT
• Lekcja 18. Automatycznie pobieraj do Excela kursy walut z NBP
• Lekcja 19. Sprawdź kontrahenta na białej liście podatników przez API
• Lekcja 20. Pobierz hurtowo dane o wielu kontrahentach z KRS API?

Kurs bazuje na codziennych wyzwaniach z działów finansów, kontrolingu i księgowości 💲. Co tydzień pojawi się krótki film, w którym pokażę, jak każdy użytkownik Excela 💚 i Power BI 💛 może usprawnić swoją pracę.

Jeśli temat wykorzystania Power Query, Power Pivot, Power BI i dashboardów w pracy z danymi Cię interesuje, zapisz się na kurs POWER, zorganizuj szkolenie zamknięte lub weź udział w szkoleniu otwartym i rozpędź swoją karierę.

Sprawdzamy jakość danych w Excelu

Pobierz dane i ucz się razem ze mną

Tu możesz pobrać plik Excel z danymi źródłowymi i przejść przez lekcję samodzielnie.

Krok 1: Utwórz dwa Odwołania

Odwołanie świetnie przydaje się do tworzenia dynamicznego połączenia z głównym zapytaniem i rozbicia ścieżki procesowej na dwie części: dane prawidłowe i błędy

Krok 2: Usuń błędy i pozostaw błędy

Jeśli naszym celem jest wyczyszczenie danych z błędów, możemy je symetrycznie usunąć (zapytanie dane prawidłowe) i zostawić (zapytanie błędne).

Pamiętajmy przy tym, że widok Power Query jest ograniczony do pierwszego 1000 rekordów, a przy dużej liczbie kolumn tylko do 200. Stąd nie zawsze błędy widać od razu w oknie podglądu.

Krok 3: Dodaj kolumnę niestandardową

W zapytaniu z błędami dodamy kolumnę niestandardową i posłużymy się językiem M, aby dowiedzieć się więcej nt. błędów. Formuła ma postać:

= try [Data]

Otrzymamy kolumnę jako Record.

Krok 4: Rozwiń rekord

Teraz dokopujemy się do końcowej struktury błędu, rozwijając wszystkie złożone obiekty.

Krok 5: Przeanalizuj przyczyny błędów

Na koniec otrzymujemy 3 przydatne kolumny:

• Reason – powód wystąpienia błędu
• Message – komunikat, który towarzyszy temu powodowi
• Detail – wartość komórki przed wystąpieniem błędu

Całe zapytanie może nam posłużyć do przygotowania dashboardu jakości danych – czy to w Excelu, czy to w Power BI.

Pobierz plik Excel z zapytaniem Power Query

Tu możesz pobrać plik Excel z mechanizmem sprawdzania błędów w Power Query i podejrzeć jego działanie.

Masz swój sposób na błędy w Power Query?

Podziel się w komentarzu

1. Utwórz foldery

Zapytania odkładają się w kolejności odświeżania w prawym panelu. Ich kolejność powinna pozostać od góry do dołu. Gdy jest ich dużo, utwórz Grupy, w których umieścisz podobne zapytania. Najczęściej wykorzystywane przez nas nazwy: Dane wejściowe, Dane wyjściowe, Słowniki, Dane do modelu.

2. Nazwij kroki

Ważnym krok możesz nadać nową nazwę. Jeśli będzie ona zawierać wcięcie (np. –>), krok wyróżni się na tle pozostałych. Nie ma sensu opisywać w ten sposób wszystkich kroków (np. takich jak Zmieniono Typ), a tylko najważniejsze czy nietypowe.

3. Opisz właściwości

Jeśli sama nazwa to za mało, możesz dodać dla niego właściwości. Tworzy to jasny schemat: krok wyróżniony zawiera komentarz po najechaniu. Komentarze są też dobrze widoczne w oknie Edytora zaawansowanego, gdzie Power Query gromadzi cały kod języka M.

4. Stwórz krok rozdzielenia

Jeśli zapytanie jest bardzo długie, warto podzielić je sobie na etapy. Można to zrobić poprzez wydzielenie nowego zapytania (Odwołanie) lub po prostu w oknie Zastosowane kroki. Sztuczny krok rozdzielający wstawisz klikając Wstaw krok po.

5. Twórz zapytania jako nowe

Nowe zapytania dużo lepiej wyglądają na diagramie zależności zapytań. Dlatego przy tworzeniu zapytania, warto wybierać operację Dołącz jako nowe oraz Scal jako nowe. Jedynym wyjątkiem jest raport już załadowany do modelu danych lub tabeli przestawnej, który musisz kontynuować, aby zachować ciągłość.

6. Umieść w nazwie operację źródłową

Nowe zapytania mogą pochodzić z różnych źródeł lub z operacji Power Query: Dołączania (Append), Scalania (Merge) lub Odwołania (Reference). Warto dodać taki dopisek w nazwie zapytania lub tylko skrót (D, S, O).

7. Utwórz zapytania sprawdzające

Zapytania sprawdzające służą do weryfikacji jakości danych i sprawdzania jej na bieżąco. Pamiętajmy, że przy kolejnym odświeżaniu raczej nie będzie już otwierać Edytora zapytań Power Query, tylko klikniemy Odśwież wszystko. Dlatego warto utworzyć zapytania sprawdzające i załadować je do jednego arkusza. Możesz na ich bazie utworzyć też raport jakości danych. Przykładowe nazwy:

• Błędy – Brakujące kody pocztowe
• Błędy – Produkty, których nie ma w słowniku
• Błędy – Brak ID pracownika
• Błędy – Zduplikowane numery zamówienia
• Błędy – Błędne daty

Zapytanie sprawdzające najczęściej wstawiam jako Odwołanie lub Scal jako nowe z rodzajem sprzężenia Lewe anty.

Zapytania pośrednie często wyłączamy z ładowania (Załaduj do… > Tylko połączenie), ale zapytania sprawdzające powinny zostać w Excelu tabelami. Dzięki temu po kliknięciu Odśwież wszystko, zobaczymy liczbę błędów przy każdym zapytaniu sprawdzającym.

Można też zapytania podsumować, np.

Utwórz puste zapytanie i i wpisz:

=#shared

Następnie przekonwertuj je na tabelę.

Ustaw filtr w taki sposób, aby zostały na liście tylko zapytania sprawdzające (np. Zaczyna się od „Błędy”). Na koniec zlicz wiersze, np. nową kolumną niestandardową:

=Table.RowCount([Value])

8. Nazywaj arkusze tak jak zapytanie

Zapytania domyślnie lądują do kolejnych arkuszy – Arkusz2, Arkusz3 itd. Warto zadbać też o ich nazewnictwo, trzymając się nazwy samego zapytania.

9. Dodaj datę ostatniego odświeżania

Datę uzyskamy, tworząc nowe puste zapytanie o zawartości:

=DateTime.LocalNow()

Ponownie można je przekonwertować na tabelę.

Takie zapytanie można załadować do pierwszego arkusza.

10. Dodaj użytkownika odświeżającego

Tu nie ma prostego sposobu, gdyż żadna domyślna formuła Excel nie jest w stanie wydobyć nazwy użytkownika. Można ją wydobyć:

– za pomocą VBA na moment otwarcia pliku

Private Sub Workbook_Open()
Sheets("Sheet1").Range("A1").Value = Environ("Username")
End Sub

Takie zapytanie wczytujemy następnie do tabeli i zwracamy w widocznym miejscu.

– kombinując z zapytaniem do folderu C:\Users\

Sortuj malejąco po Date accessed > Zostaw 1 wiersz na liście > Znajdź folder użytkownika. U mnie wczytuje to aż 150 000 plików, więc trochę trwa, ale działa.

Znasz inne dobre praktyki organizowania pracy w Power Query w Excelu lub w Power BI?

Podziel się w komentarzu.

Co może być fuzzy w łączeniu danych?

Łączenie tabel kojarzy się ze zgodnością wartości; szukamy takich samych wartości w różnych tabelach, tak zwanych kluczy, by móc połączyć informacje z wierszy tabel. Power Query idzie o krok dalej: co jeśli by łączyć po nie tylko idealnie dopasowanych wartościach (z uwzględnieniem dużych i małych liter), ale i przybliżonych? To właśnie fuzzy merge! Fuzzy merge, czyli po polsku scalanie rozmyte, to łączenie po idealnie dopasowanych, ale i zbliżonych wartościach. Jako że w momencie pisania artykułu jest to funkcja testowa (preview), trzeba ją specjalnie włączyć.

Otwórz Power BI Desktop > Plik > Opcje i ustawienia > Opcje > Funkcje w wersji zapoznawczej > Włącz scalanie rozmyte.

Po kliknięciu OK możliwe, że trzeba będzie zrestartować Power BI, zatem zanim zaczniesz pracę, najpierw włącz tę funkcję.
A teraz przejdźmy do przykładu!

Popraw nazwy z literówkami

Wyobraź sobie, że sprzedajesz meble: szafy, komody, stoły i krzesła. Prowadzisz także rejestr sprzedaży, ale bywa, że w bazie znajdzie się literówka z nazwą produktu. Dzięki fuzzy merge możesz połączyć tabelę z produktami poprawnie napisanymi z produktami z błędami.
Załaduj dane i w Narzędzia główne kliknij Edytuj zapytania. Otworzysz Edytor Power Query.

Następnie w Narzędziach głównych Power Query kliknij Połącz > Scal zapytania. Wybierz tabele, które chcesz połączyć – w moim przypadku Sprzedaż i Produkty. Zaznacz kolumny, po których tabele mają się łączyć oraz zaznacz Użyj dopasowania rozmytego w celu wykonania scalenia.

Rozwińmy Opcje scalania rozmytego. Jest tu kilka możliwości, które pozwalają określić stopień dopasowania.

• Próg podobieństwa – przyjmuje wartości od 0 do 1, gdzie 0 sprawi, że wartości połączą się ze sobą bez względu na treść, a 1 dopuszcza tylko idealnie zgodne łączenie. Domyślnie program zakłada próg 0,8.
• Ignoruj wielkość liter – nieważne, czy nazwę napiszesz Tak czy taK – scalanie rozmyte potraktuje te słowa jako takie same.
• Ignoruj odstępy – „to jest” i „tojest” to samo. Innymi słowy program wyszuka podobieństwa bez względu na obecność spacji.
• Maksymalna liczba dopasowań – mówi, ile maksymalnie dopasowań życzysz sobie znaleźć. Przykładowo, jeśli chcesz dopasować tylko jedną nazwę do tabeli początkowej, wpisz 1. Domyślnie Power Query pokaże wszystkie możliwe dopasowania.
• Tabela przekształcenia – gdy pojawią się kłopoty z przypisywaniem wartościom z błędami nowych wartości, warto wskazać dodatkową tabelę, która połączy problematyczne nazwy.

Zobaczmy wynik domyślnych ustawień. Rozpakujmy nową kolumnę.

Pojawiło się kilka wierszy z wartościami NULL. Spróbujmy zmienić parametry w progu podobieństwa na np. 0,1, by sprawdzić, czy więcej kolumn się połączy.

Rezultat jest jednak bez zmian.

Stwórzmy zatem tabelę transformacji, która przypisze poprawne wartości. W Narzędziach głównych kliknij Wprowadź dane, a następnie stwórz tabelę z tłumaczeniem błędnych nazw na poprawne.

Jeszcze raz zróbmy scalanie rozmyte, ale tym razem w opcjach wstawmy przygotowaną tabelę transformacji.

Efekt?

Udało się! W tabeli transformacji nie trzeba wpisywać idealnie zgodnych nazw z tabelą docelową. Wpisz takie, by były wystarczająco podobne do tabeli docelowej. Teraz wystarczy usunąć zbędne kolumny i voilà!

Tabela gotowa do dalszej obróbki!

Odporne na niekonsekwencję

Takie, tAkIe, a nawet t a K E mogą być wartości w tabeli – fuzzy merge bez problemu sobie z nimi poradzi. Funkcja może ignorować wielkość liter, ale i spacje między znakami oraz, przede wszystkim, literówki. Scalanie rozmyte pomoże Ci nie tylko w eliminowaniu błędów literowych w danych, tak częstych przy ręcznym wprowadzaniu. Z sukcesem zaktualizujesz stare, niejednolite nazwy, np. produktów, na nowe lub połączysz tabele po nie w pełni zgodnych kluczach. Uważaj jednak, by nie połączyło Ci się zbyt wiele informacji; zawsze sprawdzaj, czy na pewno dane dobrze się złączyły. Sprzężenie lewe zewnętrzne w ustawieniach scalania to dobry wybór, by móc przeglądać wszystkie wyniki. Spróbuj sam!