Przykład pobrania danych z sieci Web

Zaczynam od Narzędzia główne > Pobierz dane > Więcej > Inne > Internet > Połącz .

Należy mieć przygotowany adres strony, z której dane chcemy pobrać. W moim przypadku będą to ceny książek na bonito.pl. Wybieram przycisk OK.

Wybieram dostęp Anonimowy do treści w sieci Web > Połącz.

Nawigator w oknie Power Query

W oknie Nawigatora można obejrzeć stronę z różnych perspektyw. Po lewej widać listę tabel, które program odnalazł na stronie. By znaleźć właściwą, należałoby każdą z nich po kolei wybrać i podejrzeć zawarte w niej dane w Widoku tabeli.

Aby zrobić to szybciej wystarczy wybrać Widok sieci Web , każda z tabel jest zaznaczona i podpisana nazwą. Wówczas już w Widoku tabeli łatwiej odnaleźć tę właściwą , czy wybrać w Widoku sieci Web.

Następnie w lewym dolnym rogu okna Nawigatora znajduje się przycisk Dodaj tabelę przy użyciu przykładów. Pozwala on na przejście do widoku strony i pobierania przykładów danych, które ze strony chcę pobrać.

Pojawia mi się poniższy widok. Chcę wybrać tytuły i ceny pojawiające się na głównej stronie, więc na dole pod kolumną 1 , gdzie podawane są przykłady, zaczynam wpisywać tytuł książki.

Pojawia się lista wyboru, dzięki której zaznaczam właściwy ciąg tekstowy. W kolumnie obok umieszczam cenę i tu również podaję dla wcześniej wybranego tytułu prawidłową kwotę. Nagłówki kolumn zmieniam odpowiednio: Tytuł książki, Cena.

Powyżej lista dla obu kolumn została automatycznie wypełniona na podstawie dokonanych przeze mnie przykładów. W momencie, kiedy jestem gotowy na przeniesienie danych do Power Query, w oknie wybieram OK  a następnie Załaduj, by od razu umieścić je w modelu. Ewentualnie Edytuj by przejść do edytora zapytań i móc jeszcze je modyfikować.

Tabela, którą stworzyłem na podstawie przykładów, pojawia się po lewej stronie okna Nawigatora jako Tabela niestandardowa.

Jeszcze większe możliwości da edycja kodu zapytania poprzez Edytor zaawansowany. Dostępne są wszystkie elementy strony web z niej pobierane.

Jeśli dodać do tego możliwość pracy na paginacjach stron za pomocą funkcji, możliwość odczekiwania miedzy zapytaniami i inne opcje Power Query, możemy w prosty sposób pobrać dane z wielu miejsc w Internecie.

Pobierz plik

Pobierz plik Power BI i sprawdź sam jak pobrać dane z sieci web.

Co to jest API?

API, czyli interfejs programistyczny aplikacji (ang. Application Programming Interface), to sposób, w jaki programy komputerowe komunikują się między sobą. W skrócie chodzi o to, aby pomimo różnic pomiędzy systemami dane można było przesyłać w sposób zgodny i spójny. API jest zestawem reguł tych komunikacji.

Jak wygląda pobieranie danych z API KRS?

API KRS zostało zbudowane przez Fundację Moje Państwo. Szczegółowy opis tego API możemy znaleźć na stronie: https://rejestr.io/.

API pozwala na wyszukiwanie danych dla konkretnych firm w różnych polach. Aby skorzystać z API wybieramy w Excel Power Query pobieranie danych z sieci Web i wklejamy odpowiedni link.

Otrzymamy dane w formacie JSON, które w Power Query możemy skonwertować do postaci tabelarycznej.

Stąd już prosta droga do przeniesienia danych bezpośrednio do programu Excel.

Budowa narzędzi do zbiorowego przeszukiwania KRS

Bazując na API KRS możemy na wiele sposobów usprawnić swoją pracę – poprzez wykorzystanie go w ramach jednorazowych projektów (sprawdzenie wszystkich kontrahentów) lub cyklicznych procesów (każdorazowe sprawdzenie spółki). Przykładowo weryfikacja reprezentacji spółki, sprawdzana zwykle przez działy prawne przed podpisaniem umowy, może zająć tylko kilka sekund:

1. Wprowadź nazwę firmy
2. Kliknij „Sprawdź w KRS”

Wynik otrzymujesz w komórce.

Poznaj usługi pobierania danych

Serwis oferuje dużo więcej możliwości, jednak samodzielne zbudowanie narzędzia może okazać się rzeczą skomplikowaną. Dlatego warto spytać ekspertów – zajmujemy się budową różnych aplikacji z wykorzystaniem narzędzi BI Microsoft (Excel, Power BI, SQL Server, Azure). Nasze doświadczenia dotyczą nie tylko tego API KRS, ale też innych – dla każdego serwisu podejście może wyglądać w szczegółach inaczej.

Zainteresowany? Napisz do nas.

Analogiczny przykład dla użytkownika programu Excel wyglądałby następująco: mam plik w Excelu z wieloma zakładkami, a w każdej zakładce nieuporządkowane dane, które trudno będzie wczytać na raz. Jak wybrnąć z tej sytuacji? Nagrać zapytanie dla pierwszego arkusza, przekształcić na funkcję a następnie zastosować do pozostałych arkuszy (ich listę też można wczytać do Power Query).

Budowa pierwszego zapytania Power Query

Zaczynamy od przygotowania pierwszego zapytania. Nagrywam w najprostszy możliwy sposób ciąg poleceń, który pozwoli pobrać dane z sieci Web. Ich obróbką mogę zająć się teraz lub jak będę miał kompletną listę danych. W przypadku danych ze strony FIFA, zapytanie było dość proste „do wyklikania” za pomocą interfejsu pobierania z sieci Web, opisanego w części 1:

Wychwycenie struktury strony internetowej

Podana tu technika ma zastosowanie tylko w sytuacji, gdy pomiędzy pojedynczymi stronami istnieje różnica w adresach stron, którą możemy w jakiś sposób zdefiniować. W przypadku strony FIFA zmienia się numer rankingu w odnośniku.

Utworzenie funkcji w Power Query

Wiedząc, gdzie następują zmiany w adresie, możemy przystąpić do utworzenia funkcji. Choć na pierwszy rzut oka może to wyglądać na skomplikowaną operację (Edytor zaawansowany, pisanie kodu w M), wcale takie nie jest. Na karcie Narzędzia główne znajdujemy Edytor zaawansowany i deklarujemy zmienną tekstową przed słowem let:

(ID as text) =>

Następnie umieszczamy ją zamiast numeru strony.

Dlaczego zmienna tekstowa, jeśli mamy do czynienia z liczbami?

Cała treść hiperłącza jest tekstem, a zmienna jest dodawana za pomocą formuły łączenia tekstów: „&”.

Zapytanie zmieni postać w oknie zapytań:

Wpisując jakiś parametr (np. numer strony), możemy przetestować, czy zapytanie działa. W ten sposób wygenerujemy nowe zapytanie.

Budowa tabeli ze zmiennymi

Znając różnice w adresach, możemy zbudować tabelę ze zmiennymi. Jest na to kilka sposobów, ale dla użytkowników programu Excel najprostszym z nich jest utworzenie nowej tabeli w arkuszu i wczytanie jej jako zapytanie.

Upewniwszy się, że kolumna ma format tekstowy, możemy utworzyć nową kolumnę, która będzie pochodzić z wywołania naszej funkcji. Na karcie Dodaj kolumnę wybieramy Wywołaj funkcję niestandardową, a następnie wybieramy funkcję (moja nazywała się Table 0) oraz wskazujemy kolumnę, w której mamy argumenty.

Jeżeli wszystko poszło poprawnie, otrzymamy nową kolumnę o typie Table, którą możemy rozwinąć, uzyskując w efekcie dane dla wszystkich argumentów. W przypadku danych z FIFA, są to dane pochodzące z prawie 300 stron.

Pobierz plik Excel

Tu możesz pobrać plik Excel, aby podejrzeć całe zapytanie Power Query od środka.

Podczas szkoleń z Excel BI powtarzam zawsze, że stare sposoby pobierania danych odchodzą do lamusa i obowiązkiem każdego szanującego się użytkownika programu Excel jest dokładne poznanie możliwości dodatku Power Query. Dlaczego? O tym pisałem już, opisując powody korzystania z Query (Get & Transform). W poniższym artykule spróbuję to udowodnić na przykładzie pobierania danych z Wikipedii ze stron:

• Lista meczów reprezentacji Polski w piłce nożnej mężczyzn (1921–2000)
• Lista meczów reprezentacji Polski w piłce nożnej mężczyzn

Pobieranie danych zewnętrznych – stara szkoła

Problem z klasycznym łączeniem z siecią Web dla stron Wikipedii jest szczególnie widoczny – zamiast pobierać pojedynczą tabelę pobieramy całą stronę.

Finalnie w arkuszu lądują teksty oraz tabele, bardzo często nieuporządkowane.

Obróbka tych danych, zwłaszcza dodanie kolumny data meczu w formacie YYYY-MM-RR dla każdego wpisu byłoby drogą przez mękę. Co więcej dane na Wikipedii były rozrzucone na dwóch stronach, co oznacza, że cały proces przygotowania danych musiałbym powtórzyć ręcznie dla drugiej strony.

Pobieranie danych z sieci Web poprzez Power Query

W zależności od posiadanej wersji programu Excel, Power Query znajdziemy na karcie Dane > Pobieranie i przekształcanie > Nowe zapytanie (Excel 2016+) lub bezpośrednio na karcie Power Query (Excel 2010 i 2013).

W kolejnym oknie wklejamy link.

Z jednej strony Power Query potrafi wczytać strukturę html strony (element Document), z drugiej zaś świetnie wychwytuje pojedyncze tabele. Do dyspozycji mamy 2 widoki podglądu:

1. Widok tabeli
2. Widok sieci Web

Po wybraniu opcji Edytuj wczytujemy dane do Query i rozpoczynamy obróbkę danych.

Co dalej? W skrócie:

• nagrałem ciąg poleceń dla pierwszej strony

• zduplikowałem zapytanie i uruchomiłem proces dla drugiej strony (z małymi zmianami, bo między stronami było kilka różnic)

• scaliłem zapytania

Efekt końcowy: kilka minut pracy, oszczędności na poziomie 1 h.

W kolejnym artykule pokażę, jak podobny proces wykonałem dla prawie 300 stron FIFA w kilka minut.

Plik do pobrania

Pobierz plik Pobieranie danych z sieci Web przez Power Query i sprawdź sam.