Nowoczesne systemy Business Intelligence – OLAP kontra „In-Memory”

Trudno dziś wyobrazić sobie funkcjonowanie przedsiębiorstwa bez analiz dotyczących trendów sprzedaży, wyników finansowych czy innych kluczowych z punktu widzenia danej firmy wskaźników efektywności jej działania. Jednym z głównych służących do tego celu narzędzi są systemy Business Intelligence.

Obecnie na rynku systemów klasy Business Intelligence (BI) można się spotkać z dwoma podstawowymi ich rodzajami. Pierwszy z nich należy do klasycznych systemów bazujących na technologiach wyszukiwania i przetwarzania danych OLAP (ang. OnLine Analytical Processing), drugi to systemy klasy „In-Memory”. Przyjrzyjmy się zatem, na czym polegają różnice między nimi, dla kogo są one przeznaczone i jakie kryteria należy brać pod uwagę przed zakupem systemu BI należącego do jednej lub drugiej kategorii.

Architektura systemów

Zacznijmy może od różnic. Podstawowa różnica między systemami BI „In-Memory” i OLAP leży w samej ich architekturze. Klasyczne rozwiązania techniczne, wykorzystujące technologię OLAP, są oparte o centralnie zarządzane serwery, z zainstalowaną na nich hurtownią danych, w której przechowywane są wszelkie informacje potrzebne do prowadzenia wielowymiarowych analiz zarządczych. Dane te pochodzą z systemów źródłowych, takich jak systemy ERP, CRM lub innych systemów ewidencjonujących określone transakcje.

W tego typu systemach nacisk położony jest na wydajność i moc obliczeniową centralnego miejsca, czyli serwera OLAP, do którego podłączeni są poszczególni użytkownicy. Wszelkie operacje odbywają właśnie na centralnym serwerze, a jego klienci otrzymują dane już przetworzone, np. w formie różnych analiz: raportów, tabel przestawnych itp.

Taka architektura sprawia, że w praktyce nie ma wielkiego znaczenia, jaką mocą obliczeniową dysponują komputery użytkowników końcowych. Ten model systemów Business Intelligence bazujących na technologii OLAP ma ścisły związek z historią rozwoju sprzętu komputerowego. Powstał on w czasach, gdy tylko potężne serwery, np. komputery klasy mainframe, były w stanie poradzić sobie z szybkim przetwarzaniem ogromnych ilości danych i takie operacje były nie do pomyślenia w przypadku komputerów osobistych.

Dziś sytuacja zmieniła się diametralnie. Współczesne pecety niejednokrotnie przewyższają mocą obliczeniową dawne serwery i z powodzeniem są w stanie poradzić sobie z większością zadań, jakie wykonują użytkownicy systemów klasy BI. Ten fakt leży u podstaw powstania nowej generacji systemów Business Intelligence, tzw. systemów „In-Memory”, których architektura pozwala na przetwarzanie danych właśnie w pamięci operacyjnej komputerów osobistych. Czy to oznacza, że można połączyć system BI „In-Memory” z dowolnym systemem transakcyjnym? Teoretycznie tak.

W praktyce bywa nieco inaczej i ma to związek z efektywnością zarządzania zasobami firmy. Aby maksymalizować efektywność gospodarowania zasobami, nie ma zazwyczaj sensu, aby cała zawartość bazy danych źródłowego systemu transakcyjnego (firmowy ERP, CRM czy inny przeznaczony do obsługi konkretnego obszaru funkcjonalnego system) była ładowana do pamięci stacji roboczych wszystkich użytkowników systemu BI. Trafiają tam tylko dane źródłowe z obszarów, które interesują poszczególne osoby: np. sprzedaż, koszty, stany magazynowe, klienci itp.

Opisując w dużym uproszczeniu, menedżer, który chce analizować wybrane obszary działalności firmy, otrzymuje na swój komputer odpowiedni zakres danych i na jego podstawie może prowadzić dowolne analizy, generować raporty, sprawdzać wybrane wskaźniki ekonomiczne itp. Nie potrzebuje do tego celu mocy obliczeniowej serwera, tak jak to miało miejsce w systemach korzystających z architektury opartej na technologii OLAP.

Kryteria wyboru

Niewątpliwie systemy klasy „In-Memory” cieszą się coraz większym zainteresowaniem. Spory wpływ na to mają takie czynniki, jak coraz niższe ceny sprzętu, w tym kluczowej dla tego typu systemów BI pamięci RAM, oraz wydajniejsze (i również coraz tańsze) procesory. Dzięki temu udaje się osiągnąć stosunkowo krótki czas implementacji systemów BI typu „In-Memory” oraz niższe koszty związanych z nimi usług wdrożeniowych. Stając przed wyborem typu systemu Business Intelligence, trzeba jednak bardzo dokładnie rozważyć kilka dodatkowych kwestii.

Oszczędności w budżecie i czasie potrzebnym na wdrożenie to bardzo atrakcyjne korzyści, jednak, podobnie jak w wypadku wdrożeń systemów transakcyjnych, nie tylko one decydują o powodzeniu całego przedsięwzięcia. Bardzo ważne są również przeznaczenie systemu, liczba i lokalizacja użytkowników, organizacja procesów biznesowych czy choćby ilość i jakość danych źródłowych. W przypadku pierwszego elementu, czyli przeznaczenia systemu, chodzi o to, czy potrzebujemy narzędzia tylko do analiz, czy też może do budżetowania, raportowania i zaawansowanych symulacji np. z wykorzystaniem statystyki. Do tego dochodzi kwestia zakresu tych zastosowań, to znaczy, czy analizujemy i prognozujemy tylko wybrany wycinek z działalności naszej firmy, czy też zajmujemy się kompleksowo wszystkimi obszarami aktywności gospodarczej.

Z kolei liczba i lokalizacja użytkowników, zwłaszcza w powiązaniu z ich funkcją w organizacji, firmowym obiegiem informacji i wymaganiami odnośnie aktualności danych determinuje sposób pracy z systemem BI. Chodzi tu o pracę z aplikacją (tzw. gruby klient) w trybie przeglądarkowym, zintegrowanym z systemem BI arkuszem kalkulacyjnym, ewentualnie pracą w trybie off-line, na wybranej porcji danych – tzw. kostce lub kostkach lokalnych, które replikowane są z hurtownią/repozytorium systemu co określony interwał czasu lub na żądanie. Lokalizacja i infrastruktura mają też wpływ na to, czy będzie istniała możliwość przesyłania ze źródła dość znaczącej ilości danych i jak długo będzie to trwało. W tym wypadku duże znaczenie ma chociażby przepustowość dostępnych łączy internetowych.

Organizacja procesów biznesowych to zwykle kwestie związane z funkcjami poszczególnych użytkowników w procesach budżetowania (np. bottom-up lub up- -bottom) i raportowania, mechanizmami wyliczania rentowności, marż, prowizji, alokacji, procedury bezpieczeństwa związane z przechowywaniem i przetwarzaniem danych. itp. To wszystko może mieć wpływ na finalny kształt architektury systemu.

A co z danymi?

W tym miejscu warto podkreślić też kwestię wyboru przez organizację modelu hurtowni i procesu dostępu do danych – czy firma chce tworzyć centralną hurtownię korporacyjną, obejmującą wszystkie obszary działalności przedsiębiorstwa, czy też zostawia kwestię systemów raportujących poszczególnym działom w organizacji i pozwala na rozproszenia modelu. Kluczową decyzją jest więc zamodelowanie procesu dostępu do danych i ich ewentualnej integracji.

Szczególnie ważnym elementem analizy przedwdrożeniowej każdego rodzaju systemu BI jest jakość danych źródłowych. Od tego, w jakim stanie są dane źródłowe importowane z systemów transakcyjnych, zależy później jakość analiz dostępnych w naszym rozwiązaniu BI. Problem jakości danych źródłowych istniał już w czasach klasycznych systemów BI. Wtedy, a również i teraz, gdy tego typu narzędzia w dalszym ciągu dobrze się sprzedają, nieodzownym etapem wdrożenia była faza czyszczenia danych. Polegała ona na usunięciu wszelkich braków i niejednoznaczności, które mogą być przyczyną błędów w interpretacji wyników analizowanego zjawiska. Jeżeli zatem skłaniamy się ku systemom BI klasy „In-Memory”, nie ulegajmy zbyt pochopnie magii słów o krótkim czasie wdrożenia i koniecznie zadbajmy o jakość danych zgromadzonych w naszych systemach źródłowych.

Na rynku są sprawdzone metody zapewnienia odpowiedniej jakości tych danych, warto więc poświęcić dodatkowy czas na usunięcie wszelkich nieprawidłowości i niejednoznaczności, np. w nazewnictwie produktów, klientów, adresów, nazwach miast, formatach daty, systemach walutowych czy innych miarach stosowanych do opisania zasobów naszej firmy. Dobrą praktyką jest przygotowanie danych dla analiz w systemach „In-Memory” w klasycznym relacyjnym repozytorium, w którym dokonamy wszystkich operacji czyszczenia danych, tak aby informacje przekazywane do pamięci operacyjnej były już zweryfikowane pod kątem spójności, czystości i jednoznaczności.

W wielkich, międzynarodowych korporacjach, instytucjach finansowych czy telekomach liczba transakcji, które są ewidencjonowane każdego dnia, sprawia, że architektura BI korzystająca z systemów OLAP i centralnej hurtowni danych ciągle ma przewagę nad systemami „In-Memory”. W wypadku takich podmiotów ważne są również wspominane wcześniej organizacja procesów biznesowych oraz polityka bezpieczeństwa przechowywania i przetwarzania danych. To one w znacznym stopniu determinują kształt architektury systemów informatycznych przedsiębiorstwa. Jednak i tutaj systemy „In-Memory” sprawdzają się doskonale. Pełnią one wówczas funkcję tzw. datamartów, czyli czegoś na kształt minihurtowni danych, połączonych bezpośrednio z korporacyjnymi hurtowniami danych.

Źródło: www.domdata.pl