Hurtownie danych czyli „Systemy od historii”

Katgoria: BUSINESS INTELLIGENCE / Utworzono: 14 grudzień 2011

OKIEM EKSPERTA

Hurtownie danych czyli „Systemy od historii”

Hurtownia danych to model stworzony pod kątem przetwarzania faktów historycznych na prostym modelu danych (diagram powyżej, górny, to tak zwana kostka OLAP). Opracowanie takiego modelu wymaga specjalnej analizy i projektu, ale nie zapominajmy: analizę się robi raz a raporty stale... Tak więc szanowni Państwo. Jeśli tylko Wasza firma jest bliżej czołówki niż ogona rankingu rynku w Waszej branży, nie dajcie się namówić na jeden zintegrowany ERP i jakiś model referencyjny, bo nawet jak uda się go wdrożyć, to zmiana czegokolwiek będzie trudna a upgrade do nowszej wersji niemożliwy.

REKLAMA

6 grudnia miała miejsce konferencja: Business Intelligence GigaCon 2011.

Poruszyłem między innymi problematykę: aspekty projektowe systemów dedykowanych i dostosowywanych oraz „core domain” i pojęcie COTS (Szczegółowe informacje http://gigacon.org/bi_2011).

Nie jest moim celem powielanie tu referatu, dlatego tylko kilka kwestii a potem mała uwaga na temat metod argumentacji osób reklamujących swoje produkty, ale po kolei.

Hurtownia danych jako skład historii

W swoim referacie wskazałem na hurtownie danych i metody składowania tam danych oraz na pojęcie „system dedykowany”. I tak:

MIT: Oprogramowanie dedykowane to kosztowne, długo wykonywane i ryzykowne, projekty tworzenia oprogramowania od zera dla klienta,
PRAWDA: Oprogramowanie dedykowane to oprogramowanie (System) zaprojektowane na bazie dobrze opisanych wymagań, złożone z komponentów (typowe gotowe komponenty to ERP, CRM, SCM, inne).

To znaczy, że docelowo - jako system dedykowany – klient otrzyma zestaw zintegrowanych komponentów (podsystemów, aplikacji). Możliwe jest, że niektóre zostaną opracowane i wykonane specjalnie dla niego. Pełny Zintegrowany System wspomagający zarządzanie (wszystkie aplikacje w firmie) najczęściej nawet w 90% składa się z oprogramowania gotowego (COTS – Commercial of the shelf).

Kolejnym mitem jest teza, że koszt integracji jest duży. Powiem tak: zły projekt zawsze kończy się wysokimi kosztami, projekt integracyjny także.

Praktyka pokazuje, że poprawnie postawione wymagania oraz projekt wykonany przed wyborem rozwiązania, to najczęściej projekty, w których koszty integracji są wielokrotnie niższe od kosztów kastomizacji systemów zintegrowanych ERP i paradoksalnie trwa to krócej.

Po trzecie wdrażanie etapami (aplikacja po aplikacji) pozwala na to, by te poszczególne podsystemy pracowały na siebie bez czekania na całkowite zakończenie wdrożenia całości, jak to ma miejsce najczęściej podczas wdrażania dużego i zintegrowanego systemu. Warto także zauważyć, że taka – tak zwana komponentowa - architektura jest łatwa w modyfikacji (możliwa jest wymiana dowolnego składnika bez szkody dla innych czego nie można powiedzieć o dużych systemach ERP). Przykład z systemami BI (Business Inteligence), które będę tu zwał Raportowaniem.

Ogólnie wymagania na system wspomagający zarządzanie maja taką strukturę:

Diagram jest prosty. Chcę zwrócić uwagę na to, że wiele funkcjonalności (może nawet wszystkie) systemów wspomagających zarządzanie można na takie dwie kategorie podzielić. Przypomnę, że diagramy przypadków użycia to nie „projekty systemu” a ich „spis treści”. Projektem, na wysokim poziomie abstrakcji (ang. HLD czyli Hihg Level Design), jest dopiero to:

Załóżmy, że architekt systemu stworzył powyższy model. Decyzja projektowa: system transakcyjny obsługuje naszą specyfikę biznesową, jest odpowiedzią na wymaganie: Obsługa tego co się teraz dzieje. Opracowano dokładanie wymagania, na rynku nie znaleziono wymaganych funkcjonaliści i ta część systemu zostanie wytworzona.

W ramach wymagań jednak, jak widać na poprzednim diagramie, mamy także wymaganie: Pokaż co wydarzyło się kiedyś. Są to funkcjonalności raportowe. Raportowanie jako funkcja systemu jest dość dobrze opanowana, są na rynku gotowe produkty (jest ich wiele). Więc z projektu developerskiego (oprogramowanie projektowane) wyłączono ten zakres i kupiono podsystem, popularnie zwany hurtownia danych. Większość tego typu aplikacji ma bardzo dobre, uniwersalne interfejsy, więc ich integracja nie stanowi żadnego problemu.

System transakcyjny, projektowany, w ogóle nie zajmuje się historią, przetwarza wyłącznie dane bieżące dzięki czemu stał się znacznie prostszy, czytaj tańszy w wykonaniu. Wszelkie dane o historycznych stanach naszych danych są w hurtowni danych a tę mamy już gotową, taniej niż koszt wytworzenia podobnego systemu.

I tak: ta część, która opisuje specyfikę naszej organizacji (oznaczona na niebiesko), to tak zwane „core domain” czyli główny element dziedziny systemu. Jeżeli nie znajdziemy na rynku produktu, który w 100% mu odpowiada należy wydzielić taki fragment i stworzyć sobie dedykowany. Kastomizacja gotowego produktu zawsze jest kompromisem, najczęściej bardzo kosztownym. (więcej o praktyce projektowania zwanej DDD).

Pojecie COTS (Commercial off the shelf), o którym już na blogu nie raz wspominałem, to tu nasz gotowy komponent: hurtownia danych. W efekcie wszelkie funkcjonalności związane z raportowaniem implementujemy w tej hurtowni, pozostałe musimy wytworzyć. To dodatkowa korzyść: baza danych systemu transakcyjnego staje się dużo prostsza, czytaj tańsza, bo model danych nie musi „obsługiwać historii”.

Jeżeli potrzebne nam zaawansowane metody raportowania i analiz należy raczej zakupić aplikację z rodzaju Business Inteligence zamiast zlecać dostawcy systemu (np. ERP) kolejne implementowanie wyrafinowanych – kosztownych w opracowaniu i utrzymaniu – raportów.

Przy okazji: użycie hurtowni danych „w tle”, to nic innego jak cloud computing , tu tak zwana chmura prywatna”.

Demagogia na konferencji

Z ust osoby promującej pewien produkt zaliczony do Business Intelligence padło stwierdzenie: Nasz produkt jest prosty, pobiera dane do raportów bezpośrednio z systemu ERP, nie musimy więc dodatkowo inwestować w pośredniczący system hurtowni danych, ktory może mieć dane nieaktualne. Tezę tę miał poprzeć diagram podobny do tego:

U góry mam „skomplikowany system BI” a na dole „nasz prosty i łatwy w obsłudze system”. To jak by usunąć zielony komponent z powyższego diagramu komponentów. Gdzie haczyk? Ano tu:

Górny diagram to przykład modelu danych dla hurtowni danych. Jest prosty, w praktyce skomentowany „po ludzku”, jako metadane, jest czymś, z czym może pracować każdy, kto tylko zna daną dziedzinę, taki model danych (tak zwana gwiazda) odwzorowuje w prosty sposób znane biznesowe pojęcia.

Diagram niżej to model danych niewielkiego systemu biznesowego (model danych systemu ERP, mający nawet tysiące relacyjnych, nic nie mówiących zwykłemu śmiertelnikowi tabel, byłby w tej proporcji zwykłą kolorową nieczytelną plamą…). Wykonanie samodzielnie jakiegokolwiek raportu z tego drugiego systemu tabel graniczy z cudem. Można przygotować (administrator bazy) tak zwane „widoki” dla użytkowników co nie zmienia faktu, że ich opracowanie to „wiedza tajemna” i nikt z „biznesu” sam tego nie zrobi. I najważniejsze: dostęp do pełnego modelu danych najczęściej wymaga złamania zasad bezpieczeństwa to jest udostępnienia danych z pominięciem mechanizmów kontrolnych aplikacji ERP.

Hurtownia danych to model stworzony pod kątem przetwarzania faktów historycznych na prostym modelu danych (diagram powyżej, górny, to tak zwana kostka OLAP). Opracowanie takiego modelu wymaga specjalnej analizy i projektu, ale nie zapominajmy: analizę się robi raz a raporty stale… tu przeszkolony użytkownik biznesowy sam daje radę bez problemu.

Tak więc szanowni Państwo. Jeśli tylko Wasza firma jest bliżej czołówki niż ogona rankingu rynku w Waszej branży, nie dajcie się namówić na jeden zintegrowany ERP i jakiś model referencyjny, bo nawet jak uda się go wdrożyć, to zmiana czegokolwiek będzie trudna a upgrade do nowszej wersji niemożliwy. Opracowanie projektu systemu składającego się z komponentów, pozwoli Wam dobrać najlepiej spełniające Wasze wymagania aplikacje. Jak z klocków LEGO można złożyć „dedykowany system” pomagający utrzymać przewagę na rynku, a nie cofający Waszą firmą do poziomu „innych podmiotów w branży”.

Źródło: www.it-consulting.pl
Autor: Jarosław Żeliński

Najnowsze wiadomości

Kwantowy przełom w cyberochronie - nadchodząca dekada przepisze zasady szyfrowania na nowo

Przez długi czas cyfrowe bezpieczeństwo opierało się na prostym założeniu: współczesne komputery potrzebowałyby ogromnych zasobów i wielu lat, aby złamać silne algorytmy szyfrowania. Rozwój technologii kwantowej zaczyna jednak tę regułę podważać, a eksperci przewidują, że w perspektywie 5–10 lat może nadejść „dzień zero”. Jest to moment, w którym zaawansowana maszyna kwantowa będzie w stanie przełamać większość aktualnie stosowanych zabezpieczeń kryptograficznych w czasie liczonym nie w latach, lecz w godzinach.

Czytaj całość

PSI prezentuje nową identyfikację wizualną

W ramach realizowanej strategii transformacji PSI Software SE zaprezentowała nową identyfikację wizualną. Odświeżony wizerunek w spójny sposób oddaje technologiczne zaawansowanie firmy, jej głęboką wiedzę branżową oraz silne ukierunkowanie na potrzeby klientów. Zmiany te wzmacniają pozycję PSI jako innowacyjnego lidera technologicznego w obszarze skalowalnych rozwiązań informatycznych opartych na sztucznej inteligencji i chmurze, rozwijanych z myślą o energetyce i przemyśle.

Czytaj całość

PROMAG S.A. rozpoczyna wdrożenie systemu ERP IFS Cloud we współpracy z L-Systems

PROMAG S.A., lider w obszarze intralogistyki, rozpoczął wdrożenie systemu ERP IFS Cloud, który ma wesprzeć dalszy rozwój firmy oraz integrację kluczowych procesów biznesowych. Projekt realizowany jest we współpracy z firmą L-Systems i obejmuje m.in. obszary finansów, produkcji, logistyki, projektów oraz serwisu, odpowiadając na rosnącą skalę i złożoność realizowanych przedsięwzięć.

Czytaj całość

F5 rozszerza portfolio bezpieczeństwa o narzędzia do ochrony systemów AI w środowiskach enterprise

F5 ogłosiło wprowadzenie dwóch nowych rozwiązań - F5 AI Guardrails oraz F5 AI Red Team - które mają odpowiedzieć na jedno z kluczowych wyzwań współczesnych organizacji: bezpieczne wdrażanie i eksploatację systemów sztucznej inteligencji na dużą skalę. Nowa oferta łączy ochronę działania modeli AI w czasie rzeczywistym z ofensy

Czytaj całość

Snowflake + OpenAI: AI bliżej biznesu

Snowflake przyspiesza wykorzystanie danych i sztucznej inteligencji w firmach, przenosząc AI z fazy eksperymentów do codziennych procesów biznesowych. Nowe rozwiązania w ramach AI Data Cloud integrują modele AI bezpośrednio z danymi, narzędziami deweloperskimi i warstwą semantyczną. Partnerstwo z OpenAI, agent Cortex Code, Semantic View Autopilot oraz rozwój Snowflake Postgres pokazują, jak budować skalowalne, bezpieczne i mierzalne wdrożenia AI w skali całej organizacji.

Czytaj całość

RAPORT ERP

Katalog rozwiązań IT

Katalog firm

Najnowsze artykuły

Magazyn bez błędów? Sprawdź, jak system WMS zmienia codzienność logistyki

Współczesna logistyka wymaga nie tylko szybkości działania, lecz także maksymalnej precyzji – to właśnie te czynniki coraz częściej decydują o przewadze konkurencyjnej firm. Nawet drobne pomyłki w ewidencji stanów magazynowych, błędy przy przyjmowaniu dostaw czy nieprawidłowe rozmieszczenie towarów, mogą skutkować poważnymi stratami finansowymi i opóźnieniami w realizacji zamówień. W jaki sposób nowoczesne rozwiązania do zarządzania pomagają unikać takich sytuacji? Czym właściwie różni się tradycyjny system magazynowy od zaawansowanych rozwiązań klasy WMS (ang. Warehouse Management System)? I w jaki sposób inteligentne zarządzanie procesami magazynowymi realnie usprawnia codzienną pracę setek firm?

Czytaj całość

Migracja z SAP ECC na S4 HANA: Ryzyka, korzyści i alternatywne rozwiązania

W ostatnich latach wiele firm, które korzystają z systemu SAP ECC (Enterprise Central Component), stoi przed decyzją o przejściu na nowszą wersję — SAP S4 HANA. W obliczu końca wsparcia dla ECC w 2030 roku, temat ten staje się coraz bardziej aktualny. Przemiany technologiczne oraz rosnące oczekiwania związane z integracją nowych funkcji, jak sztuczna inteligencja (AI), skłaniają do refleksji nad tym, czy warto podjąć tak dużą zmianę w architekturze systemu. Przyjrzyjmy się głównym powodom, dla których firmy rozważają migrację do S4 HANA, ale także argumentom, które mogą przemawiać za pozostaniem przy dotychczasowym systemie ECC, przynajmniej na krótki okres.

Czytaj całość

Jak maksymalizować zyski z MTO i MTS dzięki BPSC ERP?

Zysk przedsiębiorstwa produkcyjnego zależy nie tylko od wydajności maszyn, ale przede wszystkim od precyzyjnego planowania, realnych danych i umiejętnego zarządzania procesami. Dlatego firmy, które chcą skutecznie działać zarówno w modelu Make to Stock (MTS), jak i Make to Order (MTO), coraz częściej sięgają po rozwiązania klasy ERP, takie jak BPSC ERP.

Czytaj całość

Ponad połowa cyberataków zaczyna się od błędu człowieka

Ponad 2/3 firm w Polsce odnotowała w zeszłym roku co najmniej 1 incydent naruszenia bezpieczeństwa . Według danych Unit 42, zespołu analitycznego Palo Alto Networks, aż 60% ataków rozpoczyna się od działań wymierzonych w pracowników – najczęściej pod postacią phishingu i innych form inżynierii społecznej . To pokazuje, że w systemie ochrony organizacji pracownicy są kluczowym ogniwem – i że firmy muszą nie tylko edukować, ale też konsekwentnie egzekwować zasady cyberhigieny. Warto o tym pamiętać szczególnie teraz, w październiku, gdy obchodzimy Europejski Miesiąc Cyberbezpieczeństwa.

Czytaj całość

MES - holistyczne zarządzanie produkcją

Nowoczesna produkcja wymaga precyzji, szybkości i pełnej kontroli nad przebiegiem procesów. Rosnąca złożoność zleceń oraz presja kosztowa sprawiają, że ręczne raportowanie i intuicyjne zarządzanie coraz częściej okazują się niewystarczające. Firmy szukają rozwiązań, które umożliwiają im widzenie produkcji „na żywo”, a nie z opóźnieniem kilku godzin czy dni. W tym kontekście kluczową rolę odgrywają narzędzia, które porządkują informacje i pozwalają reagować natychmiast, zamiast po fakcie.

Czytaj całość