Informacja w służbie organów bezpieczeństwa

W treści artykułu przedstawiono syntetyczne omówienie systemu analitycznego wykorzystującego mechanizmy hurtowni danych jako skutecznego narzędzia organów bezpieczeństwa publicznego działających na rzecz poprawy bezpieczeństwa obywateli. W opisie wykorzystano doświadczenia z wdrożenia systemu analitycznego w polskiej Policji.

Organy administracji rządowej, nie będą działać efektywnie i skutecznie, nie są w stanie spełnić pokładanych w nich oczekiwań bez korzystania z nowoczesnych technologii. Bez sprawnie funkcjonujących systemów teleinformatycznych trudno sobie wyobrazić także nowoczesne i dobrze zorganizowane organy państwa działające na rzecz bezpieczeństwa obywateli i porządku publicznego. Jednym z nich jest Policja, która jako umundurowana i uzbrojona formacja służąca społeczeństwu i przeznaczona do ochrony bezpieczeństwa ludzi oraz do utrzymywania bezpieczeństwa i porządku publicznego, bez dostępu do nowoczesnych rozwiązań informatycznych, nie może efektywnie i skutecznie realizować swoich zadań.

Obecnie działania Policji coraz częściej opiera się na gromadzeniu, analizie i wykorzystywaniu informacji we wszystkich obszarach jej aktywności. Szybki i niezawodny dostęp do nowoczesnych technologii jest niezbędny zarówno w działaniach służb kryminalnych, prewencyjnych, jak i wspomagających. Wykorzystywanie zaawansowanych rozwiązań informatycznych umożliwia bezzwłoczną reakcję na zdarzenie, niezawodną wymianę informacji oraz typowanie sprawców przestępstw, jak również efektywne dysponowanie siłami Policji. W walce z przestępczością, w tym z przestępczością zorganizowaną, wręcz nieodzowne jest wykorzystywanie najnowocześniejszych i najskuteczniejszych narzędzi umożliwiających wymianę informacji, szybkie przetwarzanie i analizę danych. Brak ograniczeń terytorialnych dla działań przestępczych sprawia, że bez wsparcia pracy Policji zaawansowanymi technologiami, służba społeczeństwu, ochrona obywateli oraz utrzymywanie bezpieczeństwa i porządku publicznego stałoby się niemożliwe.

Policyjne systemy informacyjne, ze względu na swoją specyfikę, stały się magazynami wartościowych danych, których łatwość przesyłania, przechowywania, jak i przetwarzania ogromnie zwiększyły wydajność pracy na rzecz bezpieczeństwa i porządku publicznego. Jednocześnie zgromadzone w wielu systemach przez lata terabajty danych, w obliczu pojawiających się wciąż nowych form przestępczości stały się na tyle istotne w procesie zwiększenia skuteczności działań Policji, że należało dokonać przeorganizowania, uporządkowania i zoptymalizowania przechowywanych w różnych miejscach danych pod kątem pewnego wycinka rzeczywistości. W ten sposób powstał w Policji system analityczny wykorzystujący mechanizmy hurtowni danych (data wherehouse) [1,2].

Sposób organizacji danych w systemie analitycznym Policji zapewnia dostęp do takich funkcjonalności analizowania danych, których uzyskanie bez wcześniejszej ich przebudowy byłoby niemożliwe. W skład systemu wchodzą wyspecjalizowane tematycznie podzbiory (data marts) zorganizowane, odpowiednio do bieżących potrzeb służb kryminalnych i prewencyjnych Policji.

Koncepcja systemu analitycznego

Koncepcja budowy policyjnego systemu analitycznego wykorzystującego mechanizmy hurtowni danych zakładała stworzenie wyodrębnionego, od innych systemów informatycznych Policji, środowiska aplikacyjnego posiadającego dedykowaną bazę danych [3,4]. Miało to na celu przede wszystkim wydzielenie funkcji analitycznych z systemów nie przeznaczonych to tego typu operacji, w tym głównie z Krajowego Systemu Informacyjnego Policji (KSIP) [5]. Przyjęto, że zasilanie bazy analitycznej będzie odbywać się z różnorodnych źródeł danych, a gromadzone w niej informacje będą uporządkowane tematycznie, zintegrowane, zasilane przyrostowo, często redundantne i odpowiednio zagregowane oraz będą zawierały wymiar czasowy. Na podstawie pobieranych danych będą tworzone odpowiednie agregaty, tj. postać przekształcona na potrzeby raportowania statystycznego oraz dodatkowe struktury danych umożliwiające prowadzenie analiz.

Założono, że system ten ze względu na zastosowane zaawansowane rozwiązania techniczne, w tym implementację najnowszych rozwiązań z dziedziny wyszukiwania danych, ich wszechstronnego analizowania, modelowania i prezentacji będzie wspierał działania funkcjonariuszy i pracowników cywilnych Policji bezpośrednio na ich stanowiskach pracy, w zakresie określonym ich potrzebami oraz posiadanymi przez nich uprawnieniami.

W systemie tym, jako centralnej bazie danych fizycznie wydzielonej od innych systemów, będą gromadzone dane pozyskiwane okresowo z wszelkich innych policyjnych i pozapolicyjnych baz danych. W trakcie ładowania dokonywane będzie scalanie i ujednolicanie danych oraz ich transformacja i agregacja.

Struktura i użyte do budowy systemu analitycznego narzędzia będą zoptymalizowane pod kątem przetwarzania analitycznego w sposób pozwalający na:

Założono, że ułatwienie dostępu do zagregowanych danych zwiększy także jakość planowania, prognozowania i określania strategii. Wszelkie decyzje podejmowane w oparciu o dane zgromadzone w systemie analitycznym będą efektywniejsze z uwagi na rzetelne i aktualne informacje oraz dedykowany dla tego rodzaju funkcjonalności model danych.

Architektura systemu analitycznego

Konstrukcja policyjnego systemu analitycznego zakładała wykorzystanie centralnej bazy danych jako miejsca przechowywania danych. Dlatego też dane główne oraz dane pomocnicze wraz z repozytorium danych systemu analitycznego zostały umieszczone w nowej bazie, oddzielnej w stosunku do systemów zasilających bazę analityczną, w tym bazy danych Krajowego Systemu Informacyjnego Policji (KSIP). W skład systemu analitycznego wchodzą następujące elementy:

Takiej weryfikacji dokonują procesy, które mogą korzystać z metadanych obszaru przejściowego, np. dla operacji mapowania, przekodowania, ze zbiorów dozwolonych wartości, reguł zachowania kolejności itp. Kolejno, w obszarze tym odbywa się właściwe przetwarzanie danych źródłowych, czyli m.in. nadawanie wartości domyślnych, nadawanie kluczy sztucznych oraz przeprowadzana jest analiza składniowa złożonych zapisów. Dane przetworzone i odpowiednio przygotowane są umieszczone w strukturach docelowych, tj. w repozytorium danych. Sposób zaprojektowania tych struktur zależy prawie w całości od wymaganych raportów, formy i zakresu danych źródłowych oraz od wymagań dotyczących przechowywania historii, a także od wymaganych czasów odpowiedzi wykonywania raportów.

Metadane opisują zawartość systemu analitycznego, przedstawiają proces przetwarzania danych i administracji hurtownią oraz sposób ich prezentacji na raportach. Metadane obszaru przejściowego służą parametryzacji procesów walidacji, przetwarzania i konsolidacji danych źródłowych. Repozytoria narzędzi analitycznych przechowują zarówno informacje niezbędne do przygotowywania raportów, jak i definicji samych raportów. Repozytoria znajdują się w bazie danych w oddzielnym schemacie bądź są przechowywane we wskazanych plikach. Repozytorium narzędzi do przekształcania i ładowania danych przechowuje dane o strukturach danych wszystkich obszarów hurtowni danych, w tym mapowania, transformacje oraz kolejność przetwarzania procesów. Są to wszelkie metadane pozwalające na zaprojektowanie i późniejsze zarządzanie hurtownią w jej pełnym cyklu życia, tj.: zasilanie, odświeżanie oraz wprowadzanie zmian do struktur.

Implementacja i wdrożenie systemu

W procesie implementacji policyjnego systemu analitycznego wykorzystano aktualną infrastrukturę sprzętowo-programową systemu KSIP. Dla potrzeb zasilania systemu analitycznego dodano nowy węzeł w klastrze bazy danych KSIP. Dane pomocnicze oraz repozytorium danych hurtowni danych zostały umieszczone w nowej bazie systemu analitycznego oddzielnej w stosunku do bazy danych systemu źródłowego, ale współdzielącej ten sam klaster sprzętowy z instancją bazy danych KSIP. W ten sposób hurtownia danych wykorzystuje istniejącą już infrastrukturę zapewniającą bezpieczeństwo i wysoką niezawodność oraz zwiększa elastyczność w zakresie alokacji zasobów systemowych na potrzeby KSIP lub systemu analitycznego w zależności od aktualnego zapotrzebowania. Do realizacji funkcjonalności typowań, zapytań ad hoc, generowania statystyk i raportów została wykorzystana funkcjonalność pakietu Oracle Business Inteligence Enterprise Edition (OBI EE) oraz Oracle BI Publisher.

Pakiet OBI EE zaprojektowano z myślą o sprostaniu wymaganiom stawianym narzędziom przeznaczonym do analizy dużych ilości danych w dużych organizacjach. Stanowi on kompleksowy i zintegrowany zestaw narzędzi analitycznych opracowany w celu zapewnienia wglądu w wyniki analiz jak największej grupie użytkowników oraz umożliwiający dowolnemu z nich z dowolnej jednostki organizacyjnej samodzielny dostęp do aktualnych, istotnych i przydatnych informacji za pośrednictwem interfejsu internetowego. Pakiet ten składa się z kilku produktów, które mogą być wykorzystane razem lub też niezależnie od siebie. Przykładowo, do łączenia danych relacyjnych, nieusystematyzowanych i pochodzących ze różnych źródeł (w tym relacyjnych jak i OLAP1) oraz pobieranych z różnych gotowych aplikacji, można wykorzystać narzędzie OracleBI Server, który jest wysoce skalowalnym i wydajnym serwerem zapytań oraz analiz. Do tworzenia zapytań i analiz na żądanie można wykorzystać narzędzie OracleBI Answers pracujące w środowisku opartym na technikach internetowych oraz operujące na logicznym modelu danych zebranych z wielu źródeł. Wykorzystywanie zaawansowanych, interaktywnych konsol internetowych, zwanych także kokpitami informacyjnymi, umożliwiającymi użytkownikom podejmowanie dokładnych i trafnych decyzji dzięki spersonalizowanym widokom danych, jest możliwe dzięki OracleBI Interactive Dashboard. W skład pakietu OBI EE wchodzi także OracleBI Publisher oraz OracleBI Disconnected Analytics. Pierwszy z nich dostarcza skalowalny mechanizm raportowania umożliwiający generowanie raportów na podstawie danych z wielu źródeł i publikowanie ich w różnych formatach oraz za pomocą różnych kanałów publikacji, zaś drugi jest produktem łączącym produkty Answers i Dashboards w pakiet skierowany do użytkowników mobilnych korzystających z komputerów niepodłączonych do sieci.

Rysunek 2. przedstawia umiejscowienie poszczególnych składników oprogramowania i sprzętu na potrzeby hurtowni danych. W zaimplementowanym systemie analitycznym wyszukiwanie i prezentowanie danych w oparciu o dane szczegółowe jest możliwe poprzez typowanie oraz wykorzystanie raportów typu lista za pomocą pakietu Oracle BI Publisher. Narzędzie to wykorzystuje kreatory i jest wyposażone w graficzny edytor układu pozwalający użytkownikom na tworzenie skomplikowanych raportów z użyciem modelu deklaracyjnego, ukierunkowanego na dokument.

Możliwe jest także wykorzystywanie zaawansowanych funkcji do tworzenia skomplikowanych raportów ze złożonymi zapytaniami i elementami programowania. Dodatkowo, typowania są rozbudowane o mechanizm gromadzenia informacji na temat dostępu do danych przez poszczególnych użytkowników, tj. kto, kiedy, jakie uzyskał informacje. Do definicji, tj. zaprojektowania i późniejszego utrzymywania procedur ładowania, transformacji i struktur pomocniczych oraz docelowych, wszelkich aspektów budowy policyjnego systemu analitycznego wykorzystano narzędzie klasy CASE o nazwie Oracle Warehouse Builder w wersji 10gR2. Oprogramowanie to pozwoliło na zaprojektowanie wymaganych obiektów bazy danych służących do przechowywania danych (tabele, zmaterializowane widoki), obiektów wspierających analizę wielowymiarową (fakty, wymiary, w tym hierarchie), jak i ich przetwarzania. Użytkownicy korzystający z tego narzędzia uzyskali możliwość:

W skład pakietu Warehouse Builder wchodzi m.in. moduł repozytorium (Repository), który jest zbiorem tabel i widoków relacyjnych umieszczonych w bazie danych Oracle i zawierających definicje metadanych, a także moduł generowania kodu (Code Generator) przeznaczony do budowania skryptów w oparciu o metadane z repozytorium.

Skrypty te są kolejno wykorzystywane do przetwarzania docelowych schematów baz danych. Zapisywanie danych pobranych ze źródeł w zaprojektowanym i stworzonym przez użytkownika schemacie, a także przechowywanie informacji wymaganych do audytu procesów ładujących przenoszących dane do tego schematu, odbywa się w tzw. środowisku wykonawczym (Runtime Environment). Użytkownicy systemu analitycznego mają również możliwość wykorzystywania przeglądarki audytu środowiska wykonawczego (Repository Browser) przeznaczonej do analizowania danych z audytu w tym środowisku, a także tzw. aplikacji klienta (Client Application) udostępniającej interfejs graficzny wspomagający użytkownika w procesie definiowania i projektowania aplikacji. Do dyspozycji zaawansowanego użytkownika systemu analitycznego jest także tzw. administracyjne środowisko raportowania (Advanced Reporting Environment) obejmujące udostępniane przez oprogramowanie Warehouse Builder funkcje raportowania, które umożliwiają przeglądanie metadanych za pomocą aplikacji pracującej w technologii internetowej oraz udostępnianie ich szerszemu gronu zainteresowanych.

Uruchomienie i utrzymywanie systemu analitycznego wiązało się z tzw. zarządzaniem ładowaniem danych z systemów źródłowych, w tym z KSIP do systemu analitycznego. Proces ten obejmował::

W ramach ww. procesu wyróżniono dwa rodzaje ładowania danych, tj. ładowanie inicjalne i ładowanie cykliczne (przyrostowe). Dla uniknięcia dużego obciążenia systemów źródłowych ładowanie inicjalne zostało wykonane metodą klonowania baz danych z wykorzystaniem backupów danego systemu. Z kolei ładowania cykliczne, w przypadku systemu KSIP, są wykonywane w cyklu dobowym przy bezpośrednim podłączeniu do systemu źródłowego z wykorzystaniem mechanizmu partycjonowania tabel bazodanowych oraz przenoszeniu dużych ilości danych bezpośrednio do obszaru przejściowego. Proces ładowania danych wykonuje tutaj niskopoziomową walidację danych na poziomie interfejsu, np. obowiązkowość pól identyfikacyjnych, zgodność typów itp., tak aby zapewnić możliwość późniejszej interpretacji danych. Każde zasilanie danych jest zadaniem, które ma przypisany unikalny identyfikator dołączany do każdego ładowanego rekordu. Takie podejście pozwala na późniejsze śledzenie problemów z ładowaniem rekordów z określonego źródła.

Zarządzanie ładowaniem danych dostarcza informacji dla administrowania metadanymi m.in. o tym, z których interfejsów ładowano dane, statystykach, poprawności danych i statusie ładowania. Skuteczność procesu zasilania jest monitorowane przez administratorów w środowisku Oracle Enterprise Manager.

System analityczny jest zasilany także z wykorzystaniem informacji zawartych w tzw. dziennikach zmian przechowywanych w systemach źródłowych. Dane z tych dzienników są przenoszone do systemu analitycznego z zachowaniem danych po stronie systemu źródłowego dla dnia bieżącego i z zachowaniem zadanego okresu historii wstecz dla zminimalizowania ryzyka chwilowej utraty dzienników. Historyczny okres przechowywania danych dzienników zmian po stronie systemu źródłowego jest określany parametrem typu metadana. Dane dzienników są usuwane po stronie systemu źródłowego, zgodnie z ww. parametrem. W przypadku systemu źródłowego KSIP została wprowadzona zmiana partycjonowania dla dzienników zmian polegająca na utworzeniu partycji dziennych dla nowych danych.

Na potrzeby administrowania systemem analitycznym zdefiniowano role administratora technicznego i administratora biznesowego. Przez rolę administratora technicznego rozumie się administratora o wiedzy technicznej na temat zarządzania oprogramowaniem bez znajomości merytorycznej systemów źródłowych i systemu analitycznego, w tym modelu biznesowego i jakości danych przechowywanych w ww. systemach. Przez rolę administratora biznesowego rozumie się administratora o wiedzy merytorycznej na temat systemów źródłowych i systemu analitycznego, również ze znajomością biznesowego modelu danych i umiejętnościami odniesienia się do jakości danych ww. systemów.

Dla zapewnienia wysokiego poziomu bezpieczeństwa danych przetwarzanych w systemie analitycznym wdrożono podział grup użytkowników, zgodnie ze strukturą organizacyjną, regułami podległości w ramach organizacji oraz funkcjami użytkowników w systemie. Zapewniono, że zastosowane produkty bazodanowe do budowy systemu spełniają wymagania stawiane przez powszechnie akceptowalne standardy bezpieczeństwa, takie jak: US TCSEC/TDI C2 oraz ITSEC F-C2/EAL4. Wprowadzenie zarządzania uprawnieniami systemowymi i obiektowymi dało możliwość nadawania praw użytkownikom do wykonywania dopuszczalnych operacji oraz jednoznacznego wyznaczania obiektów bazy danych (tablica, procedura, perspektywa itd.), na których uprawnione operacje mogą być wykonane. Dla zapewnienia wybiórczego dostępu do danych wrażliwych zastosowano mechanizm VPD (Virtual Private Database) umożliwiający separację danych na poziomie serwera bazy danych oraz ustalanie praw dostępu do danych z granulacją do wiersza. Proces uwierzytelniania i autoryzacji użytkowników systemu analitycznego jest realizowany przy wykorzystaniu tzw. systemu bezpiecznego trybu uwierzytelniania i autoryzacji użytkowników (Bezpieczny Tryb Uwierzytelniania Użytkowników – BTUU). BTUU zapewnia bezpieczny dostęp do policyjnych i pozapolicyjnych systemów informacyjnych, w tym Systemu Informatycznego Schengen, poprzez dedykowaną infrastrukturę teleinformatyczną w oparciu o usługi katalogowe z wykorzystaniem wewnętrznej infrastruktury klucza publicznego (Public Key Infrastructure) i rozwiązania jednokrotnego logowania (single sign-on).

Podsumowanie

We współczesnym społeczeństwie, w dobie totalnych przekształceń w dziedzinie zarządzania informacją gromadzenie wielkiej ilości danych nie jest już wystarczające. Optymalizacja przechowywanych informacji zorientowanych tematycznie, odpowiednio do bieżących potrzeb, w naturalny sposób skutkuje poprawą jakości i spójności danych potrzebnych do podejmowania decyzji, a tym samym do utrzymywania bezpieczeństwa i porządku publicznego. W czasach totalnych zmian należy sprawnie zarządzać zbieraną latami informacją.

Analityczne przetwarzanie danych gromadzonych w systemach policyjnych stało się niezbędne do prawidłowego zarządzania całą organizacją. Potrzebne dane były na ogół rozproszone i niedostosowane do potrzeb analiz. Ponadto, przed wdrożeniem systemu analitycznego funkcje typowań i analiz były wykonywane w KSIP, co powodowało znaczne obciążenie transakcyjnego systemu KSIP, co w konsekwencji wydłużało czas odpowiedzi i tym samym obniżało komfort pracy funkcjonariuszy dokonujących sprawdzeń i rejestracji w systemie. Dlatego też naturalnym stało się stworzenie systemu analitycznego dedykowanego wyłącznie dla potrzeb typowań, analiz i statystyk wykonywanych w dowolnym układzie i konfiguracji, przy zachowaniu wymagań w zakresie śledzenia i zasad bezpieczeństwa dostępu do danych. Wdrożony system analityczny stał się składnicą ujednoliconych i sprawdzonych danych, niezbędnych do sprawnego wspomagania podejmowanych decyzji, w tym efektywnego zarządzania dyslokacją sił i środków. Kadra kierownicza ma na bieżąco wgląd i możliwość porównania wszelkiego rodzaju wskaźników, tj. ilość przestępstw na danym terenie oraz wykrywalność. Zbudowana hurtownia stała się tym samym centralnym źródłem informacji dla całej Policji. Dzięki budowie policyjnego systemu analitycznego użytkownicy mają również okazję wykazania się w twórczej pracy nad analizą danych, a nie tylko nad ich ewidencją - wsparcie operacyjnej i prewencyjnej pracy Policji możliwe jest dla funkcjonariuszy do tej pory nie zaangażowanych bezpośrednio w ten obszar działalności.

Wybudowany system analityczny wykorzystujący mechanizmy hurtowni danych jest wydzieloną centralną bazą danych, wytwarzającą informacje służące do wsparcia procesów decyzyjnych koniecznych do zarządzania Policją. Wszelkie dane są gromadzone w jednej centralnej lokalizacji, a dostarczana funkcjonalność jest realizowana i udostępniona w jednym miejscu. Dostęp do systemu analitycznego nie jest jednak ograniczony do jednej lokalizacji i jest możliwy w ramach ogólnopolskiej sieci transmisyjnej Policji. Podstawowym celem biznesowym istnienia tego systemu jest zapewnienie dostępu do analiz i statystyk opartych o dane zbierane w systemie KSIP oraz zapewnienie dostępu do interaktywnego procesu (aplikacja typowań) polegającego na wykonywaniu sekwencji zapytań, w których zawężana jest liczba zwracanych rekordów poprzez dodawanie przez użytkownika kolejnych ograniczeń.

Opisany tu System Analityczny jest niewątpliwie cennym elementem infrastruktury krytycznej. System ten poza swoją podstawową funkcjonalnością polegającą na sprawnym pozyskiwaniu danych z systemów informatycznych oraz udostępnianiu tych danych w przyjaznej formie dla użytkownika końcowego, może być rozszerzany o szereg dodatkowych elementów.

Rozszerzenia te oraz integracja z innymi narzędziami w znacznie większym stopniu pozwalają na wykorzystanie potencjału rozwiązań BI dla zachowania i poprawy bezpieczeństwa publicznego.

Bibliografia

• [1]Inmon, W.H. Tech Topic: What is a Data Warehouse? Prism Solutions. Volume 1. 1995.
• [2]http://pl.wikipedia.org/wiki/Hurtownia_danych
• [3]Yang, Jun. WareHouse Information Prototype at Stanford (WHIPS). Stanford University. July 7, 1998.
• [4]Witold Abramowicz, Paweł Kalczyński and Krzysztof Węcel, Enhanced Data Warehouse, A. Grzech, Z. Wilimowska (eds.), Proceedings of Information Systems Architecture and Technology – ISAT 2001, The Wrocław University of Technology Publishing House, Wrocław 2001, pp. 190-197, ISBN 83- 7085-578-4.
• [5]Decyzja nr 167 Komendanta Głównego Policji z dnia 19 marca 2008 r. w sprawie funkcjonowania zestawu centralnych zbiorów informacji tworzących Krajowy System Informacyjny Policji, Dziennik Urzędowy Komendy Głównej Policji nr 10 z dnia 21 maja 2008 r.