V pátek 18. ledna proběhl v Národní technické knihovně půldenní workshop o základních zásadách práce s daty, určený pro neziskový sektor. Lektor Štefan Urbánek působí jako konzultant a datový analytik. Spolupracuje jak s velkými firmami, tak i neziskovkami, které dnes při své činnosti také často potřebují operovat s většími objemy dat – typicky jde například o organizace, které sledují a srozumitelně veřejnosti prezentují rozdělování peněz ze státních rozpočtů.

Častou situací, se kterou se zde přednášející setkal, byl poněkud živelný přístup k ukládání a zpracování základních dat, který těmto organizacím působil následné problémy, pokud se v datech objevila nečekaná chyba, změnila se jejich struktura, formát, nebo jen jejich objem přerostl určitou mez. V korporátní sféře přitom již existují velmi dobře definované postupy zpracování dat, kde se s těmito častými problémy počítá, a je jim možné do velké míry předejít, nebo alespoň minimalizovat jejich dopad.

Seminář dal zájemcům nahlédnout na způsoby, jakým se velká data zpracovávají v korporátní sféře. Foto: J. Mynarz

Workshop byl členěn do několika menších okruhů. Nejdříve jsme si ukázali, jak vypadá klasický datový sklad (data warehouse). Účelem datového skladu je shromáždění a integrace dat z více zdrojů na jedno místo. Tento soubor dat je obvykle zaměřen na určité téma, přičemž zde na rozdíl od jiných typů databází není na závadu redundance dat (např. historie, různé pohledy na data). Data jsou dále zpracovávána podle jasně definovaných metodik, postupně jsou vyčištěna a můžeme na nich provádět analýzy. Díky rozdělení celého postupu na jasně ohraničené fáze se dá později snáze určit původ případné chyby, je možné přidávat další zdroje dat průběžně v různých fázích zpracování a podobně. Typickými úkoly ve fázi předzpracování dat jsou detekce duplicit, konsolidace kategorií a vyřešení vnitřních rozporů v datech (například: co si počít, pokud v poštovní adrese navzájem neodpovídají město a PSČ?).

Tím jsme se dostali k problematice kvality dat. Co jsou kvalitní data, nelze obecně říct - potřebná míra kvality musí být předem definována odborníkem na zkoumanou oblast a záleží vždy na účelu a kontextu použití dat – pokud máme naměřeno 90 % údajů, je to někdy v pořádku, ale jindy to může znamenat vážný problém a nepoužitelnost dat pro další analýzy. Pro zhodnocení kvality dat můžeme použít různá měřítka: jejich úplnost, přesnost, důvěryhodnost zdroje, aktuálnost, konzistenci a integritu. Pro soustavné hlídání kvality dat se zavádějí indikátory, které se dlouhodobě sledují a pokud se vychýlí nežádoucím směrem, je třeba na to adekvátně reagovat.

Další blok byl věnován správě dat v rámci organizace. Správa dat (data governance) byla definována jako souhra lidí, procesů a technologií, která umožňuje efektivní vytěžování dat. Firma by měla vždy mít přehled o tom, odkud se data získávají, jak jsou zpracovávána a jaké jsou role a kompetence všech lidí zapojených do procesu jejich zpracování (např. kdo data produkuje, kdo rozhoduje o tom, co se s nimi bude dít a kdo tyto změny skutečně provádí). Samostatnou oblastí správy dat je tzv. master data management, tedy správa dat klíčových pro danou firmu. Počáteční fragmentovaná data musí být sjednocena a dále udržována v jedné verzi, která představuje jakýsi celkový pohled na firmu a vycházejí z ní všechny další firemní procesy a systémy.

V poslední krátké části lektor představil základy multidimenzionálního modelování, tj. vlastní analýzy dat. Analytika vždy zajímá logické uspořádání dat, nezávislé na tom, jak jsou tato data ve skutečnosti uložena v databázi. Základním pojmem je zde fakt, což je dále nedělitelná informace (nejdetailnější úroveň, která nás momentálně zajímá, např. jedna smlouva). Fakty hodnotíme podle různých měřítek, a můžeme je upořádat do tzv. datových kostek, jejichž hrany/osy tvoří právě škály hodnot vybraných měřítek. S datovými kostkami pak lze provádět různé operace (“krájení”, otáčení a podobně), které poskytují další pohledy na data zahrnutá do kostky.

Workshop celkově poskytnul dobrou základní představu o tom, jakým způsobem se velká data zpracovávají v korporátní sféře a inspiraci k dalšímu zkoumání této oblasti a hlavně aplikaci nabytých poznatků v praxi.