Etapy przetwarzania danych

Proces przetwarzania surowych danych na informacje a następnie na wiedzę stał się już tak truizmem jak i kanonem w nowoczesnej gospodarce. Obecnie przedsiębiorstwa zaczynają wykorzystywać dane niemalże jako następny surowiec naturalny, który można przekuć na namacalne korzyści poprzez doskonalenie istniejących procesów biznesowych, lub tworzenie kompletnie nowych modeli produkcji, czy też sprzedaży. Oczywiście cały proces zbierania oraz późniejszego przetwarzania danych ma pewną specyfikę, która zależy od omawianego sektora, ale podstawowe etapy przetwarzania danych są niemalże uniwersalne.

Proces obrabiania danych należy zacząć od ich zebrania, najważniejsze są źródła danych oraz miejsce ich przechowywania. Źródło musi być wiarygodne oraz produkować dane dobrej jakości, np. temperatura maszyny powinna być podana z częściami dziesiętnymi, aby w przyszłości móc prowadzić dokładną analizę. Miejsce, w którym dane będą przechowywane musi być odpowiednio bezpieczne. Ważnym aspektem jest także fizyczne zabezpieczenie danych na odpowiednich nośnikach albo komponentach chmurowych. Po pobraniu danych należy je poddać “obróbce wstępnej” podczas której dane zostaną przygotowane do analizy, kontynuując przykład temperatury maszyny możliwe jest ograniczenie ilości miejsc dziesiętnych, aby móc analizować dane dużo szybciej niewiele tracąc na szczegółowości. Tak przygotowane dane można poddać procesowaniu i tutaj właśnie ważny jest sektor, od którego zależy jakiego rodzaju informację są uzyskiwane. Przykładowo można powiązać temperaturę pracy maszyny z jej wydajnością. Posiadając już dane wyjściowe można przejść do wizualizacji oraz interpretacji przedstawionych danych. Być może istnieje możliwość optymalizacji produkcji poprzez modyfikację temperatury pracy otoczenia lub samej maszyny. Zawsze należy pamiętać o miejscu przechowywania danych, musi być ono odpowiednie do danego procesu, gdzie w poszczególnych krokach mogą być przydatne szybsze nośniki, które usprawnią procesowanie, ale na koniec warto zapisać rezultat na wolniejszym nośniku, który zapewnia większe bezpieczeństwo przechowywanych danych. Ważnym aspektem przy obróbce danych wrażliwych jest anonimizacja, która umożliwia na dłuższe przechowywanie danych oraz badanie trendów bez możliwości identyfikacji pojedynczej jednostki.

Dane możemy podzielić na dwa rodzaje: dane jakościowe (ang. qualitative) oraz ilościowe (ang. quantitative). Dane ilościowe charakteryzują się tym, że można je zliczać, mierzyć i wyrażać za pomocą liczb, np: 100 ZŁ, 80 KG, 3 KM. Z drugiej strony mamy dane jakościowe, które mają charakter opisowy i koncepcyjny. Można je segmentować oraz kategoryzować na podstawie konkretnych atrybutów. Przykładowo do danych jakościowych możemy zaliczyć wszelakie opisy. Różnice pomiędzy tymi dwoma typami danych występują w formacie, sposobie gromadzenia oraz podczas procesu analizy. Należy jednak mieć na uwadze, że aby osiągnąć kompletny obraz danego zagadnienia należy zazwyczaj przeanalizować dane tak jakościowe jak i ilościowe.