Certyfikat ICVC/SBD 20009.01 Specjalista ds. przetwarzania strumieni danych w środowiskach Big Data, potwierdza wiedzę, umiejętności i kompetencje społeczne osób pracujących w branży IT i technologii, branży finansowej, produkcji oraz handlu i e-commerce.
Certyfikat ICVC/SBD 20009.01 jest wydawany osobom, które zdały Egzamin ICVC weryfikujący ich kwalifikacje do wykonywania Specjalista ds. przetwarzania strumieni danych w środowiskach Big Data m.in, takie jak:
1. Zrozumienie głównego celu przetwarzania strumieni danych, jakim jest umożliwienie przetwarzania danych w czasie rzeczywistym.
2. Znajomość narzędzi do przesyłania wiadomości, takich jak Kafka, odpowiedzialnych za produkcję, odbieranie i rozsyłanie wiadomości między aplikacjami.
3. Rozróżnienie pomiędzy przetwarzaniem stanowym a bezstanowym, z naciskiem na brak zachowania informacji między operacjami w przetwarzaniu bezstanowym.
4. Umiejętność identyfikacji opóźnień w dostarczaniu danych w kontekście przetwarzania strumieniowego, np. poprzez pojęcia takie jak „dane spóźnione” czy „znacznik czasu”.
5. Zrozumienie zastosowania Complex Event Processing (CEP) do analizy i przetwarzania złożonych wzorców zdarzeń w strumieniach danych.
6. Umiejętność wykorzystania Spark Streaming do przetwarzania dużych zbiorów danych w czasie rzeczywistym.
7. Znajomość podstawowych elementów danych w Spark Structured Streaming, takich jak DataFrames.
8. Zrozumienie roli Apache Flink jako platformy do przetwarzania strumieniowego i wsadowego dużych zbiorów danych.
9. Znajomość API Apache Flink, w tym DataStream API, które jest kluczowe dla przetwarzania strumieniowego.
10. Umiejętność wykorzystania funkcji „okna” w Apache Flink do grupowania danych w strumieniach według określonych okresów czasowych.
11. Zrozumienie charakterystyki przetwarzania wsadowego, gdzie dane są gromadzone i przetwarzane w dużych partiach w określonych odstępach czasu.
12. Wiedza na temat operacji wynikowych (ujścia) w przetwarzaniu strumieniowym, które definiują sposób wysyłania danych do zewnętrznych systemów lub trwałych magazynów danych.
13. Umiejętność wyboru odpowiedniej metody przetwarzania danych, np. przetwarzania strumieniowego, do zadań wymagających natychmiastowej analizy i odpowiedzi.
14. Zrozumienie pojęcia zapytań interaktywnych w Kafka Streams, umożliwiających zapytania o stan danych w czasie rzeczywistym.
