Big Data Administrator / DevOps

Job description

Kogo szukamy


Poszukujemy DevOps/Administratora (Big Data) do zespołu eksperckiego w GetInData. Działamy na rynku od 2014 roku i liczymy sobie już ponad 50 osób. Obecnie mamy na pokładzie 10 specjalistów o profilu DevOps/Administrator (Big Data), głównie na poziomie senior, i najprawdopodobniej nie ma w Polsce miejsca o wyższym stężeniu takich kompetencji. Nasi specjaliści budują i rozwijają produkcyjne platformy Big Data dla wielu klientów a także wewnętrzne narzędzia usprawniające naszą pracę (np. playbooki Ansible, środowiska testowe, pakiety i biblioteki).

Główny projekt do którego rekrutujemy (ok. 90% czasu pracy) jest opisany poniżej. Pozostały czas poświęcony byłby na zadania przy innych projektach i wewnętrznych inicjatywach, a także nabywanie i dzielenie się wiedzą z innymi.


Projekt


Zadaniem jest budowa i rozwój nowoczesnej platformy Big Data (HDP) do przetwarzania i analizy danych telekomunikacyjnych w oparciu o najlepsze wzorce projektowe.

  • Będąc członkiem zespołu ekspertów będziesz miał/a możliwość administrować oraz rozwijać wzorcowo zaprojektowaną i zaimplementowaną platformę Big Data
  • Będziesz mógł sprawdzić się w zarządzaniu stosem technologicznym opartym o takie narzędzia jak Spark, Airflow, Presto czy Jupyter
  • Do Twoich zadań będzie należał m.in. rozwój monitoringu przy pomocy takich technologii jak Prometheus, Grafana czy Influxdb
  • Będziesz miał okazję wziąć udział w rozwoju dedykowanego środowiska analitycznego (tzw. AI platform) dla zespołu data scientistów
    • Praca na na styku z K8s (OPSH)


Technologie:

 

Projekt wykorzystuje wiele technologii, które będziesz miał okazję zgłębić m.in.

Hadoop, Airflow, Spark, Hive, Presto, Ranger, Zeppelin, Jupyter, SQL, FreeIPA, Kerberos, Python, Git, Jenkins, Linux, Prometheus, InfluxDB, Grafana, Ansible


Zalety


  • Nowoczesny stack technologiczny m.in. Kafka, Presto, Airflow, Jupyter, Prometheus
  • Duży potencjał rozwoju i zastosowania platformy m.in. pierwsze wdrożenia ML/AI na produkcji, konteneryzacja (OPSH), nowe źródła danych zwiększające skalę klastra
  • Wzorcowe praktyki m.in. security (Ranger, FreeIPA, Krb), automatyzacja (Ansible), high-availability
  • Mocny zespół ekspercki po naszej stronie


Warunki


  • Widełki: 65-125 zł + VAT / h na B2B lub odpowiednik na UoP w zależności od kwalifikacji i doświadczenia. Szukamy osoby o profilu mid-level lub senior
  • Praca głównie w biurze klienta w Warszawie, z możliwością częściowej pracy zdalnej lub pracy z naszego biura przy Puławskiej 39 (Stary Mokotów)
  • Start od lutego/marca 2020

Requirements


  • doświadczenie w Administrowaniu systemami Linux
  • przynajmniej podstawowa znajomość Ansible i automatyzacji pracy administracyjnej
  • znajomość Hadoop w stopniu przynajmniej podstawowym lub średnio-zaawansowanym (mile widziana, choć niekonieczna jest znajomość innych technologii ze stosu Big Data)
  • umiejętności rozwiązywania problemów, szukania przyczyn błędów, testowania potencjalnych rozwiązań
  • rzetelność, samodzielność i proaktywność