Big Data Engineer with AWS (Mid/Senior)

Job description

Kogo szukamy

Poszukujemy doświadczonego inżyniera danych z mocnymi kompetencjami AWS jako uzupełnienie do naszego eksperckiego zespołu pracującego nad nowoczesną platformą Big Data dla klienta z USA.
Członkowie zespołu mają bardzo duże doświadczenie z technologiami Big Data, osoba której szukamy będzie miała okazję pracować z osobami z ekstraligi w tym obszarze uzupełniając jednocześnie kompetencje zespołu swoją wiedzę dotyczącą pracy z AWS.
 

Projekt

Zadaniem projektu jest przebudowanie i rozwój istniejącej u klienta platformy do zbierania i analizowania danych. Nowo tworzona platforma jest budowana w chmurze AWS z wykorzystaniem kombinacji natywnych usług dostępnych w ramach AWS oraz technologii Big Data open-source. Celem jest również przejście od obecnie wykorzystywanego przetwarzania batchowego w stronę przetwarzania strumieniowego, by skrócić czas oczekiwania na raporty i wnioski płynące z danych, co ma olbrzymi wpływ na sukces biznesowy klienta.

Zalety
  • Nowoczesny stack technologiczny m.in. AWS, Flink, Spark, Kafka, Kubernetes
  • Praca zgodnie z najlepszymi praktykami dotyczącymi data engineering i devops
  • Bardzo doświadczone osoby w zespole, od których można się dużo nauczyć, szczególnie w obszarze Big Data

Warunki

  • Zarobki: 120-160 zł + VAT / h na B2B w zależności od kwalifikacji i doświadczenia. Szukamy osoby o profilu mid-level lub senior.
  • Preferowana praca z naszego biura przy Puławskiej 39 (Stary Mokotów). Jest też możliwość pracy zdalnej.

Requirements

  • zaawansowana umiejętność programowania w Java lub Scala
  • AWS data engineering: scheduling, przetwarzanie dużych zbiorów danych (EMR, Batch, Glue), data storages (S3, RDS), katalogowanie danych (Glue Data Catalog)
  • mikroserwisy w AWS: serverless functions (lambda), kolejki wiadomości (SQS, SNS), API gateways, No-/SQL databases (DynamoDb, RDS, Elasticache), kontenery (EKS, ECS, Fargate)
  • DevOps w AWS: automatyzacja i CICD (Terraform, CloudFormation)
  • zarządzanie politykami dostępu z IAM
  • dobra znajomość SDK (boto3 for python, aws-java-sdk for JVM)
  • mile widziane doświadczenie z technologiami Big Data open-source takimi jak Flink, Spark czy Kafka
  • bardzo dobra znajomość języka angielskiego