Baş data platforması mühəndisi

Baş data platforması mühəndisi Vakansiya haqqında məlumat: PAŞA Sığorta ASC namizədləri Baş data platforması mühəndisi vəzifəsinə müraciət etməklə peşəkar komandanın üzvü olmağa dəvət edir. Bu vəzifə şirkətin Kubernetes üzərində qurulmuş data platformasının (Trino, Spark, S3, Apache Iceberg) dayanıqlığını, təhlükəsizliyini və performansını təmin etməkdən məsuldur. Əsas məqsəd platformanın arxitekturasına və texniki standartlarına rəhbərlik etmək, ELT pipeline-ları və Airflow DAG-ları üçün CI/CD proseslərini qurmaq, girişə nəzarət siyasətlərini idarə etmək və digər mühəndislərə mentorluq edərək data komandaları arasında mühəndislik təcrübələrini təkmilləşdirməkdir. Öhdəliklər Data Platformasının (Trino, Spark, S3, Apache Iceberg) dayanıqlı və təhlükəsiz fəaliyyətini təmin etmək; Resurs qruplarını konfiqurasiya etməklə və SQL sorğularını təhlil edərək platformanın performansını optimallaşdırmaq; ELT pipeline-larının və Airflow DAG-larının tətbiqi üçün CI/CD proseslərini qurmaq, problemlərin aradan qaldırılmasında data komandalarına dəstək olmaq; Platforma üçün rol əsaslı girişə nəzarət (RBAC) və data giriş siyasətlərini idarə etmək; Kubernetes üzərində platforma infrastrukturunu idarə etmək: deployment, miqyaslama, yeniləmə, monitorinq və insidentlərə reaksiya; Platformanın arxitekturasına və texniki standartlarına sahiblənmək, dizayn qərarlarına və icmallara rəhbərlik etmək; Data Platforması mühəndislərinə mentorluq etmək və data komandaları arasında mühəndislik üzrə qabaqcıl təcrübələri tətbiq etmək. Bilik və Bacarıqlar Spark, Airflow və Kafka ilə praktiki təcrübə; Iceberg və S3 ilə Spark-ın işləmə prinsiplərini anlamaq; Güclü SQL və sorğuların optimallaşdırılması bacarıqları; Relyasiyalı verilənlər bazaları (məsələn, PostgreSQL) ilə iş təcrübəsi; Apache Iceberg ilə təcrübə (cədvəllərin idarə edilməsi, Hive Metastore və ya Nessie istifadəsi); Python proqramlaşdırma bacarıqları (xüsusilə ELT pipeline-ları və Airflow DAG-ları üçün); Kubernetes ilə geniş təcrübə (production mühitində iş yüklərinin idarə edilməsi, Helm chart-lar); “Infrastructure as Code” (IaC) alətləri ilə təcrübə (Terraform, Ansible); CDC (Change Data Capture) təcrübəsi (Debezium, Kafka Connect); Konteynerləşdirmə və CI/CD alətləri ilə iş təcrübəsi (Docker, GitLab CI); Monitorinq və loqlama alətləri ilə təcrübə (Prometheus, Grafana, Alertmanager, ELK, GrayLog); Non-relational verilənlər bazaları ilə iş təcrübəsi (Redis, Mongo); Virtualizasiya, "provisioning" alətləri və mikroxidmət arxitekturası ilə bağlı biliklər; Ünsiyyət, dəqiqlik və komandada işləmə bacarığı; Fikirləri aydın ifadə etmək və yaranan vəziyyətlərə cəld reaksiya vermək; Dil bilikləri: Azərbaycan, İngilis, Rus. Təhsil və Təcrübə Data platformalarının qurulması və idarə edilməsi sahəsində 5 ildən artıq praktiki iş təcrübəsi. Biz Sizə Təklif Edirik Dəyər yaradan işlər Qərarların qəbulunda iştirak etmək, dəyişikliklərə təsir göstərmək və şirkətin uğuruna töhfə vermək imkanı. Birlikdə güclənən komanda Peşəkar, dəstəkləyici və əməkdaşlığa açıq komanda mühitində çalışma imkanı. Davamlı inkişaf imkanları Yeni biliklər əldə etmək, təcrübənizi zənginləşdirmək və peşəkar inkişafınızı davam etdirmək üçün geniş imkanlar. Etimada əsaslanan iş mühiti Fikirlərinizə dəyər verilən, təşəbbüslərinizin dəstəkləndiyi və inkişafınıza investisiya qoyulan iş mühiti. Maraqlanan namizədlər Müraciət et düyməsində qeyd olunan linkə daxil olaraq müraciət edə bilərlər. Yalnız ilkin seçim tələblərinə cavab verən namizədlərlə əlaqə saxlanılacaqdır. PASHA Insurance OJSC invites candidates to apply for the position of Senior Data Platform Engineer and become a member of our professional team. This role is responsible for ensuring the stability, security, and performance of the company's data platform, built on Trino, Spark, S3, and Apache Iceberg running on Kubernetes. The key objective is to own the platform architecture and technical standards, build CI/CD processes for ELT pipelines and Airflow DAGs, manage access control policies, and drive engineering best practices across data teams by mentoring other engineers. Responsibilities Keep the Data Platform stable and secure (Trino, Spark, S3, Apache Iceberg); Optimize platform performance by configuring resource groups and tuning SQL queries; Build CI/CD processes to deploy ELT pipelines and Airflow DAGs, and assist data teams with troubleshooting; Manage role-based access control (RBAC) and data access policies for the platform; Operate the platform infrastructure on Kubernetes: deployments, scaling, upgrades, monitoring, and incident response; Own the platform architecture and technical standards; lead design decisions and reviews; Mentor Data Platform engineers and drive engineering best practices across data teams. Knowledge and Skills Practical experience with Spark, Airflow, and Kafka; Understanding of how Spark works with Iceberg and S3; Strong SQL skills and experience with query optimization; Experience with relational databases (e.g., PostgreSQL); Experience with Apache Iceberg (administering tables, using Hive Metastore or Nessie); Python programming skills, especially for ELT pipelines and Airflow DAGs; Strong Kubernetes experience (running production workloads, Helm charts); Strong Infrastructure as Code (IaC) skills (Terraform, Ansible); Strong CDC (Change Data Capture) experience (Debezium, Kafka Connect); Experience with containers and CI/CD for data projects (Docker, GitLab CI); Experience with monitoring and logging tools (Prometheus, Grafana, Alertmanager, ELK, GrayLog); Knowledge of non-relational databases (Redis, Mongo); Understanding of virtualization, provisioning tools, and microservices architecture; Communication, accuracy, and teamwork skills; Ability to clearly articulate ideas and react quickly to changing situations; Language skills: Azerbaijani, English, Russian. Education and Experience 5+ years of hands-on experience in building and operating data platforms. What We Offer Meaningful Work Opportunity to contribute to the Company’s success by participating in decision-making processes and driving positive change. A Team That Grows Together Opportunity to work in a professional, supportive, and collaborative team environment. Continuous Development Opportunities Access to a wide range of learning and development opportunities to enhance your knowledge, skills, and professional experience. A Trust-Based Work Environment A workplace where your ideas are valued, your initiatives are encouraged, and your professional growth is supported. Only candidates who meet the initial selection criteria will be contacted. Interested candidates can apply by clicking the link provided in the"Apply"button.