Senior Data Engineer

End-to-End Data Pipeline üzrə MəsuliyyətMürəkkəb, production səviyyəli data pipeline-ların end-to-end dizayn edilməsi, uyğun batch, incremental, CDC, near-real-time və ya event-driven emal pattern-lərinin seçilməsi, full və incremental load strategiyalarının müəyyən edilməsi, etibarlı upsert/MERGE pattern-lərinin tətbiqi, idempotent və restartable processing-in təmin edilməsi, late-arriving data, dependency-lər, reprocessing, backfill, reconciliation, error handling və recovery mexanizmlərinin müəyyən edilməsi və idarə olunması.Texniki Arxitektura və Dizayn üzrə MəsuliyyətEnterprise data arxitekturası üzrə qərarların qəbul edilməsində iştirak etmək, səmərəsiz dizaynları qiymətləndirmək və daha scalable alternativlər təklif etmək, high-level və detailed technical design-lar hazırlamaq, source-to-target data flow-ları müəyyən etmək, uyğun ingestion pattern-lərini seçmək, processing architecture-ı müəyyən etmək, uyğun storage və table design-ları seçmək, partitioning strategiyalarını müəyyən etmək, orchestration pattern-lərini müəyyən etmək, infrastruktur dependency-lərini müəyyənləşdirmək, performans və scalability faktorlarını qiymətləndirmək, texniki riskləri müəyyən etmək, alternativ həlləri və onların trade-off-larını qiymətləndirmək, arxitektura qərarlarını texniki fakt və sübutlar əsasında izah və müdafiə etmək.Performans Optimizasiyası və TroubleshootingBütün data pipeline boyunca performans problemlərini diaqnostika etmək, Spark execution plan-ları, log-ları, metric-ləri və Spark UI vasitəsilə analiz aparmaq, SQL və distributed processing bottleneck-lərini müəyyən etmək, JOIN-ləri, aggregation-ları, partition-ları, shuffle əməliyyatlarını, executor və memory konfiqurasiyalarını optimallaşdırmaq, file sizing, compaction, metadata və incremental processing-i optimallaşdırmaq, səmərəsiz legacy SQL workload-larını distributed processing üçün yenidən dizayn etmək, standart tuning yanaşmaları ilə həll edilə bilməyən mürəkkəb performans problemlərini həll etmək.Production Etibarlılığı və ƏməliyyatlarProduction sistemlərinin etibarlılığına görə məsuliyyət daşımaq, kritik production incident-lərini araşdırmaq və həll etmək, ətraflı Root Cause Analysis (RCA) aparmaq, Spark, Airflow, Kafka, database və platform log-larını analiz etmək, upstream və downstream dependency-ləri müəyyən etmək, uğursuz olmuş pipeline-ları təhlükəsiz şəkildə bərpa etmək, reprocessing strategiyalarını hazırlamaq, incident-lərin təkrarlanmasının qarşısını almaq, monitoring və alerting mexanizmlərini təkmilləşdirmək, əməliyyat risklərini proaktiv şəkildə müəyyən etmək.SLA/SLO-ların müəyyən edilməsində iştirak etmək, data freshness monitoring, operational dashboard-lar, automated anomaly detection, incident response prosedurları, runbook-lar, incident sonrası RCA və preventiv tədbirlərin hazırlanmasına töhfə vermək.Data Integration və CDC üzrə MəsuliyyətÇox böyük həcmli mənbə sistemləri üçün effektiv data extraction strategiyalarını dizayn etmək, mənbə database-lərə təsiri minimuma endirmək, parallel və incremental extraction yanaşmalarını müəyyən etmək, watermark strategiyalarını hazırlamaq, source-to-target reconciliation təmin etmək, etibarlı CDC-to-Lakehouse processing pattern-lərini dizayn etmək, initial snapshot-ları, incremental dəyişiklikləri, ordering, duplicate-ləri, schema evolution, interruption recovery və uyğun delivery semantics-i idarə etmək.Orchestration və Streaming üzrə MəsuliyyətlərLazımsız dependency-lərin və cascading failure-ların qarşısını alan Airflow orchestration pattern-lərini dizayn etmək, maintainable, dynamic və parameterized workflow-lar hazırlamaq, scheduling, retry, backfill, failure handling, alerting və monitoring strategiyalarını müəyyən etmək, etibarlı Kafka əsaslı ingestion pipeline-ları dizayn etmək, uyğun ordering və delivery semantics tətbiq etmək,ernativlər təklif etmək.Yalnız fərdi tapşırıqların icrasına fokuslanmaq əvəzinə, bütün komandanın texniki bilik və bacarıqlarının inkişafına töhfə vermək.Texniki LiderlikMiddle və Junior Data Engineer-lərə mentorluq etmək, mürəkkəb texniki araşdırmalara dəstək vermək, solution design-ları nəzərdən keçirmək, keyfiyyətli və məzmunlu code review-lar həyata keçirmək, engineering best practice-ləri müəyyən etmək və tətbiqini təşviq etmək. Əsas vəzifələr End-to-End Data Pipeline üzrə Məsuliyyət Texniki Arxitektura və Dizayn üzrə Məsuliyyət Performans Optimizasiyası və Troubleshooting Production Etibarlılığı və Əməliyyatlar Data Integration və CDC üzrə Məsuliyyət Orchestration və Streaming üzrə Məsuliyyətlər Texniki Liderlik Tələblər Qabaqcıl Data Engineering və Proqramlaşdırma Data Arxitekturası və Modelləşdirmə Lakehouse və Storage Engineering ETL / ELT və Pipeline Engineering CDC və Data Integration Orchestration və Workflow Engineering Streaming və Event-Driven Arxitektura Data Mənbələri və Enterprise Integration Performance Engineering İngilis dilində peşəkar iş səviyyəsində bilik.