- Kateqoriya: Informasiya texnologiyaları
- Şəhər: Bakı
- İş təcrübəsi: 5 ildən çox
- Maaş: Müsahibə əsasında
- İş rejimi: Tam-ştat
- Elan ID: 11053
- E-poçt: [email protected]
- Elanın yerləşdirmə tarixi: 02.03.2025
- Elanın bitmə tarixi: 01.04.2025
Namizədə tələblər
- Məlumat İdarəetmə Platformalarının dizaynı, qurulması və idarə edilməsi sahəsində ən azı 5 illik peşəkar təcrübə;
- Docker kimi konteynerləşdirmə alətləri və miqyaslana bilən məlumat sistemləri qurmaq üçün Kubernetes kimi orkestrasiya platformalarında güclü təcrübə;
- Mürəkkəb məlumat problemlərini həll etmək və performansı və sistemin davamlılığını yaxşılaşdırmaq üçün innovativ həllər tətbiq etmək bacarığı;
- PostgreSQL, MongoDB və Redis kimi məlumat bazası idarəetmə sistemləri haqqında geniş bilik və istehsal mühitində təcrübə;
- Yüksək performanslı məlumat analitikası üçün ClickHouse kimi analitik məlumat bazalarında mütəxəssis;
- AWS S3, Google Cloud Storage kimi məlumat gölləri və Snowflake, BigQuery, Redshift kimi məlumat anbarları ilə təcrübə;
- Məlumat işlənməsi və inteqrasiyası həlləri hazırlamaq üçün Go və Python proqramlaşdırma dillərində yüksək səviyyədə bacarıq;
- GitHub Actions və ya GitLab Runner kimi alətlərdən istifadə edərək məlumat xətləri və infrastrukturunun yerləşdirilməsini və test edilməsini avtomatlaşdıran CI/CD xətləri ilə təcrübə;
- Real vaxtda məlumat işlənməsi və axın texnologiyaları (məsələn, Kafka, Kinesis) üzrə güclü təcrübə;
- İstehsalat mühitlərində bulud məlumat platformalarında (AWS, Google Cloud, Azure) sınaqdan keçirilmiş təcrübə;
- Prometheus, Grafana və ya Datadog kimi izləmə və müşahidə alətlərində bilik.
Qualifications:
- Minimum of 5 years of professional experience in designing, building, and managing largescale Data Management Platforms
- Strong experience with containerization tools (Docker) and orchestration platforms (Kubernetes) for building scalable data systems
- Demonstrated ability to troubleshoot complex data issues and apply innovative solutions to improve performance and system resilience
- Advanced knowledge of database management systems with production experience in PostgreSQL, MongoDB and Redis
- Expertise in analytical databases such as ClickHouse for high-performance data analytics
- Experience with data lakes (e.g., AWS S3, Google Cloud Storage) and data warehouses (e.g., Snowflake, BigQuery, Redshift)
- Advanced proficiency in Go and Python for developing data processing and integration solutions
- Experience with CI/CD pipelines using tools like GitHub Actions or GitLab Runner to automate deployment and testing of data pipelines and infrastructure
- Strong experience with real-time data processing and streaming technologies (e.g., Kafka, Kinesis)
- Proven experience with cloud data platforms (AWS, Google Cloud, Azure) in production environments
- Proficiency with monitoring and observability tools like Prometheus, Grafana, or Datadog
İş haqqında məlumat
Biz Caspel MMC olaraq çalışdığımız tərəfdaş şirkət üçün məlumatların effektiv saxlanması, işlənməsi və istifadəsinə yönəlmiş əsas layihələri idarə edəcək yüksək bacarıqlı Senior Data Engineer (Baş Məlumat Mühəndisi) axtarırıq. Baş məlumat mühəndisi olaraq, siz müxtəlif maraqlı tərəflərlə yaxından əməkdaşlıq edəcək, dayanıqlı bir Data Management Platforması (Məlumat İdarəetmə Platforması) dizayn edəcək, həyata keçirəcək və optimallaşdıracaqsınız. Məlumat sistemlərinin təhlükəsizliyini, performansını və miqyaslana bilməsini təmin edərkən, məlumatların işlənməsi və inteqrasiyası üçün yeni xüsusiyyətlər və təkmilləşdirmələr aparacaqsınız.
Vəzifələr:
- Böyük məlumat həcmlərini idarə edən və miqyaslana bilən məlumat platformalarının dizaynına və inkişafına rəhbərlik etmək, yeni məlumat təşəbbüsləri üçün arxitektura qərarları vermək;
- Real vaxtda və paket işlənməsi üçün etibarlı ETL/ELT xətlərini dizayn edib həyata keçirmək və sistemin 99.9% işlək vəziyyətdə olmasını təmin etmək
- Yüksək performanslı məlumat bazalarını (PostgreSQL, ClickHouse) və məlumat göllərini idarə edib optimallaşdırmaq, o cümlədən məlumatın partiyalanması, indeksləmə və keşləmə strategiyalarını tətbiq etmək;
- Məlumat mühəndisliyi üçün ən yaxşı təcrübələri, kodlama standartlarını və inkişaf proseslərini müəyyənləşdirib saxlamaq, eyni zamanda gənc mühəndislərə texniki mentorluq etmək;
- Bulud infrastrukturu xərclərini izləyib optimallaşdırmaq, sistem performansını qoruyub saxlamaq və istehsalat dəstəyi üçün növbə çarxında iştirak etmək;
- Maraqlı tərəflərlə əməkdaşlıq edərək onların tələblərini anlamaq və iş məqsədlərinə uyğun həllər tətbiq etmək;
- Məlumat modelləri, xətləri və arxitektura qərarları üçün geniş texniki sənədlərin yaradılması və saxlanması.
Maraqlanan namizədlərdən xahiş olunur ki, CV-lərini e-mailin mövzu hissəsində “Baş məlumat mühəndisi” sözünü qeyd edərək elektron poçt ünvanına göndərsinlər.
At Caspel LLC, we are seeking a highly skilled Senior Data Engineer to lead and manage key projects focused on the efficient storage, processing, and utilization of data for our partner company. As a Senior Data Engineer, you will collaborate closely with multiple stakeholders to design, implement, and optimize a robust Data Management Platform. You will ensure the security, performance, and scalability of data systems while driving improvements and new features for enhanced data handling and integration.
Responsibilities:
- Lead the design and development of scalable data platforms, handling large data volumes, and drive architectural decisions for new data initiatives
- Design and implement robust ETL/ELT pipelines for real-time and batch processing, ensuring 99.9% system uptime
- Manage and optimize high-performance databases (PostgreSQL, ClickHouse) and data lakes, including implementing data partitioning, indexing, and caching strategies
- Establish and maintain data engineering best practices, coding standards, and development processes while providing technical mentorship to junior engineers
- Monitor and optimize cloud infrastructure costs while maintaining system performance, including participation in on-call rotation for production support
- Partner with stakeholders to understand their requirements and implement appropriate solutions that align with business goals
- Create and maintain comprehensive technical documentation for data models, pipelines, and architectural decisions
Interested candidates are kindly requested to send their resumes to the e-mail address with the subject line Senior Data Engineer.
