Memiliki minimal 2+ tahun pengalaman relevan dalam mengembangkan platform big data yang skalabel, aman, tahan gangguan (fault-tolerant), tangguh, dan bersifat mission-critical.
Mampu memelihara dan memonitor ekosistem dengan ketersediaan tinggi (high availability).
Memiliki pemahaman yang baik tentang seluruh komponen Big Data serta dasar administrasinya.
Memiliki pengalaman praktik (hands-on) dalam membangun platform data lengkap menggunakan berbagai teknologi open source.
Memiliki pengetahuan dasar yang baik tentang Linux serta pengalaman membangun big data stack di atas AWS/Azure menggunakan Kubernetes.
Memahami dengan baik teknologi big data seperti Spark, Presto, Airflow, HDFS, Yarn, dan sejenisnya.
Memiliki pengetahuan tentang sistem Complex Event Processing (CEP) seperti Spark Streaming, Kafka, Apache Flink, Beam, dan lainnya.
Berpengalaman menggunakan database NoSQL (Key-Value, Document, Graph, dan sejenisnya).
Memiliki kemampuan terbukti dalam berkontribusi pada komunitas open source serta mengikuti perkembangan terbaru di bidang big data.
Mampu menerapkan praktik terbaik seperti CI/CD, containerization, blue-green deployment, aplikasi 12-factor, manajemen secrets, dan lainnya dalam ekosistem data.
Mampu mengembangkan platform yang agile dengan kemampuan auto scaling (naik dan turun) baik secara vertikal maupun horizontal.
Mampu membangun sistem monitoring untuk seluruh komponen dalam ekosistem data.
Menguasai setidaknya salah satu bahasa pemrograman: Java, Scala, atau Python, serta memahami kompleksitas runtime.
Memiliki kemampuan untuk membangun metadata data, lineage, dan sistem discoverability dari awal (scratch).
Tanggung Jawab Pekerjaan
Membangun dan mengelola aset data menggunakan berbagai teknologi big data open source yang skalabel dan tangguh seperti Airflow, Spark, DBT, Kafka, Yarn/Kubernetes, ElasticSearch, Presto/Dremio, serta layer visualisasi dan lainnya.
Merancang dan menghadirkan rangkaian alat/framework manajemen siklus hidup data generasi berikutnya, termasuk proses ingestion dan konsumsi di atas data lake untuk mendukung use-case real-time, berbasis API, serverless, serta batch (mini/micro) sesuai kebutuhan.
Membangun dan menyediakan katalog metadata untuk Data Lake agar memudahkan eksplorasi, profiling, serta kebutuhan lineage data.
Mendukung tim Data Science dalam menguji dan mengimplementasikan berbagai model Machine Learning (ML), termasuk model propensity, risiko, dan fraud untuk memahami, melayani, dan melindungi pelanggan dengan lebih baik.
Memimpin dan/atau berpartisipasi dalam diskusi teknis lintas organisasi melalui kolaborasi, termasuk menjalankan sesi RFC, review arsitektur, tech talk tentang teknologi baru, serta evaluasi (retrospective).
Menerapkan konsep inti rekayasa perangkat lunak dan desain dalam membuat roadmap teknis operasional maupun strategis untuk menyelesaikan permasalahan bisnis yang masih belum jelas atau belum sepenuhnya dipahami.
Memprioritaskan keamanan dengan memastikan seluruh komponen mulai dari platform, framework hingga aplikasi aman dan sesuai dengan kebijakan keamanan informasi (infosec) perusahaan.