Companies in this catalog do not charge applicants. Never send money to apply.
A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.
Isso não poderia ser diferente com o nosso principal combustível: as pessoas!
Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.
Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.
Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!
>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.
Cadastre-se agora mesmo em nossas vagas!
Buscamos um Engenheiro de Dados Sênior que, além de construir e operar pipelines, assuma responsabilidade arquitetural sobre a plataforma de dados orientada a eventos: desenho de tópicos e contratos de eventos, padrões de ingestão em streaming, processamento com PySpark e decisões de performance, resiliência e custo no ambiente AWS. É uma posição de execução técnica pesada: a pessoa escreve código, faz tuning de Kafka e Spark, revisa o desenho de terceiros e responde pela confiabilidade dos dados que alimentam painéis executivos, relatórios a clientes e obrigações regulatórias.
O ambiente é regulado, no mercado financeiro e de investimentos, onde rastreabilidade, reprodutibilidade e correção auditável dos números são requisitos de primeira ordem. A interlocução acontece com áreas como Wealth Management, Comercial, Risco, Compliance e Operações, além da atuação como referência técnica em Kafka e streaming para engenheiros pleno e júnior.
Principais responsabilidades Projetar e evoluir a arquitetura orientada a eventos na AWS, com Kafka (Amazon MSK ou Confluent) como backbone de integração entre sistemas transacionais e a plataforma analítica.
Desenvolver producers e consumers Kafka com PySpark (Spark Structured Streaming), com controle explícito de offsets, checkpointing, idempotência, tratamento de late data e semântica de entrega adequada a cada caso.
Definir e defender o desenho de tópicos, chaves, particionamento, retenção, compactação e contratos de eventos, com justificativa de trade-offs entre ordenação, throughput e custo.
Governar esquemas no Schema Registry (Avro, Protobuf ou JSON Schema), definindo regras de compatibilidade e evolução sem quebrar consumidores.
Implementar Change Data Capture (CDC) de bancos transacionais via Kafka Connect ou Debezium e integrar com fontes como APIs de custodiantes, distribuidores e provedores de mercado.
Construir a camada de persistência dos eventos no Data Lake em S3, com formatos de tabela abertos (Iceberg ou Delta), organização de camadas e integração com Glue, EMR e Redshift.
Conduzir tuning de performance e custo em Kafka e Spark, cobrindo lag de consumer groups, rebalanceamento, dimensionamento de brokers, micro-batch, skew e spill.
Instrumentar observabilidade e controles automatizados de qualidade dos fluxos de eventos, cobrindo lag, freshness, volumetria, quebras de contrato e reconciliação entre origem e destino.
Garantir linhagem e rastreabilidade ponta a ponta, da origem do evento ao número no painel, aplicando controles de acesso, criptografia, segregação por sensibilidade e conformidade com LGPD e normas do setor.
Automatizar provisionamento e deploy da plataforma com infraestrutura como código e CI/CD, documentar decisões arquiteturais (ADRs) e atuar em code review, pareamento e definição de padrões com o time.
Requisitos obrigatórios
6+ anos de experiência em engenharia de dados, sendo pelo menos 2 anos com responsabilidade arquitetural sobre plataformas orientadas a eventos (ter desenhado a arquitetura, não apenas implementado o desenho de outra pessoa).
Histórico comprovado de ter colocado em produção e operado uma plataforma de streaming com Kafka, com incidentes, plantão e consequências reais.
Domínio de Apache Kafka: tópicos, partições, chaves, consumer groups, offsets, retenção, compactação, rebalanceamento, configuração de producers e consumers e diagnóstico de lag.
Experiência prática na construção de producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka, incluindo checkpointing, triggers, watermarks e gestão de estado.
Experiência consolidada no ecossistema de dados AWS: Amazon MSK, S3, Glue, EMR, Lambda, IAM e Redshift ou equivalente.
Python aplicado a engenharia de dados, com código modular, testável e versionado (não apenas notebooks), incluindo tipagem e testes automatizados.
SQL avançado, com window functions, CTEs e leitura de plano de execução.
Schema Registry e formatos de serialização (Avro, Protobuf ou JSON Schema), com regras de compatibilidade e evolução de esquemas.
Kafka Connect ou Debezium para Change Data Capture (CDC) e integração de fontes transacionais à plataforma de dados.
Infraestrutura como código (Terraform, CloudFormation ou CDK), Git, cultura de code review e CI/CD aplicado a dados.
Formatos de tabela abertos (Iceberg ou Delta) e arquitetura Lakehouse sobre S3.
Diferenciais
Experiência no mercado financeiro: investimentos, wealth management, custódia, renda fixa e variável, fundos, posição e movimentação.
Vivência com dados regulatórios de CVM, BACEN, BSM e ANBIMA, incluindo prazos e formatos de entrega.
Confluent Cloud ou Confluent Platform, Kafka Streams, ksqlDB ou Apache Flink (incluindo Amazon Managed Service for Apache Flink).
Kinesis Data Streams e Firehose como alternativa ou complemento ao Kafka na AWS.
Orquestração com Apache Airflow (MWAA) ou Step Functions e transformação versionada com dbt.
Ferramentas de qualidade, catálogo e observabilidade (Great Expectations, Soda, DataHub, OpenMetadata, Prometheus, Grafana, CloudWatch).
Certificações AWS (Data Engineer, Solutions Architect) ou Confluent Certified Developer for Apache Kafka.
Competências comportamentais
Rigor com correção numérica e com garantias de entrega: em ambiente regulado, evento perdido ou duplicado é dado errado.
Comunicação escrita clara, capaz de registrar a arquitetura de eventos em documento que sobreviva à saída do autor.
Autonomia para investigar do painel até o evento de origem sem depender de aprovação a cada passo.
Postura de referência técnica, com code review, pareamento e mentoria de profissionais pleno e júnior.
Capacidade de traduzir demandas de negócio em desenho de eventos sustentável, inclusive recusando atalhos que geram dívida técnica.
Honestidade na estimativa de escopo, risco e prazo no planejamento técnico.
INDISPENSÁVEL Conhecimento/Atuação em:
Apache Kafka em produção (Amazon MSK ou Confluent), com desenho de tópicos e operação de consumer groups
Producers e consumers com PySpark (Spark Structured Streaming) integrados ao Kafka
Ecossistema de dados AWS (MSK, S3, Glue, EMR, IAM)
Schema Registry e Change Data Capture (Kafka Connect ou Debezium)
Infraestrutura como código e CI/CD aplicado a dados