Skip to content
View BigLeno's full-sized avatar

Organizations

@Natalnet @StudioSaturn

Block or report BigLeno

Block user

Prevent this user from interacting with your repositories and sending you notifications. Learn more about blocking users.

You must be logged in to block users.

Content in all repositories owned by your account will be closed.
Maximum 250 characters. Please don’t include any personal information such as legal names or email addresses. Markdown is supported. This note will only be visible to you.
Report abuse

Contact GitHub support about this user’s behavior. Learn more about reporting abuse.

Report abuse
BigLeno/README.md
Rutileno Gabriel — Python Developer | Django & Data

LinkedIn Python Developer | Django & Data Natal, RN


Sou desenvolvedor Python na Confiança FIDC, onde trabalho com aplicações e APIs em Django, pipelines de ETL, CDC e integração entre sistemas, quase sempre em Python, SQL e Airflow.

Me formei em Ciências & Tecnologia pela UFRN. Antes de ir para dados, passei pelos laboratórios da universidade (URA, inPACTA, GPH) trabalhando com hardware, IoT e prototipagem, e ainda carrego dessa época o gosto por Linux e por colocar as coisas para rodar em produção.

O que eu faço

  • Pipelines de ETL em camadas e CDC em tempo real entre SQL Server e PostgreSQL
  • DAGs de produção com Apache Airflow e Docker
  • Integração entre sistemas legados e novos em Python
  • APIs REST e aplicações web em Django, do desenvolvimento ao deploy
  • SQL analítico, dashboards e alguns modelos preditivos

Projetos em destaque

Pipeline que busca Selic, CDI, IPCA e dólar na API SGS do Banco Central, organiza os dados em camadas no Postgres (raw → staging → marts) e expõe os indicadores numa API REST com Django.

Airflow PostgreSQL Django REST Docker GitHub Actions

  • Carga histórica de 26 anos em cerca de 1 minuto, depois incremental, com backfill
  • Rodar de novo não duplica dados; só revisões reais do BCB atualizam linhas
  • Checagens de qualidade antes dos marts, com os valores conferidos contra o IPCA oficial de 2024
  • 118 testes, parte deles em Postgres real, rodando no CI

Change Data Capture do SQL Server para o PostgreSQL: cada INSERT, UPDATE e DELETE na origem chega ao destino via Kafka e Debezium. É a versão de estudo de um fluxo que rodo em produção no trabalho.

Apache Kafka Debezium SQL Server PostgreSQL

  • Kafka 4.3 em modo KRaft (sem Zookeeper), Debezium com Source e JDBC Sink Connector
  • Upsert no destino e propagação de deletes
  • Tabelas selecionadas por regex, só as que têm PK
  • Runbook para diagnóstico e troubleshooting

Análise dos dados de um cursinho pré-vestibular, partindo de planilhas brutas até uma base analítica, um dashboard e um modelo preditivo.

DuckDB Pandera Streamlit scikit-learn

  • ETL em camadas com o tratamento documentado e base final em Parquet
  • Consultas em DuckDB e validação de schema com Pandera
  • Dashboard em Streamlit + Plotly e score de propensão com scikit-learn
  • Sobe inteiro com Docker; as limitações da amostra estão documentadas

Stack

Engenharia de dados
Python SQL Apache Airflow PostgreSQL Apache Kafka Docker

Backend e infraestrutura
Django Django REST Framework Linux Bash Nginx

Análise de dados
Pandas DuckDB scikit-learn Streamlit Plotly

Outras linguagens e hardware

C++ C# JavaScript Arduino Raspberry Pi 3D Printing Fusion 360

GitHub

Estatísticas do GitHub Linguagens mais usadas

Idiomas

🇧🇷 Português (nativo) · 🇺🇸 Inglês (intermediário) · 🇪🇸 Espanhol (básico)

Contato

Me chama no LinkedIn.

Pinned Loading

  1. bcb-indicadores-pipeline bcb-indicadores-pipeline Public

    Pipeline de dados do Banco Central (API SGS) com Airflow 3, Postgres em camadas e API REST em Django

    Python

  2. cdc-sqlserver-postgres-kafka cdc-sqlserver-postgres-kafka Public

    Real-time CDC pipeline that streams SQL Server changes to PostgreSQL through Apache Kafka and Debezium, with monitoring via Kafka UI behind an Nginx reverse proxy.

    Shell

  3. data-analytics-portfolio data-analytics-portfolio Public

    Pipeline de análise de dados educacionais com Python, Docker e Streamlit. Projeto pessoal de exploração de ETL e visualização.

    Jupyter Notebook