Menu
❄️ RocketSeat❄️ Arte | Tipográfia | Estratégia | vendas | Design❄️ Nicho Adulto | AI | Motion | Mentorias | Facebook❄️ Coleção: Edição de Vídeos - Mateus Ferreira❄️ Coleção: Thiago Finch❄️ DROPSHIPPING | E-COMMERCE | Mercado Pago❄️ Motion | Blender | 3D | Social Media | Carrossel❄️ EBAC | Photoshop | Publicidade | Design | Adobe❄️ Flask | Bootcamp | C# | Python | NodeJS | React❄️ CURSOS | ALURA❄️ IDIOMAS | INGLÊS | Alemã | Tradução❄️ TRADER | LÓGICA DO PREÇO❄️ DROPSHIPPING E E-COMMERCE❄️ AI❄️ ZDM❄️ ALURA @TODOS❄️ PREMUIN
villa / DEV E PROGRAMAÇAO / Stack Academy / Formação Engenheiro Dados / 1.Engenharia Dados do Zero / 08 - Ingestão de Dados
Aulas
- 156-Conceitos e fundamentos sobre Ingestão de Dados cloud_download
- 157-Ingestão de Dados em modo Batch e Real-time cloud_download
- 158-Benefícios da Ingestão de Dados cloud_download
- 159-Considerações e aspectos importantes sobre Ingestão de Dados cloud_download
- 160-Entendo o primeiro projeto usando APIs Python e AWS RDS cloud_download
- 161-Conhecendo os dados de disponíveis para coleta via APi cloud_download
- 162-Obtendo a Key e entendendo a documentação da APi da CoinMarketCap cloud_download
- 163-Entendendo o código da aplicação Python para coleta de dados cloud_download
- 164-Entendendo o código da aplicação Python para coleta de dados cloud_download
- 165-Visualisando a resposta do método get() para extração de dados cloud_download
- 166-Entendendo a lógica para obter os dados da APi cloud_download
- 167-Validando dados de retorno da APi cloud_download
- 168-Persistindo os dados no banco de dados RDS na AWS cloud_download
- 169-Conhecendo a biblioteca SQLAlchemy cloud_download
- 170-Criando a instância de banco de dados RDS na AWS cloud_download
- 171-Ajustando permissões no grupo de seguração para acesso a instância de banco de dados RDS na AWS cloud_download
- 172-Configurando recursos e parâmetros da aplicação Python cloud_download
- 173-Executando a aplicação Python para coleta de dados na APi cloud_download
- 174-Conhecendo a ferramenta Open Source AirByte cloud_download
- 175-Conhecendo recursos da ferramenta AirByte cloud_download
- 176-Criando sources no Airbyte apontando para a instância RDS na AWS cloud_download
- 177-Criando destinations no Airbyte apontando para o Bucket s3 na AWS cloud_download
- 178-Rodando uma extração no AirByte e validando os resultados na AWS cloud_download
- 179-Entendendo requisitos trabalhar Change Data Capture AirByte com PostgreSQL (RDS) AWS cloud_download
- 180-Criando um grupo de parâmetros na Instância RDS cloud_download
- 181-Modificando o grupo de parâmetros na Instância RDS na AWS cloud_download
- 182-Criando publication e logical_replication_slot no PostgreSQL cloud_download
- 183-Criando destinations no AirByte para execução em modo CDC cloud_download
- 184-Criando configurations no AirByte para execução em modo CDC cloud_download
- 185-Alterando dados no banco de dados PostgreSQL e rodando sincronia em CDC cloud_download
- 186-Validando a escrita dos novos dados no bucket S3 na AWS cloud_download
- 187-Conhecendo o recurso de Parse para fazer normalização de dados com Airbyte cloud_download
- 188-Entendendo a prática para ELT com Airbyte cloud_download
- 189-Usando Airbyte para extrair e carregar dados JSON para Datalake no AWS S3 cloud_download
- 190-Visualizando os dados JSON gerados no Data Lake cloud_download
- 191-Executando ELT com o Airbyte direto para o banco de dados PostgreSQL com normalização cloud_download
- 192-Analisando as tabelas no PostreSQL cloud_download
- 193-Criando um repositório git e um projeto dbt cloud_download
- 194-Criando modelos dbt para usar com Airbyte cloud_download
- 195-Estruturando repositório github com o projeto dbt cloud_download
- 196-Executanto ETL com dbt usando Airbyte cloud_download
- 197-Validando tables criadas pelo Airbyte com Dbt no banco de dados cloud_download
- 198-Conhecendo o AWS DMS Database Migration Service cloud_download
- 199-Conhecendo o AWS DMS Database Migration Service Schema Convertion Tool cloud_download
- 200-AWS DMS Fleet Advisor e Replication cloud_download
- 201-Entendendo como funciona a AWS DMS Replication Instance cloud_download
- 202-Comparando Airbyte e o AWS DMS-Parte 1 cloud_download
- 203-Comparando Airbyte e o AWS DMS-Parte 2 cloud_download
- 204-Comparando Airbyte e o AWS DMS-Parte 3 cloud_download
- 205-Criando a Replication Instance para o DMS cloud_download
- 206-Criando endpoint do tipo source com o AWS DMS cloud_download
- 207-Criando endpoint do tipo target com o AWS DMS cloud_download
- 208-Criando role para permissão de acesso ao s3 cloud_download
- 209-Criando um VPC endpoint cloud_download
- 210-Criando migration task no AWS DMS cloud_download
- 211-Acompanhando os dados no Data Lake cloud_download
- 212-Alterando as configurações do endpoint target no AWS DMS cloud_download
- 213-Checando requisitos para habilitar CDC no PostgreSQL cloud_download
- 214-Criando uma tarefa para Full Load e CDC do AWS DMS cloud_download
- 215-Fazendo update e delete nas tabelas para testar o CDC cloud_download
- 216-Usando endpoint atribute TimestampColumnName para gerar timestamp para operação cloud_download
- 217-Entendendo a necessidade de usar TimestampColumName para gerar timestamp de operações cloud_download
- 218-Habilitando timestampcolumnName no endpoint algo e testando os dados gerados cloud_download