GRIDPOCKET DATA LAKE

La société GridPocket est spécialisée dans les architectures IT à destination du secteur de l'énergie. Créé en 2009, elle oriente rapidement sa solution sur une base de données NoSQL et plus précisément MongoDB.

 

Vous êtes passionnés de nouvelles technologies, n'hésitez pas à nous contacter via LinkedIn ou par email à contact@gridpocket.com

Le défi: GridPocket Data Lake

Theme:

Big Data / Data Lake / Base de données / Data analytics

Lot:

Présentation de GridPocket

La société GridPocket est spécialisée dans les architectures IT à destination du secteur de l'énergie. Créé en 2009, elle oriente rapidement sa solution sur une base de données NoSQL et plus précisément MongoDB.

Vous êtes passionnés de nouvelles technologies, n'hésitez pas à nous contacter via LinkedIn ou par email à contact@gridpocket.com

Description du défi

Ce défi s'adresse aux équipes passionnées par les technologies Big Data et qui souhaitent découvrir le monde du Data Lake.

Grâce au service MongoDB Cloud, vous pourrez rapidement mettre en place un Data Lake basé sur la technologie MongoDB.

Pour rester dans l'actualité, Les données traiterons du Covid-19.

Elements attendus

L'objectif de ce défi est de :

  • Créer un cluster MongoDB pour y charger des données "chaude" (qui pourront servir à des applications temps réel)
  • Créer un espace de stockage AWS Bucket S3 sur Amazon afin d'y connecter le Data Lake Mongo (données "froides") et d'y déposer les fichiers de données brutes
  • Configurer le Data Hub pour utiliser les fichiers de données brutes et la base de données
  • Se familiariser avec l'environnement MongoDB Cloud
  • Réaliser des requêtes MongoDB en utilisant le pipeline d'agrégation afin de réaliser des requêtes "complexes" et exporter les résultats dans la BD Mongo
  • Utiliser la fonctionnalité Charts de MongoDB pour visualiser les résultats de vos données
  • Corréler ces données Covid-19 avec des données de consommation énergétiques du territoire Français (voir documentation)

Prérequis :

 

Documentations à visualiser avant de se lancer :

https://www.mongodb.com/atlas/data-lake

https://docs.mongodb.com/datalake/

https://www.youtube.com/watch?v=ZuCnD-H84eQ

https://opendata.reseaux-energies.fr/explore/dataset/consommation-quotidienne-brute/analyze/?sort=date_heure&dataChart=eyJxdWVyaWVzIjpbeyJjaGFydHMiOlt7InR5cGUiOiJsaW5lIiwiZnVuYyI6IkFWRyIsInlBeGlzIjoiY29uc29tbWF0aW9uX2JydXRlX2dhel9ncnRnYXoiLCJzY2llbnRpZmljRGlzcGxheSI6dHJ1ZSwiY29sb3IiOiIjNjZjMmE1In0seyJ0eXBlIjoibGluZSIsImZ1bmMiOiJBVkciLCJ5QXhpcyI6ImNvbnNvbW1hdGlvbl9icnV0ZV9nYXpfdGVyZWdhIiwic2NpZW50aWZpY0Rpc3BsYXkiOnRydWUsImNvbG9yIjoiIzhkYTBjYiJ9LHsidHlwZSI6ImxpbmUiLCJmdW5jIjoiQVZHIiwieUF4aXMiOiJjb25zb21tYXRpb25fYnJ1dGVfZWxlY3RyaWNpdGVfcnRlIiwic2NpZW50aWZpY0Rpc3BsYXkiOnRydWUsImNvbG9yIjoiI2ZjOGQ2MiJ9XSwieEF4aXMiOiJkYXRlX2hldXJlIiwibWF4cG9pbnRzIjpudWxsLCJ0aW1lc2NhbGUiOiJkYXkiLCJzb3J0IjoiIiwiY29uZmlnIjp7ImRhdGFzZXQiOiJjb25zb21tYXRpb24tcXVvdGlkaWVubmUtYnJ1dGUiLCJvcHRpb25zIjp7InNvcnQiOiJkYXRlX2hldXJlIn19fV0sInRpbWVzY2FsZSI6IiIsInNpbmdsZUF4aXMiOmZhbHNlLCJkaXNwbGF5TGVnZW5kIjp0cnVlLCJhbGlnbk1vbnRoIjp0cnVlfQ%3D%3D

Mode de restitution

Le dépot des rendus est clos.
L'inscription/désinscription aux défis est fermée.