Cahier des charges : Outils d’extraction de données – ETL

0
15613

Le cahier des charges "Outils Extract-Transform-Load (ETL)" a été rédigé par des experts indépendants. Il constitue une excellente base pour la prise en main d’un projet ETL. Grâce aux 291 critères technologiques présentés, vous pourrez facilement bâtir votre cahier des charges et comparer les outils ETL disponibles sur le marché.

TÉLÉCHARGER CE CAHIER DES CHARGES

Sommaire du cahier des charges "Outils d'extraction de données - ETL"

1 – Le projet et l’existant : 85 critères
1.1. Nature du projet
1.2. Les choix technologiques de la structure
1.3. Les contraintes
1.4. L’architecture existante/future
1.4.1. Les serveurs
1.4.2. Les réseaux
1.4.3. Les bases relationnelles
1.4.4. Les bases multidimensionnelles
1.4.5. Les bases XML
1.4.6. Les bases non relationnelles
1.4.7. Les autres sources et destinations
1.4.8. Les progiciels standards
1.4.9. Les messages
1.4.10. Les tiers externes
1.4.11. Les volumes
1.4.12. L’équipe de développement

2 – Description de la solution ETL : 8 critères

3 – Architecture de la solution ETL : 31 critères
3.1. Description de l’architecture
3.2. Parallélisation des traitements
3.3. Nature du référentiel
3.4. Alimentation du référentiel
3.5. Gestion du référentiel
3.6. Accès au référentiel

4 – Accès aux données : 43 critères
4.1. Accès aux données relationnelles
4.1.1. Les modes d’accès
4.1.2. Données lues/écrites
4.2. Accès aux données non relationnelles
4.3. Accès aux données d’applicatifs standard/ERP

5 – Déclenchement des processus : 15 critères
5.1. Déclenchement par type de message
5.2. Déclenchement par type de Polling (scrutation)
5.3. Déclenchement par trigger bases de données
5.4. Le produit inclut-il un scheduler ?
5.5. Autres modes de déclenchement

6 – Traitement des données : 31 critères
6.1. Transfert de données
6.2. Transformation de données- agrégats- calculs

7 – Outil de développement des chaînes de traitement : 15 critères
8 – Développement avancé : 13 critères
9 – Déploiement et mise en production : 6 critères
10 – Administration : 24 critères
11 – Ordonnancement : 8 critères
12 – Sécurité : 11 critères
13 – Divers : 14 critères

 

 

TÉLÉCHARGER CE CAHIER DES CHARGES

Qu'est-ce qu'un ETL (extract-transform-load) ?

La notion d’ETL (Extract Transform Loading), recouvre à la fois des outils et des processus d’alimentation. Il s’agit d’un élément clé dans l’intégration d’applications, en particulier dans le monde de la Business Intelligence et du datawarehousing. Outils et processus ETL sont des briques d’une infrastructure de SI, dont la valeur ajoutée et le retour sur investissement s’expriment dans le temps en accompagnant l’évolution du système d’information global ou du système d’information décisionnel.

Les processus d’ETL (Extraction, Transformation et Chargement) gèrent toutes les étapes de collecte et de transfère des données dans les systèmes d’information hétérogènes :

  • Extraction de données des applications et des bases de données de gestion et de production (ERP, CRM, SGBDR, fichiers, etc.).
  • Transformation de ces données pour les consolider et les mettre en concordance.
  • Chargement : distribution des données auprès des applications cibles ou des systèmes décisionnels (Data Warehouse, Data Marts, applications OLAP ou “cubes”…).

Le processus ETL est donc une opération de migration de données qui consiste aussi à augmenter la valeur ajoutée de l’information et à la rendre aisément consommable pour les systèmes de Business Intelligence.

Les processus ETL sont les composantes clés dans l’intégration d’applications, surtout la Business Intelligence, le support à la décision et le datawarehousing.

TÉLÉCHARGER CE CAHIER DES CHARGES

Introduction du cahier des charges "outils extract-transform-load (ETL)"

L’Intégration ou alimentation de données

Les outils ETL gèrent toutes les étapes de la collecte des données au sein des systèmes d’information hétérogènes : SGBD, ERP, applications spécifiques, fichiers plats, bases hiérarchiques… depuis le nettoyage des données collectées, la consolidation et la mise en concordance des données éparses jusqu’à leur distribution auprès des applications cibles ou des systèmes décisionnels (analyse, tableau de bord…).

Le processus ETL est une opération de migration de données qui consiste aussi à la rendre aisément consommable. Ce processus représente une part majeure des traitements et nécessite une attention régulière tout au long du cycle de vie du système, dans la mesure où il est garant de la qualité des données.

Un processus ETL se décompose en trois phases : l’extraction, la préparation/transformation et le chargement.

L’extraction des données

Il s’agit en premier lieu d’aller chercher les données là où elles se trouvent. L’outil ETL a la capacité de se connecter aux différentes applications, bases de données ou fichiers.
Pour cela, plusieurs technologies sont utilisables :

  • Les passerelles fournies par les éditeurs de logiciels de gestion de bases de données.
  • Les utilitaires de réplication, utilisables si les systèmes de production et décisionnels, sources et cibles, sont homogènes.
  • Les outils spécifiques d’extraction. L’outil doit être à même de lire sélectivement les données sources, et donc de filtrer les données en lecture afin de n’extraire que l’information pertinente.

Le chargement et le transfert des données

Le chargement prend en compte la gestion du format final des données pour la mise en oeuvre du transfert de données, on distingue deux approches possibles :

  • Le transfert de fichiers : l’ETL transporte les données du système source vers le système cible via un moteur.
  • Le transfert de base à base. Dans ce cas, les outils travaillent en mode connecté, d’une source de données à une cible. Les données sont extraites ensemble à la source, puis transférées à la cible en y appliquant éventuellement des transformations à la volée. Un seul processus, plus rapide, a ainsi l’avantage de pouvoir effectuer, sans rupture, les transferts et toutes les autres opérations d’alimentation.

TÉLÉCHARGER GRATUITEMENT CE GUIDE

Veuillez compléter le formulaire ci-dessous pour télécharger gratuitement la version PDF du document "Cahier des charges : Outils d’extraction de données – ETL".

Effectif

Fonction

Secteur d'activité

S'inscrire à la Newsletter Guides Comparatifs

Les données que vous nous communiquez nous permettront de vous proposer des newsletters et des services en lien avec votre activité. Elles nous permettront également de vous proposer des interviews, des vidéos, des livres blancs, des événements, des cahiers des charges, des produits ou services au contenu au plus près de vos attentes. L'accès à nos contenus est soit gratuit soit payant, selon l'offre que vous choisissez.

Accès gratuit

Si vous souhaitez accéder gratuitement à nos contenus, vous nous permettez de partager vos données avec nos partenaires commerciaux pour recevoir des offres dans votre cadre professionnel en lien avec les thématiques choisies. Il s'agit de la seule contrepartie que nous vous demandons et qui est nécessaire pour nous permettre de continuer à vous envoyer gratuitement du contenu de qualité. La liste de nos partenaires commerciaux est régulièrement mise à jour et consultable à tout moment.

Conformément à notre politique générale en matière de données personnelles, vous disposez d'un droit d'accès vous permettant à tout moment de connaître la nature des données collectées vous concernant, de demander leur rectification ou leur effacement. Ce droit s'exerce par simple envoi d'un email à privacy@it-news-info.com. Pour tout savoir sur la manière dont ITFACTO gère les données personnelles, vous pouvez vous reporter à notre Charte sur les Données Personnelles.

Offre payante

Si vous ne souhaitez pas que vos données soient utilisées pour vous proposer des contenus en lien avec vos centres d’intérêts ou partagées avec nos partenaires commerciaux et bénéficier de leurs offres, vous pouvez souscrire à notre formule payante. La formule payante propose les mêmes contenus que la formule gratuite mais sans partage de données. Les modalités de souscription à la formule payante sont détaillées dans nos conditions générales de vente (formule abonnement).

AUCUN COMMENTAIRE