Ingénierie des données

Qu’est-ce que l’ingénierie des données et que peut-elle vous apporter ?

Les opportunités et besoins centrés sur les données sont aujourd’hui nombreux. Chez ITerium nous savons par expérience que pour comprendre ces problématiques et y apporter la solution adéquate, il faut non seulement une sérieuse expertise en business analyse, mais surtout une forte polyvalence dans la connaissance des techniques, outils et concepts relatifs aux données.

L’ingénierie des données, c’est la capacité à intervenir en analyse, conseil et réalisation sur l’ensemble de ces composantes, de manière synthétique et pertinente.

A l’échelle des problématiques métiers, retenons les interdépendances suivantes :

  • La cartographie des données produit et maintient à jour des informations fondamentales pour l’intégration des données, la connaissance de leur qualité, leur valorisation. La cartographie est également nécessaire à la mise en place et l’exercice d’une gouvernance pertinente.
  • L’intégration des données permet leur mise en cohérence et facilite ainsi la maîtrise de leur qualité et leur valorisation. Elle offre les moyens d’une gouvernance efficace.
  • La maîtrise de la qualité des données est primordiale pour leur valorisation. Elle est aussi un facteur de facilitation de la gouvernance.
  • La valorisation des données est à la fois un objectif en soi, mais aussi une source de retour sur investissement qui soutient les autres activités d’ingénierie des données nécessaires à l’ensemble.
  • La gouvernance des données orchestre ces activités, leurs interdépendances, et plus généralement l’ensemble des usages des données au sein d’un périmètre bien défini.

Pourquoi la cartographie est-elle une étape si importante en matière d’ingénierie des données?

Les données abondent, voire débordent, c’est un fait. Mais avez-vous une vision claire de celles qui sont à votre portée ? Sont-elles bien utilisées ? Ont-elles encore un potentiel inexploité ? Sont-elles au contraire une charge ou une source de risque pour votre organisation ?

Notre expérience, autant que les études à grande échelle comme les fameux rapports “databerg” de Veritas, nous montrent l’actualité de ces questions et l’importance des enjeux qu’elles représentent.

La cartographie des données est incontournable pour relever ces défis.

Elle consiste à inventorier de manière structurée et chiffrée, dans un périmètre donné et à un niveau de précision adapté :

  • Les sources de données en présence.
  • Leurs caractéristiques.
  • Les usages existants, les chaînes de valeur dans lesquelles elles interviennent.
  • Les potentiels et les risques.
  • Leur coût d’acquisition, de maintenance et d’exploitation.
  • L’état de leur gouvernance.

La cartographie des données est fondamentale dans toute initiative centrée sur les données. Elle donne de la matière et un cadre à une large gamme d’améliorations possibles :

  • Valorisation.
  • Sécurisation.
  • Evolution d’organisations en silos.
  • Mise en conformité.
  • Amélioration de la gouvernance.
  • Montée en compétitivité.

Cas d'usage

  • Elaboration et exploitation de cartographies des données.
  • Collecte, gestion et analyse des métadonnées.
  • Gestion des données de référence.

L’intégration des données consiste à mettre en cohérence les données entre elles, et à rationaliser leurs supports et leurs usages. Elle est une des applications concrètes de la gouvernance et s’appuie fortement sur une cartographie correcte des données concernées. Elle doit éviter les pièges de la rigidité et viser au contraire un gain d’adaptabilité et d’interopérabilité.

Le tout est plus que la somme des parties : Ce que peut apporter l'intégration des données.

  • La rationalisation des infrastructures et des usages apporte une optimisation des coûts, améliore la compréhension commune du patrimoine informationnel de l’entreprise, et permet un renforcement de la sécurité.
  • La centralisation des données de références et l’amélioration de l’interopérabilité renforcent la qualité des données et augmentent les capacités de valorisation des données et d’innovation.
  • Par ces différents apports, l’intégration des données facilite également la gouvernance de manière significative.

Quels sont les potentiels d'intégration de vos données ? Les questions à se poser :

  • Existe-t-il dans votre environnement plusieurs exemplaires d’une même donnée qui ne soient pas synchronisés entre eux ?
  • Certaines de vos données sont-elles cloisonnées par des usages en silos sans raison valable ?
  • Si une restauration de données doit avoir lieu, êtes-vous certain de ne pas perdre de cohérence entre certaines de vos données ?
  • Etes-vous en mesure d’intégrer facilement des données supplémentaires dans votre architecture actuelle ?
  • Manquez-vous d’informations sur vos données pour répondre à toutes ces questions ?

Cas d'usage

  • Analyse des besoins en matière d’intégration des données.
  • Etude d’impact et accompagnement des changements liées à l’intégration des données.
  • Planification et mise en œuvre.

Connaître et maîtriser la qualité des données et son impact sur vos activités est devenu un facteur incontournable de réussite et de résilience.

Comment la qualité des données impacte vos activités ?

  • Avec des données dont la qualité n’est pas suffisante pour vos besoins, même les meilleurs outils et usages aboutiront à des résultats problématiques comme des plantages d’applications, des indicateurs erronés, ou une perte de clientèle par exemple.
  • Il est tout à fait possible, par économie ou nécessité, de travailler avec des données de qualité limitée, mais ces limites doivent être connues, de même que leurs impacts.
  • Des données dont la qualité est maîtrisée à un juste niveau, améliorent nettement la fiabilité des prises de décisions et des solutions qu’elles alimentent.
  • Ceci facilite également l’analyse d’erreurs parce qu’une anomalie est beaucoup plus détectable dans un ensemble cohérent et connu. Vous connaissez l’image de l’aiguille dans une botte de foin, n’est-ce pas ?

Pourquoi la qualité des données prend-elle une importance croissante ?

  • Le volume et la vitesse de génération des données poursuivent une croissance exponentielle.
  • La variété des formats et des sources de données continue d’augmenter également.
  • Les opportunités et la course à la valorisation de ces données sont aussi en forte expansion, dans tous les domaines d’activités, y compris presque sûrement le vôtre.
  • Les performances et fonctionnalités des outils de collecte, transformation, intégration, analyse et visualisation, facilitent considérablement le prototypage de solutions centrées sur les données, au risque de nourrir une fausse perception de simplicité, en particulier pour les utilisateurs non spécialistes.

Cas d'usage

  • Aide à la définition des besoins en matière de qualité des données.
  • Etude de la qualité des données dans un périmètre spécifique.
  • Amélioration de la qualité des données et de sa gestion.

Nous sommes à peu près tous convaincus par l’intérêt de la valorisation des données, mais que signifie-t-elle pour votre activité ?

Plusieurs facteurs rendent difficile en pratique l’identification des besoins et opportunités en matière de valorisation des données :

  • Volume, variété et vitesse de production des données.
  • Formes multiples de la valeur.
  • Evolution, diversité et complexité des outils de gestion et analyse des données.
  • Contexte actuel de fortes contraintes, incertitudes et nécessité d’adaptation.

Comprendre ces facteurs est un premier pas important.

Il existe heureusement des décompositions logiques de cette complexité, selon différents axes tels que :

  • Les besoins auxquels la valorisation des données est supposée répondre.
  • Les volumes de données disponibles.
  • Les caractéristiques de ces données et de leurs sources.
  • Les usages déjà existants.

Cela permet de déterminer quelle forme de valorisation des données sera appropriée et comment la mettre en œuvre. Il y a de grandes différences par exemple entre d’une part l’exploitation de volumes modérés de données homogènes en vue d’automatiser des processus, et d’autre part la mise en place de tableaux de bords complexes basés sur des données plus ou moins volumineuses et hétérogènes.

Cas d'usage

  • Analyse de données et de leur potentiel de valorisation.
  • Recherche de données complémentaires.
  • Développement et amélioration de solutions de valorisation des données.

La gouvernance des données consiste à identifier, harmoniser, encadrer, faciliter, suivre et faire évoluer les usages des données, liés à votre activité et à la réalisation de vos objectifs.

La gouvernance doit être suffisante sans devenir bloquante :

  • Les règles d’usage et de gestion doivent contribuer à la sécurité, tout en facilitant l’efficience des activités et la valorisation des données.
  • La communication doit couvrir tous les points essentiels, sans les noyer dans la masse.
  • Les informations de suivi doivent faciliter la gestion et la prise de décision.
  • Les composants matériels et logiciels nécessaires à la gouvernance des données doivent être choisis et paramétrés avec cette même attention.

Les enjeux de la gouvernance des données

Pour atteindre ces objectifs, la gouvernance des données doit s’attacher à :

  • Développer et entretenir l’adhésion à une culture commune à l’égard de la valeur et du traitement des données, parmi les personnes impliquées.
  • Superviser la mise en place et l’évolution d’un ensemble structuré et cohérent de règles, procédures et outils de gestion des données, à l’échelle des besoins à traiter.
  • Assumer la responsabilité du traitement des données par l’organisation, notamment au regard de la loi et des partenaires extérieurs. S’assurer de disposer des solutions permettant de le faire.

Cas d'usage

  • Identification, recueil et analyse des besoins.
  • Analyse de maturité.
  • Accompagnement de la mise en œuvre, conseil, réalisation.