SER Blog  Customer Stories & Use Cases

Dark data : Or perdu ou gouffre financier ?

Christian Bley

À l'ère du numérique, les données sont devenues les actifs les plus précieux des entreprises. Pourtant, alors même que l'importance des données s'est accrue de manière exponentielle au cours de ces dernières années, il existe encore un élément qui reste perdu dans l'obscurité : les données sombres. Cet article propose de plonger au cœur des dark data, de comprendre leur importance et l'impact qu'elles peuvent avoir sur une entreprise.

Que sont les dark data ?

Le concept de "dark data" ou en français "données sombres" englobe les informations et les données que les entreprises collectent, mais qu'elles n'utilisent pas activement ou qu'elles n'analysent pas. Ces données sont le plus souvent non structurées ou inutilisées et sont stockées dans des silos de données répartis dans les systèmes de l'entreprise, par exemple dans des courriels, des documents, des images, des vidéos, des messages texte, pour ne citer que quelques exemples.

Bon nombre d'entreprises voient avant tout au travers d’une structuration un facteur de coût. Mais les dark data devraient être considérées davantage comme une ressource précieuse. Pour vous donner une idée plus précise de l'importance des dark data, voici quelques chiffres :

-          En 2023, 120 zettaoctets de données ont été générés

-    80 % des données existantes ne sont pas structurées

-    50 % de toutes les données sont des dark data

Défis et risques vis-à-vis des dark data

Une masse d'informations

Quelles informations sont importantes ? Qu'est-ce qui ne l’est pas ? Qui doit avoir accès à ces informations, quand et où ? En grande partie grâce à la pandémie, nous avons désormais le choix entre une série de plateformes qui nous permettent de partager des informations facilement et rapidement. Le résultat de cette tendance, qui dure depuis des années, est que nous sommes confrontés à un afflux d'informations dans notre travail quotidien.

Des technologies de stockage de moins en moins coûteuses ont également contribué à cette tendance. Une grande partie de ces informations superflues et en partie tombées dans l'oubli sont des données sombres.

Se conformer avec le RGPD

Un autre enjeu est celui de la conformité au règlement général sur la protection des données (RGPD) et à d'autres réglementations en matière de protection des données. En effet, si une entreprise ne sait pas quelles données elle possède, elle ne peut pas prendre les mesures nécessaires pour protéger ces données et se conformer à la réglementation. Les dark data peuvent donc représenter un risque considérable sur le plan du respect de la protection des données.

Un manque d'expertise et de solutions logicielles

Il devient de plus en plus important de pouvoir analyser les données sombres. Pour y parvenir, une entreprise doit disposer du savoir-faire et des outils adéquats. La manière dont les données sont traitées joue un rôle essentiel dans la quantité de dark data produites et dans leur valorisation. Dès lors, il peut s'avérer utile de recourir à des solutions logicielles qui sont encore peu utilisées et qui n'ont donc pas encore d'antécédents. L'ingénierie de requêtes est l'une de ces solutions : un programme utilisant l'IA reçoit des instructions en langage naturel, qui sont constamment actualisées afin d'obtenir des résultats optimaux. Il s'agit là d'une discipline qui n'existait tout simplement pas auparavant.

Une cybercriminalité

Les dark data sont bien souvent non protégées et non sécurisées. Elles constituent donc une cible de choix pour les cybercriminels. C'est pourquoi les entreprises doivent s'assurer de mettre en place des mesures de sécurité solides, afin de protéger les données sombres de toute menace.

Guide de la gestion documentaire (GED)

Comment un DMS peut-il améliorer l'efficacité de votre organisation ? Quel est le système qui vous convient le mieux ? Ce guide pratique vous aide à trouver et à mettre en œuvre le SGD qui vous convient. Il comprend des listes de contrôle, des exemples concrets, etc.

Lire maintenant

Une perte d'informations précieuses

Les dark data recèlent d'informations potentiellement précieuses concernant le comportement des clients, les tendances du marché et l'efficacité opérationnelle. Si ces données ne sont pas analysées, ces renseignements deviennent caducs et les entreprises laissent passer une occasion de taille d'améliorer leurs stratégies commerciales.

Comment exploiter les dark data ?

Pour tirer parti des données sombres, les entreprises doivent se doter de technologies et de solutions qui leur permettent d'identifier, d'analyser et d'utiliser ces données.

La gestion de contenu d'entreprise (ECM)

Les systèmes ECM sont indispensables à l'organisation des données non structurées et à leur utilisation. Au-delà de leur capacité à classer, indexer et archiver les documents, ils permettent également de définir clairement l'accès à l'information. Ce point est important, car tous les employés ne sont pas autorisés à accéder à toutes les informations. Cela peut par ailleurs aider à gérer le flot d'informations évoqué plus haut et garantir que les utilisateurs ne reçoivent que des informations pertinentes, ce qui se traduit par une amélioration de l'efficacité.

Dans les faits, la gestion du contenu de l'entreprise va encore plus loin et garantit que les documents sont supprimés ou anonymisés à la fin de leur cycle de vie. Cela permet aux entreprises de respecter les directives en matière de conformité et les exigences légales liées à la protection des données.

Voici un exemple concret : Les dark data dans la gestion des contrats

Un éditeur de logiciels utilise son système ECM pour gérer tous les contrats existants et les documents y afférents, tels que les dossiers de service et les informations sur les licences. Les contrats contiennent principalement des données de base sur les partenaires contractuels, mais aussi certaines dispositions et autres clauses. Les informations relatives à la nature des contrats sont disponibles dans des documents annexes.

Une analyse des dossiers de maintenance fournit des informations sur les modules logiciels couverts par des accords de service pour tous les clients. Des tendances en termes de quantité et de durée peuvent être dégagées. Il s'avère qu'au fil du temps, certaines licences ou certains produits ne figurent plus dans les contrats. Une telle situation pourrait indiquer qu'ils ne sont plus demandés ou qu'ils sont dépassés. Cela voudrait dire que l'on maintient un produit qui n'est plus utilisé par les clients.

Résultat : Le fait de cesser de commercialiser ces produits pourrait permettre de réaliser d'importantes économies, étant donné que le développement n'est plus nécessaire et qu'il n'est plus utile d'affecter des ressources à la fourniture de services pour ce domaine. Les dark data représentent donc une source non négligeable d'économies et d'optimisation des processus.

L'intelligence artificielle (IA)

Avec les dernières avancées en matière d'intelligence artificielle, les entreprises peuvent traiter les dark data plus efficacement et plus rapidement.

Jusqu'à présent, les entreprises avaient beaucoup de mal à analyser les données sombres au même rythme qu'elles étaient produites. Pour la première fois, l'IA rend possible la classification des données à grande échelle, ce qui permet de déceler plus rapidement les schémas et les tendances.

Voici un exemple concret : Exploiter les dark data à l’aide d’un tchat

Une entreprise administre ses contrats de manière numérique. Lors de la rédaction, pendant les négociations et après la conclusion, certains passages et informations du contrat peuvent être demandés. Le problème : où se trouvent les informations que l’on cherche ? Comment doit-on les interpréter ?

L'utilisateur peut désormais interagir avec un document à l'aide d'un chatbot basé sur un grand modèle linguistique (LLM) et pourra, par exemple, poser des questions portant sur les partenaires contractuels impliqués dans le document. En dehors de ces requêtes simples, il serait également possible de poser des questions bien plus complexes portant sur des informations contextuelles. En analysant les pénalités contractuelles, les utilisateurs peuvent obtenir des informations sur les risques potentiels. Ainsi, les utilisateurs ont ainsi accès à l'ensemble du processus en échangeant avec le document.

Avantages tirés de l'exploitation des dark data

Les avantages tirés de l'exploitation des données sombres sont visibles aux niveaux opérationnel et stratégique.

Une réduction des coûts

En identifiant et en analysant les dark data, les ressources inutilisées peuvent être identifiées et supprimées. Cette démarche peut se traduire par d'importantes économies, que ce soit en supprimant les services qui ne sont plus nécessaires, comme dans l'exemple précédent, ou en optimisant les processus.

Une transparence et une efficacité accrues

Utiliser les dark data, c'est aussi disposer d’un meilleur accès à des informations pertinentes. Il en résulte une amélioration considérable de la transparence des processus, ce qui améliore sensiblement la communication interne entre vos propres employés, mais aussi la communication externe avec vos partenaires commerciaux. En intégrant les dark data dans les processus décisionnels, il est possible de gagner en efficacité et d'obtenir de meilleurs résultats.

Une amélioration des relations avec les clients

Disposer des données adéquates au bon moment peut également améliorer les relations avec les clients. Si vous comprenez mieux vos clients et savez quels produits ou services ils préfèrent, il vous sera possible de leur proposer des devis personnalisés.

Guide d’automatisation et d’optimisation des processus métier

Comment numériser, automatiser et simplifier vos processus métier pour plus d’agilité, d’expérience client et d’efficacité opérationnelle ? Notre guide détaillé fournit des recommandations pratiques, des études de cas et des listes de contrôle pour vous aider à digitaliser vos processus.

Lire maintenant

Une gestion des risques et de la conformité

Un autre avantage que l'on peut tirer des dark data est une amélioration des stratégies de conformité et de gestion des risques. Les dark data contiennent bien souvent des informations qui peuvent être révélatrices de possibles violations de la conformité ou de risques, mais ces données restent le plus souvent inaperçues. Grâce à l'identification et à l'analyse des dark data, les entreprises peuvent identifier rapidement les risques potentiels et prendre des mesures préventives afin d'éviter toute conséquence juridique ou financière. Cela peut aider à protéger la réputation de l'entreprise et à renforcer la confiance des clients et des investisseurs.

Le futur des dark data

Que sont amenées à devenir les dark data à l'avenir ? L'utilité de ces données est-elle exagérée ? Quelles options les entreprises ont-elles à leur disposition pour traiter les données sombres ? De manière générale, cet avenir sera influencé par deux principaux facteurs.

La culture des données

Savoir comment comprendre et utiliser efficacement les données devient de plus en plus important. Les entreprises doivent investir dans la formation et le perfectionnement de leurs employés s'ils veulent s'assurer que ces derniers possèdent les compétences nécessaires en matière de données. La meilleure façon de valoriser les données sombres est encore de s'assurer qu'elles ne sont pas produites en premier lieu. C'est pourquoi il est important d'agir de manière responsable au moment de partager et de diffuser des informations. Les employés doivent se poser les questions suivantes : Quelles données dois-je conserver ? Où dois-je les sauvegarder ? Et sous quel format ? Tout cela de sorte qu'elles parviennent aux destinataires voulus et qu'elles puissent être retrouvées à l'avenir. Les données doivent être interprétées et évaluées correctement afin de déterminer les mesures à prendre. Cela revient essentiellement à encoder et décoder les données.

Les progrès en matière d'intelligence artificielle

Ces dernières années, nous avons assisté à des progrès significatifs dans le domaine de l’intelligence artificielle. Ces avancées devraient permettre d'utiliser les dark data de manière encore plus efficace, car les systèmes IA sont capables de reconnaître des schémas et des connexions dans les données plus rapidement et plus efficacement que les humains. À l'avenir, cette technologie est appelée à s'améliorer davantage en termes de qualité et de facilité d'utilisation, ce qui la rendra accessible au plus grand nombre. Cette évolution a déjà donné naissance à de tout nouveaux secteurs professionnels. Par exemple, les ingénieurs de requête veillent à ce que les programmes IA apportent les meilleurs résultats possibles à une question donnée.

L'IA peut également aider dans la différenciation des dark data. Bien entendu, toutes les données enregistrées ne sont pas pertinentes. Une grande partie de celles-ci est en fait constituée de redondances qu'il faut simplement filtrer. De même, il n'est pas vrai que chaque bit d'information peut apporter des renseignements. Une grande partie des dark data ne présentent tout simplement aucun intérêt.

Conseils pour traiter les dark data

Bonjour Doxi, donne-moi quelques conseils sur la façon d'exploiter les dark data

Voici mes 5 meilleurs conseils pour exploiter au mieux les dark data :

  • Établissez des priorités : Commencez par identifier les domaines les plus riches en données et classez-les par ordre de priorité.
  • Demandez de l'aide : Si vous n'avez pas l'expertise nécessaire, envisagez de faire appel à des experts externes pour utiliser efficacement les dark data.
  • Automatisez la classification et l'analyse des données : Mettez en place solutions d'automatisation qui peuvent faciliter la classification et l'analyse des dark data. Des plateformes d'analyse de données et des outils IA de pointe peuvent rechercher, catégoriser et extraire automatiquement des informations pertinentes à partir de grandes quantités de données. Non seulement cela vous permettra d'économiser un temps précieux, mais vous pourrez également surveiller en permanence vos sources de données afin de repérer en temps réel les dark data.
  • Instaurez une culture de responsabilité en matière de données : Mettez en place une culture au sein de votre organisation qui encourage à prendre ses responsabilités en matière de données et de dark data. Sensibilisez vos employés à l'importance de la gestion et de la protection des données. Assurez-vous que tous les employés aient bien compris comment ils peuvent contribuer à l'identification et à la gestion sécurisée des dark data. La participation active de tous les collaborateurs est essentielle pour gérer efficacement les données sombres.
  • Ne les négligez pas : La plus grande erreur que vous puissiez commettre est d'ignorer les dark data. Identifiez leur potentiel et utilisez-les de manière systématique.

Une mine d'informations perdue

Bien que les dark data soient cachées, elles constituent pourtant un potentiel inexploité pour les entreprises. Grâce à une identification, une analyse et une exploitation efficaces des dark data, les entreprises peuvent réaliser des économies, optimiser leurs processus et prendre de meilleures décisions. Le moment est venu de faire la lumière sur les données sombres et de découvrir ce trésor caché au cœur de vos données d'entreprise.

FAQ sur les dark data

Qu'est-ce qu'un système ECM ?
Le terme ECM est l'acronyme de "Enterprise Content Management", en français : gestion du contenu de l'entreprise. Il s'agit d'un logiciel déployé à l'échelle de l'entreprise qui gère, structure et numérise l'information. Ce logiciel est destiné à capturer, trouver, traiter, partager et conserver les documents électroniques.
Qu'est-ce qu'un grand modèle linguistique (LLM) ?
Un LLM (de l'anglais large language model) est un modèle linguistique capable d'utiliser l'apprentissage automatique en vue de traiter le langage naturel. Les LLM sont principalement utilisés pour analyser des contenus en format texte. Le modèle le plus connu à ce jour est le modèle GPT d'OpenAI.
Que sont les données ROT ?
Seule une petite fraction des dark data contiennent des données utiles à l'activité de l'entreprise. Ces données ont toutefois un intérêt tout à fait considérable. Tout le reste est qualifié de "données ROT", acronyme pour "redundant, obsolete, and trivial" (redondant, obsolète et inutiles). L'un des plus grands défis que pose le traitement des dark data est celui de filtrer les données ROT.
Quelle est la différence entre dark data et big data ?
Les big data désignent toutes les données qu'une entreprise produit via une multitude de sources, telles que les courriels/documents, les pages web et les réseaux sociaux, par exemple. Les dark data représentent la partie de ces données qui ne sont pas utilisées. La raison peut en être que ces données sont difficiles à analyser, qu'elles ne sont pas structurées ou qu'elles ne sont pas pertinentes.

Christian Bley

Hi, I'm Chris Bley, Solution Engineer at SER. For 15 years, I have been advising my customers on all aspects of digitalisation, developing concepts and implementing projects in this area. A significant part of my work consists of imparting my knowledge. In addition to organising workshops, I therefore create a lot of content in the form of articles, videos, white papers and much more. If there is still creative energy left at the end of the day, it flows into my recording studio and new song lyrics.