Import de données

Actito vous offre plusieurs possibilités pour importer des données dans les tables de votre modèle de données.

Vous pouvez, évidemment importer manuellement des profils ou des entrées de table personnalisée dans l'interface. Mais si vous souhaitez automatiser ces flux de données, vous utilisez très probablement les synchronisations ETL ou les imports API configurés par vos opérateurs techniques ou par les équipes Actito.

Bien que vous puissiez recevoir un rapport d'exécution, il est également intéressant de pouvoir visualiser ces synchronisations directement dans la plateforme Actito. C'est pour cela que l'application ' Gérer les imports' existe !

images/download/thumbnails/667255632/image2023-5-22_12-35-39.png

Tout comme l'application 'Gérer les exports' vous permet de visualiser vos flux de données PROVENANT d'Actito, l'application 'Gérer les imports' vous aide à visualiser les flux de données VERS Actito.

Vous pouvez accéder à cette application depuis le Catalogue (Profils > Gérer les imports) ou depuis l'application 'Gérer les exports'.

Naviguer dans l'application Gérer les imports

Plusieurs onglets et filtres vous permettent de passer en revue les exécutions passées, en cours et futures de vos imports, selon leur type.

Pour les synchronisations ETL, il est important de faire la distinction entre 'Définition ETL' et 'exécution ETL'.

  • La première consiste en la définition du flux, configuré par API, qui inclut tous les paramètres dont la fréquence.

  • La seconde est l'exécution périodique de ce qui a été défini.

images/download/attachments/667255632/image2023-5-22_12-36-42.png

Comprendre les filtres

Dans le coin supérieur gauche, vous pouvez choisir d'afficher uniquement les imports d'une table spécifique.

Comme les données peuvent être importées dans des profils ou des tables personnalisées, vous devez d'abord choisir le type de table avant de sélectionner le nom de la table dans la liste déroulante.

images/download/thumbnails/667255632/image2023-5-22_12-37-28.png

Les synchronisations ETL peuvent être multi-fichier, ce qui signifie que la même définition déclenche des imports dans plusieurs tables.

Dans ce cas, l'import apparaitra lorsque vous sélectionnez n'importe quelle table impactée par le filtre.

Vous pouvez également filtrer sur le type d'import :

  • Les imports ponctuels sont tous les imports pour lesquels la fréquence n'est pas définie dans Actito : les imports manuels de profil ou de table personnalisée et les imports de masse par API (les imports API peuvent être programmés, de votre côté, par vos développeurs et dès lors planifiés dans un certain sens, mais cette programmation n'est pas définie au sein d'Actito et donc ils sont considérés comme ponctuels). Le type de transfert de fichier est manuel si l'import est fait dans l'interface ou déclenché dans l'appel API ou il peut être dans le cloud si l'appel API est programmé pour récupérer le fichier sur un FTPS.

  • Les imports planifiés sont tous les imports pour lesquels la fréquence est définie dans Actito, ce qui signifie que dès qu'une exécution est terminée, la suivante est prête à être planifiée : cela inclut uniquement les synchronisations ETL. Pour de tels imports, le fichier est toujours récupéré dans le cloud.

Pour des imports programmés le nom technique de la synchronisation ETL sera affiché dans la colonne Nom.

Pour les imports ponctuels, vous ne donnez pas de nom aux imports manuels dans l'interface ou par API : la colonne Nom restera vide.

images/download/thumbnails/667255632/image2023-5-22_12-39-35.png

Comprendre les statuts

Naviguez à travers les onglets Planifiés, En cours et Terminés pour voir les différents statuts des exécutions.

images/download/thumbnails/667255632/image2023-5-22_12-40-4.png

Exécutions planifiées

Cet onglet ne contient que les imports planifiés avec des fichiers transférés vers le cloud, c'est-à-dire des synchronisations ETL.

Cela permet de vérifier facilement quand la prochaine synchronisation aura lieu.

Dès qu'une exécution quotidienne a fini de tourner, l'exécution du jour suivant est crée.

Cet onglet n'affiche que la prochaine exécution d'une synchronisation.

images/download/attachments/667255632/image2023-5-22_12-36-42.png

Cliquez sur "Voir la definition de l’import" pour obtenir une vue d'ensemble des différentes étapes de l'import, telles que définies durant la création de la synchronisation ETL.

Ceci est très utile pour obtenir des informations à propos du format attendu à chaque étape. Vous pouvez obtenir un compte-rendu similaire dans les détails des exécutions "Terminées", avec en plus un statut pour chaque étape (voir la section "Exécutions terminées" pour des explications détailles à propos de chaque étape).

https://res.cloudinary.com/dmn1io5db/image/upload/v1686750159/defImport_k2cimj.png

Exécutions en cours

Cet onglet contient les imports en cours d'exécution. Bien que l'intégration de plus gros fichiers puisse prendre plus de temps, vous ne verrez des données dans cet onglet que temporairement, directement après le début d'une exécution.

Ce qui vous permet de vérifier facilement qu'un import ou qu'une synchronisation est toujours en train de tourner et n'est pas encore finie.

Les administrateurs et utilisateurs avancés ont la possibilité de récupérer directement le fichier qui est intégré dans Actito grâce à 'Télécharger les fichiers d'entrée'.

images/download/attachments/667255632/image2023-5-22_14-29-19.png

Grâce au bouton "Voir les détails d'exécution", vous pouvez également obtenir une vue d'ensemble de chaque étape de l'import. Etant donné que l'exécution est en cours, the statut final de chaque étape peut ne pas encore être disponible (voir la section "Exécutions terminées" pour des explications détailles à propos de chaque étape).

Exécutions terminées

Cet onglet contient tous les imports qui ont fini de tourner : ce qui inclut à la fois les exécutions passées de synchronisations planifiées et les imports ponctuels.

L'onglet d'exécutions 'Terminés' garde un historique de 15 jours pour les imports planifiés (ETLs) et de 5 jours pour les imports ponctuels.

Cela vous permet de vérifier a quel moment un import est terminé et à quel moment les données ont été intégrées dans Actito. Plus important encore, vous pouvez regarder la colonne Résultat de l'import' pour vérifier si l'import est réussi ou s'il est tombé en erreur.

Pour les imports planifiés, le nom technique des synchronisations ETL est affiché dans la colonne Nom. Vous pouvez utiliser l'application 'Rechercher' pour trouver rapidement l'exécution d'un ETL spécifique.

Vérifiez la date 'Démarré le' pour trouver l'exécution d'un jour spécifique.

images/download/attachments/667255632/image2023-5-22_14-30-31.png

Les administrateurs et utilisateurs avancés ont la possibilité de retrouver le fichier qui a été importé ainsi que les fichiers de sortie : selon le résultat, il peut s'agir d'un fichier de résultat ou d'un fichier d'erreur.

Les fichiers de sortie des synchronisations ETL sont seulement générés si les paramètres de generateErrorFiles et generateResultFiles ont été configurés en true dans la définition.

Le fichier d'erreur peut vous aider à trouver le problème d'exécutions ratées et vous permettre de les corriger.

Pour les synchronisations ETL, tombées en erreur (probablement parce que le fichier n'était pas disponible dans le cloud), il est possible de faire une RELANCE par API.

La relance nécessite de connaitre l'identifiant de l'exécution originale. Vous pouvez facilement le retrouver en ajoutant la colonne 'Id' dans le coin supérieur droit.

images/download/thumbnails/667255632/image2023-5-22_15-10-49.png

Voir les détails d'exécution

Cliquez sur le bouton "Voir les détails d'exécution" pour obtenir une vue d'ensemble détaillée avec les résultats de chaque étapes.

Dans le panneau sur la droite, vous pouvez voir les dates de planification, début et fin de l'exécution, ainsi que le statut global. Cela peut être :

  • SUCCES : tous les fichiers ont été correctement récupérés et intégrés dans votre licence, sans qu'une seule ligne ne rencontre une erreur.
  • EN ERREUR : l'import a rencontré une erreur globale et ne s'est pas déroulé jusqu'au bout, ce qui veut dire qu'aune ligne n'a été intégrée. Ceci est généralement lié à l'absence des fichiers, ou à un format invalide.
  • WARNING : tous les fichiers (obligatoires) ont été correctement récupérés et ont été partiellement intégrés dans Actito, mais au moins une ligne a rencontré une erreur parce qu'elle contient une valeur invalide.

https://res.cloudinary.com/dmn1io5db/image/upload/v1686651322/detailsExec1_usuc9a.png

Chacune des 4 étapes à son propre statut.

Cliquez sur une des étapes pour en voir les détails.

Transfert des fichiers d'entrée

A cette étape, vous pouvez voir la cloud location (emplacement en ligne) où le fichier a été récupéré (dans le cas d'une ETL).

Vous visualisez aussi les détails des fichiers attendus dans l'ETL, tels que :

  • Le pattern de nommage attendu
  • Le nom du fichier pour une exécution spécifique
  • Si le fichier est obligatoire pour l'exécution de l'import
  • Si le fichier était présent dans cette exécution spécifique

Cette étape va rencontrer une ERREUR si la cloud location (comme un serveur SFTP ou FTPS) n'était pas accessible au moment de l'exécution, si le fichier n'a pas été trouvé sur l'emplacement (par exemple, s'il n'y avait pas de fichier avec le pattern de nom correspondant à la date de l'exécution) ou si le fichier contenu dans l'archive zippée était incorrect

https://res.cloudinary.com/dmn1io5db/image/upload/v1686651342/detailsExec2_regil4.png

Si un fichier non-obligatoire est manquant, cette étape sera considérée en SUCCES.

Transformations des données

Cette étape vous donne un aperçu des transformations appliquées aux données.

Elle ne peut rencontrer d'erreurs que si la valeur en entrée ne correspond pas à la valeur définie dans la transformation.

https://res.cloudinary.com/dmn1io5db/image/upload/v1686651346/detailsExec3_g5rtou.png

L'étape "Transformations des données" n'est présente que dans les synchronisations ETL où des transformations ont été définies. Elle sera toujours grisée pour les imports manuels ou API en masse.

Chargements de données

Cette étape est la plus importante de l'import : l'écriture réelle des données dans la licence. Dans le cas d'un ETL multifichier, vous aurez un statut pour chaque fichier.

Vous pouvez d'abord voir la définition de l'étape :

  • Cliquez sur l'icône 'Mapping' pour voir le mapping entre les en-têtes du fichier d'entrée et le nom des attributs dans la table. Vous pouvez également voir le comportement en cas de valeurs vides, existantes ou invalides, ainsi que pour les attributs multivaleurs.
  • Le bouton 'Paramètres' vous permet de voir le mode d'écriture (CREATION, MISE A JOUR, CREATION/MAJ, SUPPRESSION), et si des fichiers d'erreurs et de résultats seront générés pour cette étape.

Les résultats d'intégration vous donnent des informations sur le nombre de lignes intégrées dans la table.

  • Le nombre de lignes "lues" est le nombre de lignes trouvées dans les fichiers.
  • Le nombre de lignes "rejetées" est le nombre de lignes qui contiennent une valeur non valide pour l'attribut correspondant (par exemple, une adresse électronique non valide, un code langue non valide, ...). S'il y a au moins une ligne rejetée, le statut global de l'import sera en WARNING. Vous pouvez télécharger le fichier d'erreur pour vérifier les erreurs de validation (à condition que le paramètre generateErrorFiles ait été défini sur true).
  • Le nombre de lignes "insérées" est le nombre de lignes qui n'existaient pas dans Actito et qui ont été créées par l'import.
  • Le nombre de lignes "mises à jour" est le nombre de lignes qui existaient déjà dans Actito mais pour lesquelles une modification de données a été trouvée dans le fichier. Si vous importez une ligne identique à une ligne déjà existante, elle ne sera pas considérée comme une mise à jour. Par conséquent, la somme des lignes rejetées + insérées + mises à jour peut être inférieure au nombre de lignes lues, car certaines lignes existaient déjà sans qu'aucune mise à jour n'ait été apportée à leurs valeurs.
  • Le nombre de lignes "supprimées" ne s'applique qu'aux ETL de type SUPPRESSION, qui ne peuvent que supprimer des données sans créer de nouvel enregistrement.

https://res.cloudinary.com/dmn1io5db/image/upload/v1686651351/detailsExec4_gg6atz.png

Transfert des fichiers de sortie

Les détails de cette étape vous donnent des informations sur les éventuels fichiers de sortie générés, y compris :

  • La cloud location (FTPS, SFTP, Transferbox) sur lequel les fichiers ont été déposés.
  • Le nom des fichiers.

Les fichiers de sortie des synchronisations ETL ne sont générés que si les paramètres generateErrorFiles et generateResultFiles ont été réglés sur true dans la définition.

https://res.cloudinary.com/dmn1io5db/image/upload/v1686651357/detailsexec5_qnj6pj.png

Les détails de l'exécution apparaissent dans un panneau latéral. Cliquez sur la croix dans le coin supérieur gauche de votre écran pour le quitter.

Récupérer les fichiers de sortie

Les administrateurs et utilisateurs avancés ont la possibilité de retrouver le fichier qui a été importé ainsi que les fichiers de sortie : selon le résultat, il peut s'agir d'un fichier de résultat ou d'un fichier d'erreur.

Les fichiers de sortie des synchronisations ETL sont seulement générés si les paramètres de generateErrorFiles et generateResultFiles ont été configurés en true dans la définition.

Le fichier d'erreur peut vous aider à trouver le problème dans les exécutions en erreur et vous permettre de les corriger.

Il contient les lignes d’origine qui sont tombées en erreur mais avec 2 colonnes en plus :

  • "errorCode": Il s'agit du code d’erreur, qui détaille la raison de l’erreur.
  • "errorColumn": Il s'agit du code d’erreur, qui détaille la raison de l’erreur.

Si plusieurs colonnes sont tombées en erreur pour la même ligne, cette ligne sera répétée une fois par erreur.

Les codes d'erreur possibles sont :

  • "INVALID_FIELD_VALUE": La valeur de la ligne pour le champ indiqué dans "errorColumn" n’est pas valide, parce que le format est incompatible.
  • "DATA_ALREADY_EXISTS": L’erreur survient en mode "createOnly" lorsqu’une des lignes du fichier poussé réfère à une clé business qui existe déjà dans la table.
  • "UNKNOWN_DATA": : L’erreur survient en mode "updateOnly" lorsqu’une des lignes du fichier poussé réfère à une clé business qui n’est pas présente dans la table.
  • "DUPLICATE_OBJECT" : L’erreur survient quand il y a plusieurs attributs uniques (clés) dans la table et que la ligne à insérer contient des valeurs faisant référence à des enregistrements existants différents pour ces clés multiples.
  • "MISSING_FIELD_VALUE": L’erreur survient car une valeur pour un attribut obligatoire est manquante.

Voir le rapport

Cliquez sur le bouton "Voir le rapport" pour accéder à une copie du rapport d'exécution, identique à celui reçu par e-mail par les destinataires définis dans les paramètres de l'import.

Il affiche aussi la liste de ces destinataires.

https://res.cloudinary.com/dmn1io5db/image/upload/v1686651935/rapportexec_px0q2c.png