Prise en main d’Analytics 2.0

Aperçu

L’utilisation de Data Factory dans Microsoft Fabric avec Delta Sharing permet une intégration et un traitement transparents des tables de Delta partagées dans le cadre de vos flux de travail analytiques avec Analytics 2.0. Delta Sharing s’agit d’un protocole ouvert pour le partage sécurisé des données, permettant la collaboration entre les organisations sans dupliquer données.

Ce guide vous guide à travers les étapes de configuration et d’utilisation des Data Factory dans Fabric avec Delta Sharing, utilisation de Notebooks pour le traitement et l’exportation de données vers un Lakehouse.

Conditions préalables

• Analytics 2.0 SKU

• Delta Sharing Credentials:

  • L’accès à Delta Sharing identifiants fourni par un fournisseur données.

  • Un fichier de profil de partage (config.share) contenant :

    • Endpoint URL (Delta Sharing Server URL).

    • Access Token (Bearer token pour un accès sécurisé données).

• Créez votre config.yaml fichier avec des identifiants spécifiques en utilisant le modèle ci-dessous :
  {
"shareCredentialsVersion": 1,
"endpoint": "your-delta-sharing-server-url",
"bearerToken": "your-master-token"
}


• Microsoft Fabric Environment:

  • Un compte de locataire Microsoft Fabric avec un abonnement actif.

  • Un espace de travail Fabric-activé.

• Lots et scripts :

  • Téléchargez le fabric-lakehouse lot. L'Annuaire doit comprendre :

    • ds_to_lakehouse.py: code du bloc-notes.

    • readme.md: Directives.
      Remarque : Vous pouvez télécharger le lot compressé à partir de l’outil Analytics niveau Entreprise (via Analytics > Mise en route > Options de connexion > Azure).

Escalier

• Configurer la configuration

• Configurez votre Lakehouse

• Validation

Configurer la configuration

1. Créez le config.yamlfichier et définissez la configuration dans la structure suivante
   source_config:
   config_path: path/to/your/delta-sharing-credentials-file.share
   tables: # Optional - Leave empty to process all tables
   - table_name1
   - table_name2
   target_config:
   lakehouse_path: path/to/your/fabric/lakehouse/Tables/ # Path to the Fabric Lakehouse
   

Configurez votre Lakehouse

1. Ouvrez votre espace de travail Microsoft Fabric.

2. Accédez à votre Lakehouse et cliquez Open Notebooksur, puis sur New Notebook.

3. Si vous ne connaissez pas la valeur de config.yaml#lakehouse_path, vous pouvez la copier à partir de l’écran.

4. Cliquez sur les points de suspension dans Fichiers, puis sélectionnez Copier ABFS path:

3. Copiez le code de ds_to_lakehouse.pyet collez-le dans la fenêtre du bloc-notes (Pyspark Python):

L’étape suivante consiste à charger vos propres config.yaml et config.share dans le dossier Ressources du Lakehouse. Vous pouvez créer votre propre Annuaire ou utiliser un builtinAnnuaire (déjà créé pour les ressources par Lakehouse):

L’exemple ci-dessous montre un builtinannuaire standard pour un config.yaml fichier.
Remarque : Assurez-vous de charger les deux fichiers au même niveau et pour le property config_path:

4. Vérifiez le code du cahier, lignes 170-175.
L’exemple ci-dessous montre les changements de ligne nécessaires :
config_path = "./env/config.yaml"
à
config_path = "./builtin/config.yaml"

Étant donné que les fichiers se trouvent dans un dossier builtin et non dans un environnement personnalisé, assurez-vous de surveiller votre propre structure des fichiers. Vous pouvez les charger dans différents dossiers, mais dans ce cas, mettez à jour le code du bloc-notes pour trouver correctement le fichier config.yaml.

5. Cliquez sur Exécuter la cellule :

Validation

• Une fois le projet terminé, vérifiez que le données a bien été copié dans votre Lakehouse.

• Vérifiez les tables spécifiées et assurez-vous que le données correspond aux tables Delta partagées.

• Attendez que le projet soit terminé, il devrait copier toutes les données.