Prise en main d’Analytics 2.0

Ce guide fournit des instructions détaillées sur le paramètre et l’utilisation du lot d’intégration Partage Delta sur un système d’exploitation Windows afin d’intégrer les données de manière transparente dans vos flux de travail avec Analytics. Le lot prend en charge plusieurs options d’exécution, ce qui vous permet de choisir la configuration et la méthode d’intégration souhaitées.

Assurez-vous d’avoir les éléments suivants avant de procéder :

• Référence SKU Analytics 2.0

• Fichier de profil Delta Sharing :
  Procurez-vous votre fichier *.share contenant les identifiants Delta Sharing. Pour plus de commodité, copiez-le dans le répertoire du lot.

• Environnement Python : Installez Python 3 et pip sur votre système.

  • Téléchargez Python.

  • Vous pouvez également utiliser le Microsoft Store.

• Préparer le lot

• Installer les dépendances

• Générer une configuration

• Configurer les tâches cron et leur exécution immédiate

• Exécution et maintenance

Préparer le lot

1. Créez un nouveau fichier nommé config.share avec vos identifiants Delta Share au format JSON.
   {
"shareCredentialsVersion » : 1,
"bearerToken » : « xxxxxxxxxxxxxxx »,
"endpoint » : « https://nvirginia.cloud. databricks.c... astores/xxxxxx"
}
   

2. Obtenir les champs obligatoires.
   Remarque : Ces informations peuvent être obtenues à partir de l’application Web Analytics.

   • ShareCredentialsVersion : numéro de version (actuellement 1).

   • BearerToken : votre jeton d’accès Delta Share.

   • Point de terminaison : l’URL de votre point de terminaison Delta Share.

3. Téléchargez et extrayez le lot.
   Remarque : Vous pouvez télécharger le lot compressé à partir de l’outil Analytics niveau Entreprise (via Analytics > Mise en route > Options de connexion > Azure).

4. Décompressez le lot dans le répertoire de votre choix.

5. Copiez le fichier de profil *.share Delta Sharing dans le répertoire lot pour y accéder facilement.
   

Installer les dépendances

1. Ouvrez un terminal dans l'Annuaire du lot.

2. Exécutez la commande pour installer les dépendances.pip install -r requirements.txt

Générer une configuration

1. Générer le fichier config.yaml en exécutant python user_exp.py: Ce script permet de générer le fichier config.yaml qui contient les identifiants et les paramètres nécessaires.

2. Lors de la configuration de la source de données, il vous sera demandé de fournir :

   • Liste des tableaux (séparés par des virgules).

   • Laissez le champ vide pour synchroniser tous les tableaux. Exemple : table1, table2, table3.

   • Chemin d’accès à votre fichier config.share.

3. Pour la première fois, vous fournirez vos identifiants tels que l’lieu de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
   Remarque : Ensuite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou en exécutant à nouveau python user_exp.py.

Configurer les tâches cron et l’exécution immédiate (facultatif)

1. Décidez s’il faut configurer un projet cron pour l’exécution automatique.

2. Fournissez un planning cron :

   • Format : * * * * *(minute, heure, jour-du-mois, mois, jour-de-semaine).

   • Exemple pour une exécution quotidienne à 2 heures du matin : 0 2 * * *

   • Pour vérifier les journaux de Planning, le fichier procore_scheduling.log sera créé dès que la Planning sera configurée.

Vous pouvez également vérifier la Planning en exécutant la commande terminal :

Pour Linux et MacOS :

Pour modifier/supprimer - modifiez le cron de Planning à l’aide de :
bash
EDITOR=nano crontab -e

• Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :

• 2 * * * * /Users/your_user/snowflake/venv/bin/python /Users/your_user/snowflake/sql_server_python/connection_config.py 2>&1 | while read line; do echo "$(date) - $line"; done >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import

• Vous pouvez également ajuster le cron du planning ou supprimer la ligne entière pour l’empêcher de s’exécuter selon le planning.

Pour Windows :

• Vérifiez que le tâche de planning est créé :
  powershell
schtasks /query /tn "ProcoreDeltaShareScheduling" /fo LIST /v
  

• Pour modifier/supprimer - tâche de planning :
  Ouvrez le planificateur de tâches :

  • Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.

  • Accédez aux tâches planifiées.

  • Dans le volet gauche, développez la bibliothèque du planificateur de tâches.

  • Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, la bibliothèque du planificateur de tâches ou un dossier personnalisé).

• Trouvez votre tâche :

  • Recherchez le nom tâche ProcoreDeltaShareScheduling.

  • Cliquez dessus pour afficher ses détails dans le volet inférieur.

• Vérifiez son planning :

  • Vérifiez l’onglet Déclencheurs pour voir quand la tâche est définie pour s’exécuter.

  • Consultez l’onglet Historique pour confirmer les exécutions récentes.

• Pour supprimer une tâche :

  • Supprimez une tâche de l’interface graphique.

Question d’exécution immédiate :

• Option permettant d’exécuter le script de copie des données immédiatement après la configuration.

• Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant le script de copie des données, en fonction de votre lot.

• Exemples:

  • python delta_share_to_azure_panda.py

  • python delta_share_to_sql_spark.py

  • python delta_share_to_azure_dfs_spark.py

Exécution et maintenance

Problèmes courants et solutions

1. Configuration de la Projet Cron :

   • Assurez-vous que les autorisations système sont correctement configurées.

   • Vérifiez les journaux système si le projet ne parvient pas à s’exécuter.

   • Vérifiez que le script delta_share_to_azure_panda.py dispose des autorisations d’exécution.

2. Fichier de configuration :

   • Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.

   • Sauvegardez le fichier avant d’apporter des modifications.

Soutien

Pour obtenir de l’aide supplémentaire :

1. Consultez les journaux de script pour obtenir des messages d’erreur détaillés.

2. Vérifiez que le fichier config.yaml ne contient pas d’erreurs de configuration.

3. Contactez votre administrateur système pour les problèmes liés aux autorisations.

4. Contactez le support technique Procore pour les problèmes liés à l’accès à Delta Share.

5. Examiner le journal des tables ayant échoué : failed_tables.log.

Remarques

1. Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.

2. Testez de nouvelles configurations dans un environnement hors production pour éviter les interruptions.