Prise en main d’Analytics 2.0

• Référence SKU Analytics 2.0.

• Accès à Google Cloud Plateforme (GCP).

• Autorisations requises sur Delta Share et BigQuery.

• Téléchargez le lot compressé à partir de l’outil Analytics niveau Entreprise (via Analytics > Mise en route > Options de connexion > BigQuery).

1. Configurer la configuration

2. Exécuter l’application BigQuery

Delta Share Configuration

1. Créez un fichier nommé config.share avec vos identifiants Delta Share au format JSON.

2. Obtenir les champs obligatoires.
   Remarque : Ces informations peuvent être obtenues à partir de l’application Web Analytics.

   • bearerToken: Votre jeton d’accès Delta Share.

   • endpoint: Votre URL de point de terminaison Delta Share.

   • shareCredentialsVersion: Numéro de version (actuellement 1).

Exemple de fichier config.share

{
"shareCredentialsVersion": 1,
"bearerToken": "",
"endpoint": ""

BigQuery Configuration

1. Téléchargez le fichier bigquery.zip à partir de l’application Web Analytics.
   Remarque : Vous pouvez télécharger le lot de fichiers zip à partir de l’outil niveau Entreprise Analytics (via Analytics > Mise en route > Options de connexion > BigQuery).

2. Extrayez le lot dans le répertoire de votre choix.

3. Ouvrez le fichier config.yaml et modifiez les paramètres suivants :

   • source_config.config_path: Chemin d’accès au fichier de configuration Delta Share.

   • source_config.tables: Liste facultative des tables spécifiques à traiter. Laissez-le vide pour traiter toutes les tables.

   • target_config.project_id: ID de projet GCP pour BigQuery.

   • target_config.dataset: Nom du jeu de données BigQuery.

   • target_config.threads: Nombre de processus table simultanés.

Exemple config.yaml fichier
source_config:
config_path: "<path_to_delta_share_config>"
tables: # Optional - list of specific tables to process
- "table1"
- "table2"

target_config:
project_id: "<your-gcp-project-id>"
dataset: "<bigquery-dataset-name>"
target_type: bigquery

Charger le fichier de configuration

1. Chargez les fichiers config.yaml et config.share dans le compartiment gs.

   1. Stockage Google Cloud (GCS)

      • Utiliser le format : gs://bucket-name/path/to/config.yaml.

1. Créez un notebook Python et installez les lots suivants :

   • %pip install delta-sharing

   • pip install pandas-gbq -U

2. Copiez le code de delta_share_to_bq.py, collez-le dans votre notebook, mettez à jour le chemin de configuration (config.yaml), et exécutez-le.

L’application fournit une journalisation détaillée avec :

• Statut de traitement pour chaque table.

• Messages d’erreur et exceptions.

• Traitement simultané de l’information.

• Optimisation des performances

  • Ajustez le nombre de threads en fonction des ressources système.

  • Surveillez l’utilisation de la mémoire à l’aide de grands tableaux.

  • Tenez compte de la taille des tables lors du paramètre de processus simultanés.

• Gestion des erreurs

  • Surveillez les journaux des applications.

  • Configurez les alertes appropriées.

  • Maintenez les configurations de sauvegarde.

Problèmes courants et solutions :

• Échecs de connexion

  • Vérifiez la connectivité réseau.

  • Vérifiez la validité des informations d’identification.

  • Confirmez les autorisations du compte de service.

• Erreurs de traitement

  • Vérifiez l’existence de la table.

  • Vérifiez les autorisations d’accès à la table.

  • Validez les paramètres de configuration.

• Problèmes de performance

  • Réduisez les threads simultanés.

  • Surveillez les ressources système.

Pour obtenir de l’aide supplémentaire :

• Consultez les registres d’application pour plus de détails sur les erreurs.

• Vérifiez les paramètres de configuration.

• Assurez-vous que toutes les conditions préalables sont remplies.

• Contactez votre administrateur système pour les problèmes liés aux autorisations.