Manuel d'administration > Base de données > Maintenance de la base de données > Méthode B - partitionnement avec ILM

Partitionnement avec ILM

Le fonctionnement quotidien d'un système AE génère d'importants volumes de données.

On compte parmi ces données :

Vous pouvez entretenir la base de données AE en la partitionnant avec ILM (Information Lifecycle Management).

Généralités

Partitionnement signifie que les données mentionnées ci-dessus sont enregistrées dans des zones qui leur sont propres. La répartition en partitions simplifie la maintenance, car les enregistrements de données qui appartiennent à une certaine période sont enregistrés au même emplacement et peuvent ainsi être archivés et réorganisés ensemble.

Le point de départ est l'activation d'un objet, de processus serveur, d'Agents, etc. L'enregistrement statistique ainsi créé est enregistré dans la partition actuelle. Toutes les données correspondantes, telles que les rapports, sont archivées dans la partition dans laquelle l'enregistrement statistique se trouve.

Vous pouvez déterminer vous-même combien de partitions vous voulez créer et où vous voulez les créer. L'intervalle dans lequel le changement de partition doit se produire est également configurable.

Le partitionnement avec ILM est pris en charge pour MS SQL Server (uniquement pour Enterprise ou Developers Edition) et Oracle.

La supervision système contient sa propre zone nommée ILM dans laquelle sont affichées les partitions.

L'accès à cette zone est protégé par un privilège qui lui est propre.

Veuillez noter que les versions d'objet et les objets supprimés doivent alors être réorganisés avec les utilitaires si vous utilisez le partitionnement avec ILM !

Mode de fonctionnement

Voyons le principe de partitionnement à l'aide d'un exemple :

Il existe trois partitions dans la base de données AE. Le changement de partition intervient toujours au début du mois. La partition "P1" contient donc les enregistrements des activations de septembre et la partition "P2" ceux d'octobre. On est en novembre et la partition actuelle est "P3". Les données d'un objet activé maintenant y sont donc enregistrées. Une tâche qui a démarré en octobre et se termine maintenant est enregistrée dans la partition "P2".

Les trois partitions "P1", "P2" et "P3" sont en ligne, autrement dit, il est possible d'y sauvegarder les enregistrements de Automation Engine.

Quelques semaines se sont écoulées. Nous sommes en décembre et le changement de partition a lieu. La nouvelle partition "P4" est maintenant la plus récente. Dans la mesure où le nombre de partitions en ligne peut être défini librement, le système vérifie d'abord si cette valeur est dépassée. Dans cet exemple, la valeur spécifiée est de "3", ce qui signifie que le conteneur (espace de table / groupe de fichiers) utilisé est le même que pour la partition "P1". Les données de la partition “P1” restent accessibles jusqu'à ce que vous décidiez de supprimer la partition.

Partitions

Dans l'exemple précédent, les enregistrements statistiques, les rapports, les messages, etc. appartenant à une période sont enregistrés dans une partition commune. Vous pouvez également créer des rapports et des messages dans une seule partition. Il existe trois Variables, dans lesquelles vous pouvez définir le nombre et l'emplacement d'enregistrement des partitions :

Les trois variables doivent comporter un nombre identique d'entrées. Vous ne pouvez pas, par exemple, utiliser 5 partitions pour les enregistrements statistiques et seulement 3 pour les rapports.

Changement de partition

Vous pouvez définir les jours auxquels un changement de partition doit avoir lieu dans un objet calendrier. Entrez le nom de l'objet calendrier et de la règle de calendrier dans la clé CALENDAR de la variable UC_ILM_SETTINGS. Le changement de partition a lieu à 00:00 les jours spécifiés. Le fuseau horaire du client système 0000 est utilisé pour déterminer l'heure. Si Automation Engine n'est pas actif à ce moment-là, le changement de partition est exécuté lors du prochain démarrage.

Si le moment d'un changement de partition est arrivé, le traitement est interrompu dans le système AE et mis en attente jusqu'à ce que tous les processus de travail de la transaction de base de données actuelle soient terminés. La clé TIMEOUT de la Variable UC_ILM_SETTINGS détermine la durée d'attente maximale. S'il n'existe aucune transaction de base de données active, une nouvelle partition peut être créée.

Le système vérifie ensuite si plusieurs partitions sont en ligne, comme défini dans la Variable UC_ILM_SETTINGS avec la clé ONLINE_PARTITIONS. Dasn ce cas (MS SQL Server), le système vérifie si les partitions qui dépassent la valeur spécifiée contiennent des enregistrements de données de tâches actives.

Le fichier log de Automation Engine contient les informations détaillées relatives au changement de partition. Il contient une liste de toutes les tâches actives appartenant à la partition qui ne doit plus être en ligne.

Vous pouvez à tout moment vérifier si une partition contient des tâches actives dans la Supervision système, dans la zone ILM. Vous obtenez ici également une liste.

MS SQL Server : le serveur est désactivé si une partition ne contient plus d'enregistrement de données de tâches actives. Une table de Staging, que vous pouvez sauvegarder, décharger, etc. est créée.
Dans les bases de données Oracle, la partition reste telle quelle et vous pouvez créer des sauvegardes, générer des exports, etc. au niveau de la partition à l'aide des outils Oracle, puis les supprimer. Pour Oracle, AE ne contrôle les tâches encore actives que lors de la tentative de suppression de la partition.

La partition reste telle quelle si contient toujours des enregistrements de données de tâches actives. Lors du prochain changement, cette partition est contrôlée encore une fois. Vous pouvez vérifier la liste des tâches actives, la modifier puis procéder à une désactivation ou une suppression de la partition correspondante dans la supervision système.

Notez que vous pouvez archiver, supprimer, etc. une partition même si elle contient des tâches actives. Automic recommande de n'effectuer ces actions qu'après discussion avec le support. Par exemple, si une tâche et son enregistrement statistique appartiennent à une partition supprimée, son rapport ne peut pas être enregistré et est perdu.

Pour que le système puisse réagir aussi bien en cas de changement de partition réussi qu'en cas d'échec, la Variable UC_ILM_SETTINGS permet de définir des objets qui doivent être activés dans ces types de situations. Les clés EXECUTE_ON_SUCCESS et EXECUTE_ON_FAILURE sont utilisées à cet effet.

Tâches de longue durée

Comme décrit ci-dessus, les tâches actives empêchent la désactivation des partitions qui contiennent des enregistrements statistiques de ces tâches actives. Automic recommande de préciser un intervalle de changement de partition trop petit afin d'éviter si possible cette situation. Il existe malgré tout des tâches qui, par définition, durent très longtemps ou ne se terminent jamais.

Un changement de log régulier et un nouvel enregistrement statistique est créé pour les tâches suivantes :

Comparez l'intervalle de changement de log avec l'intervalle de changement de partition.

Un changement de log est automatiquement exécuté avant le changement de partition pour les tâches suivantes :

Vous devez intervenir manuellement pour les tâches suivantes, car aucun changement de log n'a lieu :

Droits de base de données pour ILM

Un utilisateur de la base de données avec des droits de schéma est requis pour effectuer les actions de la base de données qui sont nécessaires pour utiliser le partitionnement avec ILM. Pour des raisons de sécurité, Automic recommande d'utiliser un utilisateur de base de données dédié pour les actions ILM. Créez un objet Login dans le client système 0000 et indiquez les données de connexion de l'utilisateur de la base de données. Entrez ensuite le nom de l'objet Login dans la Variable UC_ILM_SETTINGS dans la clé LOGIN.

L'utilisateur de la base de données pour les actions ILM et l'utilisateur de la base de données que vous indiquez dans le fichier INI de Automation Engine dans la section [ODBC], doivent posséder un droit de lecture sur les tables système suivantes :

Par ailleurs, les droits suivants sont encore requis pour l'utilisateur de la base de données pour les actions ILM :

Installation

L'installation de ILM s'effectue à l'aide de l'utilitaire AE.DB Load pendant le chargement des données initiales. Installarion ILM :

Si vous n'optez pas pour le partitionnement avec ILM, vous devez entretenir la base de données AE à l'aide des utilitaires.

Attention : le partitionnement avec ILM ne peut plus être désinstallé lorsqu'il a été installé une fois ! Vous pouvez toutefois désactiver la fonctionnalité ILM. Si ILM n'est pas actif, aucun changement de partition n'a lieu, ni aucune désactivation (cette dernière ne concerne que le Serveur MS SQL Server).

Si vous utilisez une base de données Oracle, Automation Engine version 8.00A ne peut contenir qu'un seul modèle dans l'instance Oracle utilisée pour ILM.

Déroulement

  1. Déterminez combien de partitions vous souhaitez pour votre système AE et où vous voulez les enregistrer.
  2. Créez les groupes de fichiers (MS SQL Server) ou les espaces de table (Oracle). Ils ne doivent contenir que des données du système AE afin de faciliter l'archivage et la sauvegarde des partitions. Automation Engine ne vérifie pas si les groupes de fichiers ou les espaces de table sont encore utilisés.
  3. Lancez l'utilitaire AE.DB Load et chargez les données initiales. Un masque dans lequel vous pouvez définir les paramètres principaux pour ILM apparaît.
  4. Sélectionnez la case à cocher "Installer ILM".
  5. Lorsque ILM est installé, un "switch in" des enregistrements dans le tableau de la base de données se produit. Ne décochez pas l'option "ne pas changer après l'installation" s'il y a des enregistrements dans le tableau EH.

  6. Indiquez le nombre de partitions en ligne.
  7. Dans le cas d'une mise à jour à Automation Engine version ou dans la version 8.00A ou supérieure, vous pouvez cocher la case "Effectuer l'activation ('switch in') après installation". Les données existantes sont alors reprises dans les partitions.
  8. Entrez les groupes de fichiers (MS SQL Server) ou les espaces de table (Oracle).
  9. Tous les autres paramètres peuvent être spécifiés dès que Automation Engine est actif et que vous vous êtes connecté au système AE via l'interface utilisateur.
  10. Connectez-vous au Client système 0000.
  11. Adaptez les Variables UC_ILM_SETTINGS et également, si besoin, les Variables UC_CONTAINER_*.
  12. Ajustez le réglage CHANGE_LOGGING_DAYS dans UC_SYSTEM_SETTINGS pour le traitement des partitions.
  13. Automatisez le traitement des partitions (par exemple, archivage, sauvegarde, suppression, etc.).

Remarque importante pour MS SQL Server

Il est absolument nécessaire, pour le fonctionnement du changement de partition et donc de la désactivation et de l'activation associées, que tous les index soient définis localement, c'est-à-dire qu'ils soient partitionnés exactement selon la même règle que les tables elles-mêmes. Les index définis globalement empêchent les désactivations et les activations !

Script

La fonction de script ILM permet de contrôler des fonctionnalités particulières.