Transferts de fichier (JOBF)
Le transfert de fichiers fait partie intégrante du traitement. L'objet Transfert de fichier est un outil puissant et flexible permettant de définir des paramètres pour échanger n'importe quel fichier d'un système à un autre. Pour que les objets Transfert de fichiers puissent fonctionner, un agent doit être installé à la fois sur l'ordinateur source et cible. Le transfert peut être structuré, en autorisant ainsi l'échange des fichiers avec des champs compressés et binaires dans des environnements système hétérogènes. Tous les transferts réseau sont encodés par défaut.
Si une conversion de caractères est nécessaire, le système la fait automatiquement en utilisant une Table de codes (CODE).
Classe de l'objet : Objet exécutable
Type d'objet / nom court : JOBF
Cette rubrique contient les sujets suivants :
Définir des transferts de fichier
La procédure de définition d'un objet transfert de fichier (JOBF) est la même que pour n'importe quel autre objet. Cette section décrit les paramètres spécifiques aux objets transfert de fichier.
La définition des objets transfert de fichier se compose des pages suivantes :
- Pages standard toujours accessibles, quel que soit le type d'objet à définir :
- Pages supplémentaires toujours disponibles pour les objets exécutables :
- Page spécifique à l'objet décrite ici.
Remarque : Tous les paramètres définis dans cette page peuvent être lus et modifiés lors de l'exécution. Pour cela, vous pouvez utiliser les éléments de script accédant aux attributs de l'objet. Cochez la case Afficher le dialogue des attributs lors de l'activation de la page Attributs pour activer cette fonction. Dans le script, les attributs sont traités en dernier.
Pour définir un objet transfert de fichier
-
Dans la section Paramètres source, spécifiez le fichier à transférer et son origine.
-
Agent
Sélectionnez ici le nom de l'agent où se trouve le fichier à transférer. Voir Listes déroulantes.
Vous pouvez sélectionnez un agent ou un groupe d'agents. N'oubliez-pas que les groupes d'agents peuvent être soit source, soit cible, mais pas les deux. Pour plus d'informations, voir Groupes d'agents dans les transferts de fichiers.
-
Login
Objet Login contenant les informations nécessaires pour que le transfert de fichier puisse se connecter au système cible.
-
Code
Sélectionnez la table de codes correspondant à l'agent. Lorsque vous saisissez une chaîne de caractères, la fonction de recherche rapide vous permet d'afficher une liste de tous les résultats contenant la chaîne saisie.
En plus des objets table de codes, cette liste contient d'autres options pouvant être utilisées pour le transfert des fichiers Unicode :
- <UTF-8>
- <UCS-2BE>
- <UCS-2LE>
En sélectionnant une de ces options, la liste déroulante Code des Paramètres destination devient inaccessible et un modèle de code est défini dans Fichier.
-
Fichier
Remplacez le texte factice par le ou les noms de fichiers(s). Vous pouvez également saisir un chemin. Vous pouvez utiliser des caractères génériques pour le nom du fichier, mais pas dans le chemin.
Transfert de fichier partiellement qualifié : Utilisez un filtre composé de caractères génériques et de parties fixes du nom du fichier au lieu de spécifier un nom complet.
Tenez compte des éléments suivants :
-
VMS
Les agents VMS ne résolvent pas les noms logiques. Spécifiez ici le répertoire et le nom du fichier, sinon le fichier ne pourra pas être trouvé.
-
z/OS
La spécification des fichiers z/OS dépend du système de fichier utilisé (USS ou hôte). Par exemple :
- Système de fichiers USS (chemin absolu) : /dir1/dir2/fichier
- Système de fichiers USS (chemin relatif) : ./dir1/dir2/fichier
- Système de fichiers hôte : FLQN.DATASET.NAME
Important ! Dans le système de fichiers USS, le nom des fichiers doit être conforme à la norme internationale de codage EBCDIC. Sinon le nom des fichiers cibles pourra être incorrect.
-
UNIX
Reportez-vous à Call API Unix pour les paramètres à utiliser et les conditions applicables aux transferts de fichiers sous les agents UNIX.
-
-
Attributs fichier
Indications supplémentaires des attributs de fichier. Les attributs à spécifier dépendent du système d'exploitation de l'objet. Voir Fonctionnalités spécifiques aux plateformes pour plus d'informations.
-
-
À la section Paramètres de destination, spécifiez la cible du transfert.
-
Agent
Sélectionnez ici le nom de l'agent auquel le fichier sera transféré.
Vous pouvez sélectionnez un agent ou un groupe d'agents. N'oubliez-pas que les groupes d'agents peuvent être soit source, soit cible, mais pas les deux.
-
Login
Objet Login contenant les informations nécessaires pour que le transfert de fichier puisse se connecter au système cible.
-
Code
Sélectionnez la table de codes correspondant à l'agent. Lorsque vous saisissez une chaîne de caractères, la fonction de recherche rapide vous permet d'afficher une liste de tous les résultats contenant la chaîne saisie.
Si vous sélectionnez UTF-8, UCS 2BE ou UCS 2LE comme code de fichier source file, ce champ ne sera pas accessible.
-
Fichier
Remplacez le texte factice par le ou les noms de fichiers(s). Vous pouvez également saisir un chemin. Vous pouvez utiliser des caractères génériques pour le nom du fichier, mais pas dans le chemin.
Vous pouvez utiliser les variables suivantes dans le nom du fichier cible : &$SRC_AGENT#. Le transfert de fichier remplace cette variable par le nom de l'agent d'origine du fichier. Par exemple :
C:\temp\&$SRC_AGENT#_test*.txt
Transfert de fichier partiellement qualifié : Utilisez un filtre composé de caractères génériques et de parties fixes du nom du fichier au lieu de spécifier un fichier complet.
-
Attributs fichier
Indications supplémentaires des attributs de fichier. Les attributs à spécifier dépendent du système d'exploitation de l'objet. Voir Fonctionnalités spécifiques aux plateformes pour plus d'informations.
Si vous sélectionnez UTF-8, UCS 2BE ou UCS 2LE comme code de fichier source file, ce champ ne sera pas accessible.
-
-
À la section Paramètres de transfert, spécifiez les paramètres devant régir le transfert.
-
Format du fichier
Sélectionnez le format avec lequel le fichier sera transféré.
-
Texte
Cochez cette option si le fichier à transférer est un fichier texte
-
Binaire
Cochez cette option si le fichier à transférer est un fichier binaire.
-
-
Attributs d'origine du fichier
Sélectionnez cette option pour conserver les attributs du fichier source. Les attributs des fichiers de destination sont remplacés.
Cette option ne fonctionne que si :
- les plateformes source et de destination sont compatibles
- le nouveau protocole de transfert de fichier est utilisé (les agents source et cible possèdent Automation Engine en version 9.00A ou supérieure).
Important !
- Pour BS2000, OS/400 et z/OS, les attributs d'origine ne peuvent pas être remplacés par des spécifications supplémentaires dans l'objet transfert de fichier (cible). Toute tentative de le faire se traduit par un message d'erreur et le transfert de fichier échoue.
- La prise en charge de cette option associée à des fichiers se trouvant dans la librairie de bande virtuelle VTL n'est pas prise en charge pour z/OS. Cette option implique que le jeu de données soit sur un lecteur.
Il est recommandé d'activer ce paramètre car le fichier cible peut se corrompre si les attributs ne sont pas envoyés ou modifiés lors d'un transfert de fichiers texte entre ordinateurs OS/400.
-
Compression
Détermine si les fichiers transférés doivent être compressés.
-
Valeur par défaut :
Applique la valeur définie dans la variable d'agent UC_HOSTCHAR_DEFAULT (paramètre FT_COMPRESS). Les fichiers sont transférés en mode compressé si les deux agents ont des paramètres différents. Par exemple :
WIN01 : aucune compression
UNIX01 : compression activeLes fichiers sont transférés compressés.
L'agent utilise la méthode LZP+Huffman pour la compression.
Remarque : Lorsque vous utilisez la compression, vérifiez que le temps requis pour la compression est inférieur au temps gagné grâce à un transfert plus court. Un composant important pour votre décision est la bande passante disponible de votre connexion réseau. Vous ne pouvez pas accroître les performances des réseaux rapides (100 Mbits) car le processus de compression dure plus longtemps que le gain réalisé en réduisant le temps du réseau. Si la bande passante disponible est de 10 Mbits ou moins, un gain de performance peut déjà être obtenu grâce à la compression.
- Oui : Les fichiers sont compressés
- Non : Les fichiers ne sont pas compressés
Oui et non remplacent la valeur définie dans la variable système / agent
-
-
Si le fichier existe à destination
Sélectionnez l'action à entreprendre si le fichier existe déjà à la destination. Vous pouvez :
-
Interrompre le transfert
Si le fichier existe déjà dans le système cible, le transfert est alors interrompu.
-
Écraser le fichier
Si le fichier existe déjà dans le système cible, le fichier est remplacé par celui qui va être transféré.
-
Ajouter au fichier
Si le fichier existe déjà dans le système cible, le fichier à transférer s'ajoute au fichier existant.
-
-
Effacer le fichier source
Sélectionnez cette option si vous ne souhaitez pas conserver le fichier d'origine sur le système source.
Important !
- Des droits particuliers sont requis sous UNIX si ce fichier doit être supprimé. Voir Autorisations pour supprimer les fichiers source dans les transferts de fichiers.
- Un transfert de fichier se termine également par le statut ENDED_OK lorsque tous les fichiers ont été correctement transférés, mais qu'il était impossible de supprimer le fichier source.
-
Utiliser des caractères génériques
Cochez cette option pour pouvoir transférer des fichiers avec des caractères génériques :
- Interrompre à la première erreur : En cas d'erreur pendant le transfert, le transfert de fichier s'interrompt.
- Inclure les sous-répertoires : Transfère également le contenu des sous-répertoires.
- Transférer la structure complète du dossier : Transfère tous les contenus.
-
Procédure des transferts de fichier
Automation Engine envoie l'intégralité de la requête de transfert de fichier à l'agent source. Cette requête inclut également des spécifications de caractères génériques dans les transferts de fichier partiellement qualifiés. L'agent source est chargé de résoudre cette requête et de récupérer les fichiers à envoyer.
-
L'agent source (expéditeur) tente d'abord d'établir la connexion avec l'agent cible (destinataire).
- S'il y parvient, il transfère les fichiers au destinataire.
- S'il échoue, le destinataire notifie Automation Engine.
- Automation Engine envoie la requête de transfert de fichier au destinataire qui tente d'établir la connexion avec l'expéditeur. Une fois la connexion établie, le destinataire transfère la requête à l'expéditeur.
Vérification de l'espace disque
Selon le système d'exploitation, le système Automation Engine vérifie l'espace disque sur la plateforme cible, avant de lancer le transfert de fichier. Si l'espace disque est insuffisant, il est alloué.
-
BS2000
L'espace disque nécessaire estimé est alloué lorsque l'option Conserver les attributs d'origine du fichier a été activée dans l'objet Transfert de fichier.
-
NSK
L'espace disque n'est pas vérifié.
-
OS/390
Système de fichier natif : L'espace disque est alloué à l'aide de l'attribut SPACE pour la cible du transfert de fichier.
-
OS/390
Système de fichier natif USS : L'espace disque n'est pas vérifié.
-
OS/400
- Système de fichier natif : L'espace disque est alloué lorsque soit l'option Conserver les attributs originaux de fichier est définie, soit l'attribut SIZE est défini comme cible.
- Système de fichiers IFS : L'espace disque disponible est vérifié.
-
UNIX
Dépend de ce qui a été spécifié dans le paramètre du fichier INI
ft_check_free_disk_space=
. -
VMS
L'espace disque disponible est vérifié.
-
Windows
Dépend de ce qui a été spécifié dans le paramètre du fichier INI
ft_check_free_disk_space=
.
Traitement des transferts de fichiers
Chaque transfert de fichier établit sa propre connexion séparée entre les agents. Les fichiers sont toujours envoyés l'un après l'autre et, si l'agent affecté prend en charge cette fonctionnalité, chaque transfert de fichier est traité dans un thread ou un processus distinct. Cela signifie que plusieurs transferts de fichiers sont traités indépendamment.
Les threads sont pris en charge par les agents des systèmes d'exploitation suivants :
- OS/400
- Unix
- Windows
- z/OS
Pour NSK, chaque transfert de fichier est traité dans un processus séparé. Ainsi, l'agent NSK possède un deuxième port spécialement dédié aux transferts de fichiers.
Remarque : Les transferts de fichiers continuent même en cas d'erreur de connexion entre Automation Engine et les agents. Le statut actuel du transfert de fichier est envoyé à Automation Engine dès le rétablissement de la connexion.
Vérifications garantissant la fiabilité des transferts
La fiabilité du transfert de fichiers est assurée par les procédures suivantes :
-
Sécurité du transfert
L'exactitude des données transférées est assurée par une somme de contrôle MD5 contenue dans le train de données. Les données sont alors vérifiées par paquet.
-
Contrôle de cohérence pour les transferts de fichiers redémarrés
Vous ne pouvez pas répéter chaque transfert de fichier séparément. UI transfert de fichier incorrect peut être répété à partir du dernier point de reprise.
A intervalle donné, les agents créent automatiquement des points de reprise pendant le transfert des fichiers (paramètre FT_RESTARTINFO_INTERVAL dans la variable système UC_HOSTCHAR_DEFAULT - Caractéristiques de l'hôte). L'agent enregistre localement ces informations dans les fichiers de stockage des statuts de son ordinateur. En cas d'erreur, le transfert de fichier peut être relancé à partir du dernier point de reprise du fichier (option de reprise Depuis le dernier point de reprise). Grâce à cette fonction, il est possible d'économiser du temps lorsque, par exemple, la moitié d'un gros fichier a déjà été transféré.
Afin de s'assurer que le fichier cible correspond à une reprise réussie du fichier source, les données transférées sont différenciées avec un total de contrôle MD5. Lors de la création d'un point de reprise, le système extrait également le total de contrôle MD5 et l'enregistre dans le fichier de stockage des statuts. Si le fichier partiellement transféré est modifié sur l'ordinateur de l'agent destinataire, les totaux de contrôle sont différents. Dans ce cas, la reprise génère une erreur.
Remarques :
- Utilisez les paramètres FT_RESTARTINFO_LIFETIME et FT_RESTARTINFO_CHECK de la variable système UC_HOSTCHAR_DEFAULT pour spécifier que les fichiers de stockage des statuts doivent être supprimés.
- Afin de gagner du temps de transfert, la somme de contrôle MD5 n'est pas calculée pour les fichiers inférieurs à 1 Mo.
- La somme de contrôle MD5 peut être désactivée avec le paramètre FT_USE_MD5 de la variable système UC_HOSTCHAR_DEFAULT.
Fichiers de stockage des statuts
Selon la plateforme de l'agent, les fichiers de stockage des statuts sont enregistrés dans les répertoires suivants :
-
Windows
-
Répertoire : Répertoire Temp de l'agent.
-
Nom du fichier : FTNNNNNNN.sts
NNNNNNN étant le RunID du transfert de fichier, converti en une chaîne de 7 caractères. Vous pouvez utiliser l'élément de script ALPHA2RUNNR pour le convertir en un RunID normal à 10 chiffres.
Un fichier de stockage des statuts par transfert de fichier.
-
-
BS2000
-
Répertoire : Répertoire Temp de l'agent.
-
Nom du fichier : FTNNNNNNN.sts
Un fichier de stockage des statuts par transfert de fichier.
-
-
UNIX/VMS
-
Répertoire : Répertoire Temp de l'agent.
-
Nom du fichier : FTNNNNNNN.sts
Un fichier de stockage des statuts par transfert de fichier.
-
-
OS/400
-
Répertoire : Selon le paramètre
store_type=
du fichier INI -
Nom du fichier : IFS : FTNNNNNNN.sts
QSYS : Objet avec un nom FTNNNNNNN et de type USRSPC
Un fichier de stockage des statuts par transfert de fichier.
-
-
NSK
-
Répertoire : Sous-volume dans le fichier de configuration (voir l'installation de l'agent NSK)
-
Nom du fichier : Tel que défini dans le fichier INI de l'agent, section [FT-STATUS-STORE].
Quatre fichiers de stockage des statuts contenant toutes les informations de reprise
-
-
z/OS
-
Nom du fichier : Jeu de données de stockage des statuts. Voir : Installer l'Agent z/OS.
Jeu de données de stockage des statuts contenant toutes les informations de reprise
-
Fonctionnalités spécifiques aux plateformes
Vous pouvez aussi spécifier des attributs de fichier pour les noms de fichiers de la cible du transfert de fichier :
- Agent BS2000 - Support du transfert de fichier
- Agent z/OS - Support du transfert de fichier
- Agent - Interaction entre Automation Engine et NSK
- Agent OS/400 - Support du transfert de fichier
- Agent UNIX - Prise en charge du transfert de fichiers
- Agent VMS - Prise en charge du transfert de fichiers
- Agent Windows - Support du transfert de fichier
Étapes suivantes :
Exécuter un objet
Les objets Transfert de fichier pouvent être inclus dans des Objets Schedule (JSCH), ils peuvent donc être exécutés automatiquement à des dates ou intervalles de temps prédéfinis. De la même manière, ils peuvent faire partie de workflows (voir Concevoir des workflows (JOBP)).
Vous pouvez également les exécuter, les relancer ou les arrêter manuellement. Pour plus d'informations, voir Exécuter des transferts de fichiers.
Surveiller les transferts de fichiers
Juste après avoir exécuté un objet, vous pouvez commencer à le surveiller. Faites un clic droit dessus pour sélectionner Surveiller et ouvrir la liste préfiltrée des tâches, afin d'afficher celle-ci. Voir Afficher dans la perspective Surveillance des processus.
La perspective Surveillance des processus vous permet de suivre leur progression et d'accéder aux rapports et informations statistiques qui leur sont associés. Voir Travailler avec des tâches.
Voir aussi :