Google Cloud Composer (GC Composer) - Run DAG Jobs

Automic Automation Run DAG Jobs starten und überwachen Airflow DAGs in Google Cloud Composer-Umgebungen. Der Run DAG Job, den Sie in Automic Automation erstellen, stellt die Airflow DAG im Google Cloud Composer dar, nicht ihre Aufgaben. Wenn Sie den Automic AutomationRun DAG Job ausführen, lösen Sie eine Ausführung der Airflow DAG in der Google Cloud Composer-Zielumgebung aus.

Diese Seite beinhaltet Folgendes:

Automic Automation GC Composer-Jobs definieren

Eine Automic Automation Run DAG Job-Definition besteht aus den folgenden Seiten:

Darüber hinaus besteht ein Automic Automation Run DAG Job aus den folgenden spezifischen Seiten, die wir in diesem Thema erklären:

  • RUN DAG

  • Rapid Automation

RUN DAG

Auf der Seite Run DAG geben Sie die Parameter ein, die die Airflow DAG identifizieren, die der GC Composer Job steuert.

  • Ort

    Region für die Google Cloud Composer-Umgebung.

    Beispiel: us-west1

  • Umgebung

    Name der Google Cloud Composer-Umgebung.

  • DAG ID

    Hier wählen Sie den Run DAG Job am konfigurierten Ort und in der Umgebung aus, die dieser Job starten und überwachen wird.

    1. Klicken Sie auf die Schaltfläche, um ein Dialogfeld mit der Liste aller verfügbaren Airflow DAGs in der Google Cloud Composer-Umgebung zu öffnen.

    2. Um nach einer DAG zu suchen, geben Sie ihren Namen ein, um die Liste auf die DAGs zu begrenzen, die mit Ihrer Eingabe übereinstimmen.

    3. Sobald Sie die von Ihnen benötigte gefunden haben, klicken Sie auf Auswählen.

    Hinweis: Diese Liste wird erst gefüllt, wenn Sie den Ort und den Namen der Google Cloud Composer-Umgebung eingegeben haben.

  • DAG-Aufgaben-Logs übertragen

    Geben Sie an, ob die Aufgaben-Logs dem Job-Report hinzugefügt werden sollen:

    • Nie

      Dies ist die Standardeinstellung. Der Report enthält nur eine Zusammenfassung der Aufgaben und ihren Status.

    • Immer

      Der Job-Report enthält die Logs jeder Unteraufgabe in der DAG-Aufgabe. Die Auswahl dieser Option kann zu sehr großen Reports führen.

    • Nur bei Fehler

      Der Job-Report enthält Logs zu jeder fehlgeschlagenen Aufgabe.

Rapid Automation

Auf dieser Seite geben Sie an, wo der Job gespeichert werden soll, wann er generiert werden soll und ob er Agenten-Log-Informationen enthält.

Job-Report

Wenn Sie einen Job konfigurieren, legen Sie fest, wo der Job-Report gespeichert werden soll und wann er im Bereich Job-Report auf der plattformspezifischen Seite generiert werden soll.

Speicherort des Reports

Sie haben dafür zwei Möglichkeiten. Sie können eine Option oder beide gleichzeitig auswählen:

  • Speichere in: Datenbank bedeutet, dass nach der Ausführung des Jobs das auf dem Zielsystem (auf dem Agenten) verfügbare Prozesslog in der Datenbank gespeichert wird.

    Wenn ein Auftrag auf einem Agenten ausgeführt wurde, wird der entsprechende Report auf dem Agentencomputer gespeichert. Nachdem diese Daten durch die Automation Engine in die Datenbank geschrieben wurden, wird der Report automatisch vom Agentencomputer gelöscht. Wenn dieser Job-Report aufgrund eines Fehlers nicht gelöscht werden kann, wird der Löschvorgang nicht wiederholt und eine Fehlermeldung ausgegeben.

  • Speichere in: Datei bedeutet, dass das Prozesslog als Datei in einem Zielsystem (Agent) gespeichert wird.

Wann soll der Report erstellt werden?

Sie haben dafür zwei Möglichkeiten:

  • Generiere: Immer bedeutet, dass das Prozesslog des Betriebssystems immer geschrieben wird.

  • Generieren: Nur im Fehlerfall bedeutet, dass das Prozesslog nur dann geschrieben wird, wenn ein Fehler auftritt. Zum Beispiel, wenn der Job abgebrochen wird.

Optionale Reports

Wählen Sie diese Option aus, um das Agent-Log in den Job-Report aufzunehmen. Diese Option wird für Zwecke der Fehlerbehebung empfohlen.

Weitere Informationen finden Sie hier:

Run DAG Jobs ausführen

Wenn Sie den Automic Automation Run DAG Job ausführen, ist die Aufgabe Automic Automation Run DAG in der Liste der Aufgaben in der Process Monitoring-Perspektive zu sehen. Die Airflow DAG meldet die folgenden Informationen an Automic Automation zurück:

  • DAG-Start- und Enddaten

  • Dauer der Ausführung

  • Status

Der Remote-Status der DAG-Ausführung auf dem Zielsystem wird auch an Automic Automationzurückgemeldet. Sie können ihn wie folgt prüfen:

  1. Gehen Sie zur Aufgabenliste in der Process Monitoring-Perspektive.

  2. Suchen Sie die Automic Automation DAG-Aufgabe. Weitere Informationen finden Sie unter Aufgaben filtern

  3. Wählen Sie die Aufgabe aus, und wählen Sie die Schaltfläche Details aus, um ein Teilfenster mit Informationen zur Aufgabenausführung zu öffnen.

Verfügbare Aktion zur Ausführung von DAG-Aufgaben

Sie können Run DAG Jobs ausführen und die entsprechenden Aufgaben abbrechen. Abbrechen bedeutet, dass die Automic Automation Run DAG-Aufgabe abgebrochen wird, nicht die Airflow DAG in der Google Cloud Composer-Umgebung.

Run ID

Wenn Sie einen Automic Automation Rund DAG Job ausführen, wird in Airflow eine DAG Run ID erzeugt. Automic Automation verwendet diese DAG Run ID, um die entsprechende Automic Automation RunID zu erstellen, die in der Process Monitoring-Perspektive angezeigt wird. Die Automic Automation RunID ist wie folgt aufgebaut:

<Automic-Systemname>-<Automic-Job-RunID>

Weitere Informationen finden Sie hier:

Siehe auch: