Analytics Backend und Analytics Datastore
Wichtig! Datenbanksysteme und Datenbankspeicher müssen ausfallsicher und redundant sein. Dieser Abschnitt befasst sich nicht mit diesem Thema.
|
Module |
Große Konfiguration |
High-End-Konfiguration |
||||||
|---|---|---|---|---|---|---|---|---|
|
Nr. |
CPU |
Speicher |
Festplatte |
Nr. |
CPU |
Speicher |
Festplatte |
|
| Analytics & Datastore | 1 x | 32 Kerne | 256 GB | 2 TB | 1 x | 32 Kerne | 256+ GB | 4 TB |
|
Anzahl von |
||||||||
|
Gleichzeitigen Benutzern |
< 200 |
> 200 |
||||||
|
Agenten |
< 1 000 |
> 1 000 |
||||||
|
Objektdefinitionen |
< 100 000 |
> 100 000 |
||||||
|
Gesamtanzahl der Ausführungen pro Tag |
< 1 500 000 |
> 1 500 000 |
||||||
|
|
||||||||
| WP | 2 x 16 | 4 x 16 | ||||||
| DWP* | 2 x 45 | 4 x 45 | ||||||
| JWP* | 2 x 10 | 4 x 10 | ||||||
| CP | 2 x 2 | 4 x 4 | ||||||
Empfehlungen für die Dimensionierung und Speicherung
Hinweis: Für mittlere und größere Installationen wird empfohlen, regelmäßig Backup und Trunkierung für den Analytics Datastore einzurichten. Um eine stabile Diagrammleistung zu gewährleisten, sichern, trunkieren und behalten Sie lediglich die letzten 3 - 12 Monate im Datastore.
Weitere Informationen finden Sie unter: Handbuch Datastore
Empfehlungen zur Einrichtung
- Das UI-Plugin wird immer einem oder mehreren Hosts hinzugefügt, auf denen AWI installiert ist
- Der Datastore und das Backend sollten beide auf einem dedizierten Host installiert sein
- Das Backend muss vom AWI-Host aus über HTTP oder HTTPs erreichbar sein. Das Backend muss eine Verbindung zum Datastore und zu allen erforderlichen Datenbanken (AE, ARA) herstellen können.
| Wie viel Festplattenspeicher wird benötigt? | Ein GB für alle hunderttausend Ausführungen in der Automation Engine. |
| Muss ich den Datastore sichern? |
Der Analytics Datastore wurde entwickelt, um große Datenmengen zu speichern. |
| Allgemeine Datenbankregeln |
Die folgenden Informationen gelten für alle Datenbankanbieter. Die Logdateien müssen auf den schnellsten verfügbaren Festplatten abgelegt werden (Beispiel: SSDs). ORACLE: REDO LOG FILE DESTINATION |
Effizienzmaximierung durch den Analytics Datastore
Wir empfehlen Ihnen, PostgreSQL 9.6+ mit großen und High-End-Konfigurationen zu installieren. Mit dieser Version können Sie die Funktion der parallelen Abfrage nutzen.
Um parallele Abfragen zu ermöglichen, müssen vor dem Start von PostgreSQL zwei Parameter eingestellt werden:
- max_worker_processes = 8
Der Standardwert ist auf acht eingestellt. Der Wert sollte entsprechend der Anzahl der Kerne eingestellt werden, die der Datenbankadministrator für die PostgreSQL Datenbank zuteilt. - max_parallele_Arbeiter_pro_Sammlung = 7
Der Wert sollte auf den Wert der max_worker_processes minus eins gesetzt werden.
Sie können die zuvor genannten Parameter im Abschnitt Benutzerdefinierte Optionen der Datei postgresql.conf konfigurieren. Diese Datei finden Sie hier:
Windows: C:\Program Files\PostgreSQL\9.6\data\postgresql.conf
Linux: /etc/postgresql/9.6/main/postgresql.conf
Beispiel:
Wenn PostgreSQL auf einem Host mit 32 Kernen läuft, reservieren Sie 4 Kerne für das Backend:
- max_worker_processes = 28 #
- max_parallel_workers_per_gather = 27 #
Analytics Rule Engine
Wichtig! Meldungs-Queue-Systeme und Datenbankspeicher müssen immer ausfallsicher und redundant sein. Dieser Abschnitt befasst sich nicht mit diesem Thema.
Empfehlungen für die Dimensionierung und Speicherung
-
IA-Agent-Elemente
- Siehe bestehende, zuvor erwähnte Empfehlungen für das Analytics Backend
- Auf einer einzigen Box: 16 Kerne für eine kleine Konfiguration und 32 Kerne für eine mittelgroße Konfiguration
- + 8 - 16 GB RAM zusätzlich zu bestehenden Speicherempfehlungen
-
Streaming-Plattform-Elemente
- 1x4 Kerne
- 16-GB-RAM
- Festplatte: Erwartete Ereignisgröße * erwartete Ereignisse pro Sekunde * wie viele Sekunden in der Streaming-Plattform gehalten (Aufbewahrungsdauer) * Replikationsfaktor / Anzahl der Broker
Das heißt, 80 Byte * 30000 Ereignisse pro Sekunde * 86400 Sekunden (= 1 Tag) Aufbewahrung * 1 (keine Replikation) / 1 (ein Broker) ~ 210 GB. Ein einzelnes 80-Byte-Rohereignis führt zu einer Festplattennutzung von ca. 3 KB auf der Streaming-Plattform - Der Festplattenpuffer-Cache bleibt im Speicher. Jeder Broker benötigt ausreichend RAM. Der RAM hängt davon ab, wie oft die Streaming-Plattform ausmistet, je öfter ausgemistet wird, desto geringer ist der Durchsatz.
-
Ein einzelner Broker kann nur ein einziges Replikat pro Partition hosten, daher gilt: Anzahl Broker > Anzahl Replikate
-
Elemente der Rule Engine
- 1x8 Kerne
- 32-GB-RAM
- Festplatte: 32 GB
- Speicherplatz ist entscheidend. Die Rule Engine würde sonst auf die Festplatte zugreifen und die Durchsatzleistung verringern. Dies erhöht dann auch die Festplattennutzung auf der Streaming-Plattform, wenn ein Gegendruck auftritt.
Andere Faktoren
- Erhöhung der Durchsatzleistung um den Faktor 5-10 (abhängig von der Chargengröße). Führen Sie die Rule Engine, die Automation Engine-Prozesse und die Streaming-Plattform auf jeweils eigenen Rechnern aus.
- Maximale Durchsatzleistung: 1000 gleichzeitige Benutzer auf einer einzigen Box, danach tritt Gegendruck auf.
- Ausmaß Durchsatzleistung mit Batch-Größe
- 22,9-GB Streaming-Plattform logs.dir Größe für ~ 67-m-Ereignisse ~ 3 KB pro Ereignis
Hinweis: Die Aufnahme eines einzelnen Ereignisses mit einer einzelnen Box-Installation ist auf ca. 2500 Ereignisse pro Sekunde begrenzt. Die Aufnahmequote kann durch die Verteilung von Diensten, die Auswahl einer höheren Batch-Größe oder die Verwendung von mehr als einem IA-Agenten verbessert werden.
Analytics Streaming-Plattform
Wichtig! Streaming-Platform-Systeme und Datenbankspeicher müssen immer ausfallsicher und redundant sein. Dieser Abschnitt befasst sich nicht mit dieser Frage.
|
Module |
Große Konfiguration |
High-End-Konfiguration |
||||||
|---|---|---|---|---|---|---|---|---|
|
Nr. |
CPU |
Speicher |
Festplatte |
Nr. |
CPU |
Speicher |
Festplatte |
|
| Streaming-Plattform | 1 x | 32 Kerne | 256 GB | 2 TB | 1 x | 32 Kerne | 256+ GB | 4 TB |
|
Anzahl von |
||||||||
|
Gleichzeitigen Benutzern |
< 200 |
> 200 |
||||||
|
Agenten |
< 1 000 |
> 1 000 |
||||||
|
Objektdefinitionen |
< 100 000 |
> 100 000 |
||||||
|
Gesamtanzahl der Ausführungen pro Tag |
< 1 500 000 |
> 1 500 000 |
||||||
Typische Konfigurationsanforderungen
Die hier zur Verfügung gestellten Informationen basieren auf den Daten pro Kollektor und pro Datenkategorie für typische Konfigurationsphasen.
Wenn Sie Daten mit CA Automic teilen, ist nur ein Zwischenspeicher für die Daten der Streaming-Plattform und der exportierten AVRO-Dateien erforderlich.
Der Speicherbedarf wird auch für Dateien angezeigt, die in AVRO extrahiert und dann auf der Festplatte der Streaming-Plattform in das JSON-Format konvertiert werden.
|
|
|
|
|
Speicher für die eintägige Datenspeicherung |
|
|||
|---|---|---|---|---|---|---|---|---|
|
Kollektor |
Datenkategorie |
Treiber |
Datenperiode |
Speicherplatz für Streaming-Plattform |
Speicherplatz für die Extraktion in AVRO-Dateien |
Speicherplatz für die Konvertierung von AVRO-Dateien in JSON-Dateien |
Gesamter Speicherplatz für die Bereitstellung zur Pflege der Streaming-Plattform + AVRO-Exportdateien + JSON-Konvertierungsdateien |
Private JSON-Dateien |
|
Datenstrom „Plattformumgebung für die Business Automation“ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Automation Engine Inventory-Kollektor |
AE-Prozesse |
10 Automation Engine-Prozesse |
12 Stunden |
0,0031 MB |
0,0030 MB |
0,0060 MB |
0,0121 MB |
0,0061 MB |
|
Automation Engine Inventory-Kollektor |
AE-Prozesse |
50 Automation Engine-Prozesse |
12 Stunden |
0,0153 MB |
0,0149 MB |
0,0301 MB |
0,0604 MB |
0,0304 MB |
|
|
|
|
|
|
|
|
|
|
|
Automation Engine Performance-Kollektor |
AEPerfGlobal |
1 Automation Engine |
1 Minute |
0,1613 MB |
0,1613 MB |
0,5548 MB |
0,8774 MB |
0,5548 MB |
|
|
|
|
|
|
|
|
|
|
|
Automation Engine Performance-Kollektor |
AEPerfProcesses |
10 Automation Engine-Prozesse |
1 Minute |
3,1095 MB |
3,0675 MB |
8,8925 MB |
15,0695 MB |
8,9264 MB |
|
Automation Engine Performance-Kollektor |
AEPerfProcesses |
50 Automation Engine-Prozesse |
1 Minute |
15,5476 MB |
15,3375 MB |
44,4623 MB |
75,3473 MB |
44,6320 MB |
|
Automation Engine Performance-Kollektor |
AEPerfIssues |
Ausgabe 1 |
1 Minute (*) |
0,2617 MB |
0,2617 MB |
0,3461 MB |
0,8695 MB |
0,3461 MB |
|
OS Performance Collector |
OSMetrics |
1 Host |
1 Minute |
4,9996 MB |
5,0344 MB |
10,5238 MB |
20,5577 MB |
10,4892 MB |
|
OS Performance Collector |
OSMetrics |
5 Hosts |
1 Minute |
24,9978 MB |
25,1718 MB |
52,6189 MB |
102,7885 MB |
52,4460 MB |
|
|
|
|
|
|
|
|
|
|
|
Datenstrom „Kontext der Workflow-Umgebung“ |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
OS Performance Collector |
OSMetrics |
5 Hosts |
1 Minute |
5,2725 MB |
5,3092 MB |
11,0983 MB |
21,6801 MB |
11,0619 MB |
|
OS Performance Collector |
OSMetrics |
100 Hosts |
1 Minute |
105,4503 MB |
106,1844 MB |
221,9664 MB |
433,6010 MB |
221,2372 MB |
|
OS Performance Collector |
OSMetrics |
500 Hosts |
1 Minute |
527,2513 MB |
530,9219 MB |
1109,8320 MB |
2168,0052 MB |
1106,1859 MB |
|
OS Performance Collector |
OSMetrics |
1000 Hosts |
1 Minute |
1054,5026 MB |
1061,8438 MB |
2219,6640 MB |
4336,0105 MB |
2212,3718 MB |
Hinweise:
- Obwohl die Datenmenge, die in der Analytics Streaming-Platform aufgefüllt wird, weniger als 1 GB beträgt, verbraucht die Streaming Platform trotzdem 1 GB Speicherplatz.
- Das DCS exportiert Daten als AVRO-Dateien. Die AVRO-Dateien werden in der Analytics Streaming-Platform zwischengespeichert. Die Spalte Extraktion als AVRO-Dateien zeigt den erforderlichen Speicherplatz, aber auch das Datenvolumen, das an CA Automic gesendet wird.
Konfigurationsbeispiele für den Datenstrom „Plattformumgebung für die Business Automation“
Die folgenden Beispielkonfigurationen berücksichtigen die standardmäßigen Sammlungszeiträume des DCS (Data Collection Service) und diese Kollektoren wurden gestartet:
- Automation Engine Inventory-Kollektor
- Automation Engine Performance-Kollektor
- OS Collector auf dem/den Automation Engine-Host/s
Hinweise:
- Die aufgeführten Beispiele basieren auf dem täglichen Datenaustausch mit CA Automic, wobei eine viertägige Datenspeicherung konfiguriert ist.
- Die Speicherzahl der JSON-Dateien wird auch als Indikator für die Daten angegeben, die Sie für Ihre internen Anwendungsfälle verwenden können.
Kleine Konfiguration
- Ein Host für die Automation Engine
- Acht Automation Engine-Prozesse
- OS Collector wurde auf dem Automation Engine-Host gestartet (keine Automation Engine-Performance-Ereignisse)
|
Daten |
Speicher (MB) mit einer viertägigen Datenspeicherung |
|---|---|
|
Streaming-Plattform |
34.1408 |
|
Extraktion als AVRO-Dateien |
34.1116 |
|
Konvertierte JSON-Dateien |
81.2928 |
Große Konfiguration
- Fünf Maschinen für die Automation Engine
- 30 Automation Engine-Prozesse
- OS Collector wurde auf den fünf Automation Engine-Maschinen gestartet (keine Automation Engine-Performance-Ereignisse)
|
Daten |
Speicher (MB) mit einer viertägigen Datenspeicherung |
|---|---|
|
Streaming-Plattform |
163.9348 |
|
Extraktion als AVRO-Dateien |
163.7888 |
|
Konvertierte JSON-Dateien |
392.0488 |