EMR-Cluster auf AWS Outposts - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMR-Cluster auf AWS Outposts

Ab Amazon-EMR-Version 5.28.0 können Sie EMR-Cluster erstellen und auf ausführen. AWS Outposts AWS Outposts ermöglicht native AWS -Services, Infrastrukturen und Betriebsmodelle in On-Premises. Sie können in AWS Outposts Outposts-Umgebungen die gleichen AWS APIs Tools und die gleiche Infrastruktur wie in der AWS -Cloud verwenden. Amazon EMR auf AWS Outposts ist ideal für Workloads mit geringer Latenz, die in unmittelbarer Nähe zu On-Premises-Daten und Anwendungen ausgeführt werden müssen. Weitere Informationen zu finden Sie im AWS Outposts Benutzerhandbuch.AWS Outposts

Voraussetzungen

Im Folgenden sind die Voraussetzungen für die Verwendung von Amazon EMR in AWS Outposts aufgeführt:

  • muss AWS Outposts in Ihrem On-Premises-Rechenzentrum installiert und konfiguriert sein.

  • Sie müssen über eine zuverlässige Netzwerkverbindung zwischen Ihrer Outpost-Umgebung und einer AWS -Region verfügen.

  • Sie müssen über ausreichende Kapazität für von Amazon EMR unterstützte Instance-Typen in Ihren Outpost verfügen.

Einschränkungen

Im Folgenden sind die Einschränkungen für die Verwendung von Amazon EMR auf AWS Outposts aufgeführt:

  • On-Demand-Instances sind die einzige unterstützte Option für EC2 Amazon-Instances. Spot Instances sind für Amazon EMR auf AWS Outposts nicht verfügbar.

  • Wenn Sie zusätzliche Amazon-EBS-Speichervolumes benötigen, wird nur GPD (GP2) unterstützt.

  • Wenn Sie die Amazon EMR-Versionen 5.28 bis 6.x verwenden AWS Outposts , können Sie nur S3-Buckets verwenden, die Objekte in einem AWS-Region von Ihnen angegebenen speichern. Mit Amazon EMR 7.0.0 und höher AWS Outposts wird Amazon EMR auf auch mit dem S3A Dateisystem-Client Prefix unterstützt. s3a://

  • Nur die folgenden Instance-Typen werden von Amazon EMR auf AWS Outposts unterstützt:

    Instance-Klasse Instance-Typen
    Allgemeine Zwecke

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Für Datenverarbeitung optimiert

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    RAM-optimiert

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Speicheroptimiert

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Überlegungen zur Netzwerkkonnektivität

  • Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seiner AWS -Region verloren geht, werden Ihre Cluster weiterhin ausgeführt. Sie können jedoch keine neuen Cluster erstellen oder neue Aktionen für vorhandene Cluster ausführen, bis die Verbindung wiederhergestellt wurde. Bei Instance-Fehlern wird die Instance nicht automatisch ersetzt. Außerdem werden Aktionen wie das Hinzufügen von Schritten zu einem ausgeführten Cluster, das Überprüfen des Schrittausführungsstatus und das Senden von CloudWatch Metriken und Ereignissen verzögert.

  • Wir empfehlen, dass Sie für eine zuverlässige und hochverfügbare Netzwerkkonnektivität zwischen Ihrem Outpost und der AWS -Region sorgen. Wenn die Netzwerkkonnektivität zwischen Ihrem Outpost und seiner AWS -Region länger als ein paar Stunden unterbrochen wird, werden Cluster mit aktiviertem Beendigungsschutz weiter ausgeführt und Cluster mit deaktiviertem Beendigungsschutz beendet.

  • Falls die Netzwerkkonnektivität aufgrund einer routinemäßigen Wartung beeinträchtigt wird, empfehlen wir die proaktive Aktivierung des Beendigungsschutzes. Generell bedeutet die Unterbrechung der Konnektivität, dass externe Abhängigkeiten, die nicht lokal im Outpost oder Kundennetzwerk sind, nicht zugänglich sind. Dazu gehören Amazon S3, DynamoDB, das mit EMRFS Consistency View verwendet wird, und Amazon RDS, wenn eine Instance in der Region für einen Amazon-EMR-Cluster mit mehreren Primärknoten verwendet wird.

Erstellen eines Amazon-EMR-Clusters auf einem AWS Outposts

Erstellen eines Amazon-EMR-Clusters auf einem AWS Outposts ähnelt dem Erstellen eines Amazon-EMR-Clusters in der AWS -Cloud. Wenn Sie einen Amazon-EMR-Cluster auf einem erstellen AWS Outposts, müssen Sie ein EC2 Amazon-Subnetz angeben, das Ihrem Outpost zugeordnet ist.

Eine Amazon VPC kann alle Availability Zones in einer AWS -Region umfassen. AWS Outposts sind Erweiterungen von Availability Zones und Sie können eine Amazon VPC in einem Konto auf mehrere Availability Zones und zugeordnete Outposts-Standorte erweitern. Wenn Sie den Outpost konfigurieren, ordnen Sie ihm ein Subnetz zu, um Ihre regionale VPC-Umgebung auf Ihre On-Premises-Einrichtung zu erweitern. Outpost-Instances und verwandte Services werden als Teil Ihrer regionalen VPC angezeigt, ähnlich einer Availability Zone mit verknüpften Subnetzen. Weitere Informationen finden Sie im AWS Outposts -Benutzerhandbuch.

Konsole

Um AWS Outposts mit der einen neuen Amazon-EMR-Cluster auf zu erstellen AWS Management Console, geben Sie ein EC2 Amazon-Subnetz an, das Ihrem Outpost zugeordnet ist.

Console
So erstellen Sie einen Cluster in AWS Outposts mit der Konsole
  1. Melden Sie sich bei an und öffnen Sie die Amazon-EMR-Konsole unter http://console.aws.amazon.com/emr. AWS Management Console

  2. Wählen Sie EC2 im linken Navigationsbereich unter EMR on die Option Clusters und dann Create cluster aus.

  3. Wählen Sie unter Clusterkonfiguration die Option Instance-Gruppen oder Instance-Flotten aus. Wählen Sie dann im Dropdownmenü Instanztyp auswählen einen EC2 Instance-Typ aus oder wählen Sie Aktionen und anschließend EBS-Volumes hinzufügen aus. Amazon EMR in AWS Outposts unterstützt begrenzte Amazon-EBS-Volumes und Instance-Typen.

  4. Wählen Sie unter Netzwerk ein EC2 Subnetz mit einer Outpost-ID im folgenden Format aus: op-123456789.

  5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

CLI
Um einen Cluster zu erstellen mit dem AWS OutpostsAWS CLI
  • Um AWS Outposts mit der einen neuen Amazon-EMR-Cluster auf zu erstellen AWS CLI, geben Sie ein EC2 Subnetz an, das Ihrem Outpost zugeordnet ist, wie im folgenden Beispiel. subnet-22XXXX01Ersetzen Sie durch Ihre eigene EC2 Amazon-Subnetz-ID.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.9.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles