Google Cloud Vision-Erweiterung

<ph type="x-smartling-placeholder"></ph> Sie sehen die Dokumentation zu Apigee Edge.
Gehen Sie zur Apigee X-Dokumentation.
Weitere Informationen

<ph type="x-smartling-placeholder">

Version: 1.4.1

Inhalte und Texte in Bildern mithilfe von Modellen für maschinelles Lernen erkennen.

Dieser Inhalt bietet eine Referenz zum Konfigurieren und Verwenden dieser Erweiterung. Bevor Sie diese Erweiterung über einen API-Proxy verwenden können, müssen Sie:

  1. Aktivieren Sie die Cloud Vision API für Ihr Dienstkonto.

  2. Wenn Sie Cloud Storage als Quelle für Ihre Images verwenden, müssen Sie dieser Erweiterung auch Zugriff auf Cloud Storage gewähren. Eine Beschreibung finden Sie in der Referenz zur Google Cloud Storage-Erweiterung.

  3. Wenn Sie ein Dienstkonto mit Berechtigungen für Cloud Vision (und ggf. für Cloud Storage) haben, generieren Sie mit der GCP Console einen Schlüssel für das Dienstkonto.

  4. Verwenden Sie den Inhalt der resultierenden JSON-Schlüsseldatei, wenn Sie die Erweiterung mithilfe der Konfigurationsreferenz hinzufügen und konfigurieren.

Informationen zu Cloud Vision

Die Google Cloud Vision API nutzt Modelle für maschinelles Lernen, um Bilder zu analysieren. Sie können ein Modell trainieren, damit die API es verwendet, oder das integrierte Modell verwenden.

Mithilfe des integrierten Modells klassifiziert Cloud Vision Bilder in Kategorien wie „Wolkenkratzer“, „Segelboot“, „Löwe“ oder „Eiffelturm“. Er erkennt Objekte, Gesichter, Logos und Sehenswürdigkeiten in Bildern sowie Wörter, die in Bildern enthalten sind.

Beispiele

Die folgenden Beispiele veranschaulichen, wie Sie die Unterstützung für Cloud Vision-Erweiterungsaktionen mithilfe der Richtlinie ExtensionCallout konfigurieren.

Labels erkennen

Im folgenden Beispiel ruft die Aktion detectLabels der Erweiterung das Bild im image_uri ab und übergibt es zur Analyse an die Cloud Vision API. Die API prüft das Bild und bestimmt, welche Labels auf den Inhalt des Bildes angewendet werden.

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<ConnectorCallout async="false" continueOnError="true" enabled="true" name="Cloud-Vision-Extension">
    <DisplayName>Cloud Vision Extension</DisplayName>
    <Connector>cloud-vision-extension-example</Connector>
    <Action>detectLabels</Action>
    <Input><![CDATA[
    {
        "image_uri" : "gs://cloud-vision-example/empire-state-building.jpg"
    }
    ]]></Input>
    <Output>vision.labels.retrieved</Output>
</ConnectorCallout>

Die folgende Richtlinie Nachricht zuweisen verwendet den Wert der Variablen, die die Antwort der Erweiterung speichert, um der Antwortnutzlast zuzuweisen.

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<AssignMessage async="false" continueOnError="false" enabled="true" name="Get-Image-Labels">
    <DisplayName>Get Image Labels</DisplayName>
    <AssignTo type="response" createNew="false"/>
    <Set>
        <Payload contentType="application/json">{vision.labels.retrieved}</Payload>
    </Set>
</AssignMessage>

Bei einem Bild eines städtischen Gebiets mit einem sehr hohen Gebäude könnte die Antwort wie folgt aussehen:

{
  "labels": [
      {
          "locations": [

          ],
          "properties": [

          ],
          "mid": "/m/0j_s4",
          "locale": "",
          "description": "metropolitan area",
          "score": 0.9868549704551697,
          "confidence": 0,
          "topicality": 0.9868549704551697,
          "boundingPoly": null
      },
      {
          "locations": [

          ],
          "properties": [

          ],
          "mid": "/m/079cl",
          "locale": "",
          "description": "skyscraper",
          "score": 0.966157853603363,
          "confidence": 0,
          "topicality": 0.966157853603363,
          "boundingPoly": null
      }
  ]
}

Text erkennen

Im folgenden Beispiel ruft die Aktion detectText der Erweiterung das Bild unter image_uri ab und übergibt es zur Analyse an die Cloud Vision API. Die API prüft das Bild und identifiziert den Text im Bild.

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<ConnectorCallout async="false" continueOnError="true" enabled="true" name="Cloud-Vision-Text">
    <DisplayName>Cloud Vision Text</DisplayName>
    <Connector>cloud-vision-extension-example</Connector>
    <Action>detectText</Action>
    <Input><![CDATA[
    {
        "image_uri" : "gs://cloud-vision-example/parking-signs1.jpg"
    }
    ]]></Input>
    <Output>vision.text.retrieved</Output>
</ConnectorCallout>

Die folgende Richtlinie Nachricht zuweisen verwendet den Wert der Variablen, die die Antwort der Erweiterung speichert, um der Antwortnutzlast zuzuweisen.

<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<AssignMessage async="false" continueOnError="false" enabled="true" name="Get-Image-Text">
    <DisplayName>Get Image Text</DisplayName>
    <AssignTo type="response" createNew="false"/>
    <Set>
        <Payload contentType="application/json">{vision.text.retrieved}</Payload>
    </Set>
</AssignMessage>

Für ein Bild mit Schildern in einem Parkplatzprotokoll können Sie eine Antwort wie die folgende erhalten:

{
  "text": [
      {
          "locations": [

          ],
          "properties": [

          ],
          "mid": "",
          "locale": "en",
          "description": "RESERVED\nVISITORPARKING\nPARKING\nONLY>\n$150 FINE\n",
          "score": 0,
          "confidence": 0,
          "topicality": 0,
          "boundingPoly": {
              "vertices": [
                  {
                      "x": 64,
                      "y": 56
                  },
                  {
                      "x": 378,
                      "y": 56
                  },
                  {
                      "x": 378,
                      "y": 218
                  },
                  {
                      "x": 64,
                      "y": 218
                  }
              ]
          }
      },
      {
          "locations": [

          ],
          "properties": [

          ],
          "mid": "",
          "locale": "",
          "description": "RESERVED",
          "score": 0,
          "confidence": 0,
          "topicality": 0,
          "boundingPoly": {
              "vertices": [
                  {
                      "x": 243,
                      "y": 56
                  },
                  {
                      "x": 378,
                      "y": 56
                  },
                  {
                      "x": 378,
                      "y": 84
                  },
                  {
                      "x": 243,
                      "y": 84
                  }
              ]
          }
      }
   ]
}

Aktionen

<ph type="x-smartling-placeholder">

detectLabels

Erkennt und extrahiert Informationen zu Entitäten im angegebenen Bild. Erkannte Entitäten reichen von einer großen Gruppe von Kategorien. Mit dieser Aktion können Sie beispielsweise Objekte, Orte, Aktivitäten, Tierarten und Produkte identifizieren.

Weitere Informationen finden Sie auch in der Dokumentation zur Cloud Vision API.

Anfrageparameter

Parameter Beschreibung Typ Default Erforderlich
image_uri Quelle des Bilds. Sie kann aus dem Internet oder aus Google Cloud Storage stammen (Format: gs://bucketname/filename). Wenn die Quelle Google Cloud Storage ist, muss die Bilddatei öffentlich sein. String Keine. Ja.

Syntax

<Input><![CDATA[{
    "image_uri" : "uri-of-image-to-analyze"
}
]]></Input>

Beispiel

Im folgenden Beispiel sendet die Aktion detectLabels der Erweiterung das angegebene Bild zur Analyse an die Vision API.

<Input><![CDATA[
{
    "image_uri" : "gs://cloud-vision-example/empire-state-building.jpg"
}
]]></Input>

Antwort

Ein Objekt mit einem labels-Array von Labels, die im Bild erkannte Entitäten darstellen. Weitere Informationen finden Sie unter Labels erkennen.

detectText

Erkennt und extrahiert Text aus dem angegebenen Bild.

Anfrageparameter

Parameter Beschreibung Typ Default Erforderlich
image_uri Quelle des Bilds. Sie kann aus dem Internet oder aus Google Cloud Storage stammen (Format: gs://bucketname/filename). Wenn die Quelle Google Cloud Storage ist, muss die Bilddatei öffentlich sein. String Keine. Ja.

Syntax

<Input><![CDATA[
{
    "image_uri" : "uri-of-image-to-analyze"
}
]]></Input>

Beispiel

Im folgenden Beispiel sendet die Aktion detectText der Erweiterung das angegebene Bild zur Analyse an die Vision API.

<Input><![CDATA[
{
    "image_uri" : "gs://cloud-vision-example/parking-signs1.jpg"
}
]]></Input>

Antwort

Ein Objekt, das ein text-Array des erkannten Texts enthält. Weitere Informationen finden Sie unter Labels erkennen.

Konfigurationsreferenz

Verwenden Sie Folgendes, wenn Sie diese Erweiterung zur Verwendung in API-Proxys konfigurieren und bereitstellen. Eine schrittweise Anleitung zum Konfigurieren einer Erweiterung mit der Apigee-Konsole finden Sie unter Erweiterung hinzufügen und konfigurieren.

Allgemeine Erweiterungseigenschaften

Für jede Erweiterung sind die folgenden Eigenschaften vorhanden.

Attribut Beschreibung Standard Erforderlich
name Der Name, den Sie dieser Konfiguration der Erweiterung zuweisen. Ja
packageName Name des Erweiterungspakets, wie von Apigee Edge angegeben. Ja
version Versionsnummer für das Erweiterungspaket, von dem Sie eine Erweiterung konfigurieren. Ja
configuration Konfigurationswert speziell für die Erweiterung, die Sie hinzufügen. Weitere Informationen finden Sie unter Eigenschaften für dieses Erweiterungspaket. Ja