Eksportowanie danych z Analytics

Wyświetlasz dokumentację Apigee Edge.
Otwórz dokumentację Apigee X. Informacje

Konfigurowanie uprawnień dla przypisanych agentów usługi

Aby skonfigurować uprawnienia dla przypisanych agentów obsługi klienta w ramach przygotowań do zmian opisanych powyżej, wykonaj te czynności.

1. Aby znaleźć nazwę swojego agenta obsługi Google Cloud, wpisz to polecenie:

   curl -X GET \
     "https://api.enterprise.apigee.com/v1/organizations/ORG" \
     -u email:password \
     | jq -r '.properties.property[] | select(.name=="serviceAgent.analytics") | .value'

   ORG to Twoja organizacja. Zwraca nazwę i wartość agenta usługi, jak pokazano poniżej:

   "property" : [
     {
      "name" : "serviceAgent.analytics",
      "value" : "service-9q1ibk@gcp-sa-apigee-uap.iam.gserviceaccount.com"
      },

2. Otwórz panel Uprawnienia w konsoli Google Cloud.
3. wybrać projekt Google Cloud;
4. U góry panelu Uprawnienia kliknij Dodaj.
5. W polu Nowe podmioty zabezpieczeń wpisz agenta usługi value zwracanego w kroku 1. Na przykład value pokazane w kroku 1 to service-9q1ibk@gcp-sa-apigee-uap.iam.gserviceaccount.com.
6. Kliknij przycisk + Dodaj kolejną rolę i dodaj te role:
   • Użytkownik BigQuery
   • Administrator miejsca na dane
7. Kliknij Zapisz.

Dane Apigee Analytics

Format eksportowanych danych

Wyeksportuj dane Analytics do jednego z tych formatów:

• Plik CSV

  Domyślnym separatorem jest przecinek (,). Obsługiwane znaki rozdzielające to przecinek (,), pionowa kreska (|) i znak tabulacji (\t). Skonfiguruj wartość za pomocą właściwości csvDelimiter, zgodnie z opisem w artykule Odwołania do właściwości żądań eksportu .

• JSON (rozdzielany znakiem nowej linii)

  Umożliwia użycie znaku nowej linii jako separatora.

Wyeksportowane dane obejmują wszystkie dane i wymiary analityczne wbudowane w Edge oraz wszelkie dodane przez Ciebie niestandardowe dane analityczne. Opis wyeksportowanych danych znajdziesz w artykule [GA4] Dane, wymiary i filtry Analytics.

Dane Analytics możesz eksportować do tych repozytoriów danych:

• Google Cloud Storage
• Google BigQuery,

Omówienie procesu eksportu

Oto czynności, które należy wykonać, aby wyeksportować dane Analytics:

1. Skonfiguruj repozytorium danych (Cloud Storage lub BigQuery) do eksportu danych. Upewnij się, że repozytorium danych jest prawidłowo skonfigurowane i że konto usługi używane do zapisywania danych w repozytorium ma odpowiednie uprawnienia.

2. Utwórz magazyn danych, który definiuje właściwości repozytorium danych (Cloud Storage lub BigQuery), do którego eksportujesz dane, w tym poświadczenia logowania używane do uzyskiwania dostępu do repozytorium danych.

   Podczas tworzenia magazynu danych przesyłasz poświadczenia repozytorium danych do skarbca tożsamości Edge, aby bezpiecznie je przechowywać. Mechanizm eksportu danych używa tych danych logowania do zapisywania danych w Twoim repozytorium danych.

3. Aby rozpocząć eksport danych, użyj interfejsu API do eksportu danych. Eksport danych jest wykonywany asynchronicznie w tle.

4. Aby określić, kiedy zakończy się eksport, użyj interfejsu API do eksportu danych.

5. Po zakończeniu eksportowania otwórz wyeksportowane dane w swojej witrynie danych.

W następnych sekcjach znajdziesz więcej informacji o każdym z tych kroków.

Konfigurowanie repozytorium danych

Mechanizm eksportowania danych analitycznych zapisuje dane w Cloud Storage lub BigQuery. Aby zapisać dane, musisz:

• Utwórz konto usługi Google Cloud Platform.
• Ustaw rolę konta usługi, aby uzyskać dostęp do Cloud Storage lub BigQuery.

Tworzenie konta usługi dla Cloud Storage lub BigQuery

Konto usługi to rodzaj konta Google, które należy do Twojej aplikacji, a nie do użytkownika. Następnie aplikacja używa konta usługi do uzyskiwania dostępu do usługi.

Konto usługi ma klucz konta usługi reprezentowany przez ciąg JSON. Gdy tworzysz magazyn danych Edge, który definiuje połączenie z repozitorium danych, przekazujesz mu ten klucz. Następnie mechanizm eksportu danych używa tego klucza do uzyskania dostępu do repozytorium danych.

Konto usługi powiązane z kluczem musi być właścicielem projektu Google Cloud Platform i mieć uprawnienia do zapisu w puli Google Cloud Storage. Aby utworzyć klucz usługi i pobrać wymagany ładunek, zapoznaj się z artykułem Tworzenie kluczy kont usługi i zarządzanie nimi w dokumentacji Google Cloud Platform.

Gdy po raz pierwszy pobierzesz klucz, będzie on sformatowany jako obiekt JSON:

{ 
  "type": "service_account", 
  "project_id": "myProject", 
  "private_key_id": "12312312", 
  "private_key": "-----BEGIN PRIVATE KEY-----\n...", 
  "client_email": "client_email@developer.gserviceaccount.com", 
  "client_id": "879876769876", 
  "auth_uri": "https://accounts.google.com/organizations/oauth2/auth", 
  "token_uri": "https://oauth2.googleapis.com/token", 
  "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2", 
  "client_x509_cert_url": "https://www.googleapis.com" 
}

Konfigurowanie Google Cloud Storage

Zanim wyeksportujesz dane do Google Cloud Storage:

• Upewnij się, że interfejsy API BigQuery i Cloud Resource Manager są włączone w projekcie Google Cloud Platform. Instrukcje znajdziesz w sekcji Włączanie interfejsów API. Apigee korzysta z interfejsu BigQuery API, aby korzystać z funkcji eksportowania BigQuery podczas eksportowania do Cloud Storage, oraz z interfejsu Cloud Resource Manager API, aby sprawdzać uprawnienia przed każdym eksportem.

• Sprawdź, czy do konta usługi są przypisane te role:

  • Użytkownik zadań BigQuery
  • Tworzący obiekty Cloud Storage
  • Administrator usługi Storage (wymagany tylko do testowania magazynu danych zgodnie z opisem w artykule Testowanie konfiguracji magazynu danych). Jeśli ta rola jest zbyt ogólna, możesz zamiast tego dodać uprawnienie storage.buckets.get do istniejącej roli.

  Jeśli chcesz zmodyfikować istniejącą rolę lub utworzyć rolę niestandardową, dodaj do niej te uprawnienia:

  • bigquery.jobs.create
  • storage.objects.create
  • storage.buckets.get (wymagany tylko do testowania magazynu danych zgodnie z opisem w Testowanie konfiguracji magazynu danych)

Konfigurowanie Google BigQuery

Zanim wyeksportujesz dane do Google BigQuery:

• Upewnij się, że interfejsy API BigQuery i Cloud Resource Manager są włączone w projekcie Google Cloud Platform. Instrukcje znajdziesz w sekcji Włączanie interfejsów API. Przed każdym eksportem Apigee używa interfejsu Cloud Resource Manager API do sprawdzania uprawnień.
• Sprawdź, czy interfejs BigQuery API jest włączony w projekcie Google Cloud Platform. Instrukcje znajdziesz w artykule Włączanie i wyłączanie interfejsów API.

• Sprawdź, czy do konta usługi są przypisane te role:

  • Użytkownik zadań BigQuery
  • Edytujący dane BigQuery

  Jeśli chcesz zmodyfikować istniejącą rolę lub utworzyć rolę niestandardową, dodaj do niej te uprawnienia:

  • bigquery.datasets.create
  • bigquery.datasets.get
  • bigquery.jobs.create
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.updateData

Tworzenie magazynu danych

Magazyn danych definiuje połączenie z repozytorium danych do eksportu (Cloud Storage, BigQuery), w tym poświadczenia tożsamości używane do uzyskiwania dostępu do repozytorium danych.

Informacje o Edge Credentials Vault

Edge używa sejfu z danymi logowania do bezpiecznego przechowywania danych logowania używanych do uzyskiwania dostępu do repozytorium danych eksportu. Aby usługa mogła uzyskać dostęp do danych logowania w Edge Credentials Vault, musisz zdefiniować użytkownika danych logowania.

Podczas tworzenia magazynu danych za pomocą interfejsu użytkownika Edge, jak opisano poniżej, Edge automatycznie tworzy konsumenta używanego do uzyskiwania dostępu do danych uwierzytelniających.

Testowanie konfiguracji magazynu danych

Podczas tworzenia magazynu danych Edge nie sprawdza ani nie weryfikuje, czy dane logowania i konfiguracja repozytorium danych są prawidłowe. Oznacza to, że możesz utworzyć magazyn danych i nie wykryć żadnych błędów, dopóki nie uruchomisz pierwszego eksportu danych.

Możesz też przetestować konfigurację magazynu danych przed jej utworzeniem. Testowanie jest przydatne, ponieważ proces eksportu dużych ilości danych może trwać długo. Jeśli przed rozpoczęciem pobierania dużych ilości danych przetestujesz swoje dane logowania i konfigurację magazynu danych, możesz szybko rozwiązać wszelkie problemy z ustawieniami.

Jeśli test się powiedzie, utwórz magazyn danych. Jeśli test się nie powiedzie, napraw błędy, a potem przetestuj konfigurację ponownie. Magazyn danych tworzysz dopiero po pomyślnym przeprowadzeniu testów.

Aby włączyć funkcję testowania:

• Upewnij się, że interfejs Cloud Resource Manager API jest włączony w projekcie Google Cloud Platform. Instrukcje znajdziesz w artykule Włączanie i wyłączanie interfejsów API.

Tworzenie magazynu danych

Aby utworzyć magazyn danych w interfejsie:

1. Zaloguj się na stronie https://apigee.com/edge jako administrator organizacji i wybierz swoją organizację.

   UWAGA: aby utworzyć magazyn danych, musisz być administratorem organizacji Edge.

2. Na pasku nawigacyjnym po lewej stronie kliknij Administracja > Bazy danych Analytics. Pojawi się strona Dane magazynu Analytics.

3. Kliknij przycisk + Dodaj Datastore. Pojawi się prośba o wybranie typu magazynu danych:

   

4. Wybierz typ danych do eksportu:

   • Google Cloud Storage
   • Google BigQuery,

   Pojawi się strona konfiguracji:

   

5. Wpisz nazwę magazynu danych.

6. Wybierz dane logowania, których chcesz używać do uzyskiwania dostępu do repozytorium danych. Pojawi się lista dostępnych danych logowania.

   Dane logowania są specyficzne dla typu repozytorium danych. Więcej informacji znajdziesz w artykule Tworzenie konta usługi dla Cloud Storage lub BigQuery.

   • Jeśli dane logowania zostały już przesłane, wybierz je z listy. Upewnij się, że wybrane przez Ciebie dane logowania są odpowiednie dla typu repozytorium danych.

   • Jeśli do magazynu danych dodajesz nowe dane logowania, kliknij Dodaj nowe. W oknie wpisz:

     1. Nazwa danych logowania.
     2. Zawartość danych logowania to klucz konta usługi w formacie JSON, który jest specyficzny dla Twojego repozytorium danych i został zdefiniowany w Tworzenie konta usługi dla Cloud Storage lub BigQuery.
     3. Kliknij Utwórz.

7. Wpisz właściwości specyficzne dla typu repozytorium danych:

   • W przypadku Google Cloud Storage:

     Właściwość	Opis	Wymagany?
     Identyfikator projektu	Identyfikator projektu Google Cloud Platform. Aby utworzyć projekt Google Cloud Platform, zapoznaj się z artykułem Tworzenie projektów i zarządzanie nimi w dokumentacji Google Cloud Platform.	Tak
     Nazwa zasobnika	Nazwa zasobnika Cloud Storage, do którego chcesz wyeksportować dane Analytics. Zbiornik musi istnieć przed wyeksportowaniem danych. Aby utworzyć zasobnik Cloud Storage, zapoznaj się z artykułem Tworzenie zasobników Storage w dokumentacji Google Cloud Platform.	Tak
     Ścieżka	Katalog, w którym mają być przechowywane dane analityczne w zasobniku Cloud Storage.	Tak

   • W przypadku BigQuery:

     Właściwość	Opis	Wymagany?
     Identyfikator projektu	Identyfikator projektu Google Cloud Platform. Aby utworzyć projekt Google Cloud Platform, zapoznaj się z artykułem Tworzenie projektów i zarządzanie nimi w dokumentacji Google Cloud Platform.	Tak
     Nazwa zbioru danych	Nazwa zbioru danych BigQuery, do którego chcesz eksportować dane Analytics. Zanim poprosisz o eksport danych, upewnij się, że zbiór danych został utworzony. Aby utworzyć zbiór danych BigQuery, zapoznaj się z artykułem Tworzenie i używanie zbiorów danych w dokumentacji Google Cloud Platform.	Tak
     Prefiks tabeli	Prefiks nazw tabel utworzonych na potrzeby danych analitycznych w zbiorze danych BigQuery.	Tak

8. Kliknij Testuj połączenie, aby sprawdzić, czy dane logowania umożliwiają dostęp do repozytorium danych.

   Jeśli test się powiedzie, zapisz magazyn danych.

   Jeśli test się nie powiedzie, rozwiąż problemy i uruchom test ponownie. Najedź kursorem na komunikat o błędzie w interfejsie, aby wyświetlić dodatkowe informacje w poradniku.

9. Po pomyślnym przetestowaniu połączenia zapisz magazyn danych.

Modyfikowanie magazynu danych

Aby zmodyfikować magazyn danych:

1. Zaloguj się na stronie https://apigee.com/edge jako administrator organizacji i wybierz swoją organizację.

2. Na pasku nawigacyjnym po lewej stronie kliknij Administracja > Bazy danych Analytics. Pojawi się strona Dane magazynu Analytics.

3. Aby zmodyfikować raport, najedź kursorem na kolumnę Zmodyfikowano. Pojawiają się ikony edycji i usuwania.

4. Zmień lub usuń magazyn danych.

5. Jeśli edytujesz magazyn danych, wybierz Testuj połączenie, aby sprawdzić, czy dane logowania umożliwiają dostęp do magazynu danych.

   Jeśli test się powiedzie, możesz wyświetlić przykładowe dane w swojej repozytorium danych.

   Jeśli test się nie powiedzie, rozwiąż problemy i uruchom test ponownie.

6. Po pomyślnym przeprowadzeniu testu połączenia zaktualizuj magazyn danych.

Eksportowanie danych statystycznych

Aby wyeksportować dane Analytics, wyślij żądanie POST do interfejsu API /analytics/exports. W treści żądania podaj te informacje:

• Nazwa i opis żądania eksportu
• Zakres dat wyeksportowanych danych (wartość może obejmować tylko 1 dzień)
• Format wyeksportowanych danych
• Nazwa magazynu danych
• Określa, czy zarabianie jest włączone w organizacji.

Poniżej znajdziesz przykłady próśb o eksport. Pełny opis właściwości treści żądania znajdziesz w artykule Odwołania do właściwości żądania eksportu.

Odpowiedź na żądanie POST ma postać:

{
    "self": "/organizations/myorg/environments/test/analytics/exports/a7c2f0dd-1b53-4917-9c42-a211b60ce35b",
    "created": "2017-09-28T12:39:35Z",
    "state": "enqueued"
}

Pamiętaj, że właściwość state w odpowiedzi ma wartość enqueued. Żądanie POST działa asynchronicznie. Oznacza to, że po otrzymaniu odpowiedzi przez żądanie nadal działa w tle. Możliwe wartości dla state: enqueued, running, completed, failed.

Aby wyświetlić stan żądania eksportu danych, użyj adresu URL zwróconego w usłudze self, zgodnie z opisem w artykule Wyświetlanie stanu żądania eksportu danych Analytics. Po zakończeniu przetwarzania żądania wartość właściwości state w odpowiedzi jest ustawiana na completed. Następnie możesz uzyskać dostęp do danych analitycznych w swojej witrynie danych.

Przykład 1. Eksportowanie danych do Cloud Storage

Poniższe żądanie eksportuje pełny zestaw nieprzetworzonych danych z ostatnich 24 godzin ze środowiska test w organizacji myorg. Treści są eksportowane do Cloud Storage w formacie JSON:

curl -X POST -H "Content-Type:application/json" \
"https://api.enterprise.apigee.com/v1/organizations/myorg/environments/test/analytics/exports" \
  -d \
  '{
    "name": "Export raw results to Cloud Storage",
    "description": "Export raw results to Cloud Storage for last 24 hours",
    "dateRange": {
      "start": "2018-06-08", 
      "end": "2018-06-09"
    },
    "outputFormat": "json",
    "datastoreName": "My Cloud Storage data repository"
  }' \
  -u orgAdminEmail:password

Aby sprawdzać stan zadania, użyj identyfikatora URI podanego w przypadku właściwości self, zgodnie z opisem w artykule Wyświetlanie stanu żądania eksportu danych Analytics.

Przykład 2. Eksportowanie danych do BigQuery

Poniższe żądanie eksportuje do BigQuery plik CSV rozdzielany przecinkami:

curl -X POST -H "Content-Type:application/json"  \
  "https://api.enterprise.apigee.com/v1/organizations/myorg/environments/test/analytics/exports" \
  -d \
  '{
    "name": "Export query results to BigQuery",
    "description": "One-time export to BigQuery",
    "dateRange": {
      "start": "2018-06-08", 
      "end": "2018-06-09"
    },
    "outputFormat": "csv",
    "csvDelimiter": ",", 
    "datastoreName": "My BigQuery data repository"
  }' \
  -u orgAdminEmail:password

Uwaga: wyeksportowany plik CSV tworzy tabelę BigQuery z tym prefiksem:

<PREFIX>_<EXPORT_DATE>_api_<UUID>_from_<FROM_DATE>_to_<TO_DATE>

Aby sprawdzać stan zadania, użyj identyfikatora URI określonego przez właściwość self w sposób opisany w sekcji Wyświetlanie stanu żądania eksportu danych analitycznych.

Przykład 3. Eksportowanie danych dotyczących zarabiania

Jeśli w organizacji jest włączona funkcja zarabiania w danym środowisku, możesz wykonywać 2 rodzaje eksportu danych:

• Standardowy eksport danych, jak w 2 poprzednich przykładach.
• Eksport danych dotyczących generowania przychodów umożliwia wyeksportowanie danych dotyczących generowania przychodów.

Aby przeprowadzić eksport danych dotyczących zarabiania, w ładunku żądania podaj wartość "dataset":"mint". Aby ustawić tę opcję, organizacja i środowisko muszą obsługiwać zarabianie. W przeciwnym razie pomiń właściwość dataset z ładunku:

  '{
    "name": "Export raw results to Cloud Storage",
    "description": "Export raw results to Cloud Storage for last 24 hours",
    "dateRange": {
      "start": "2018-06-08", 
      "end": "2018-06-09"
    },
    "outputFormat": "json",
    "datastoreName": "My Cloud Storage data repository",
    "dataset":"mint"
  }'

Limity interfejsu API eksportu

Aby zapobiec nadużywaniu drogich wywołań interfejsu API do eksportowania danych, Edge stosuje limity wywołań interfejsu API /analytics/exports:

• W przypadku organizacji i środowisk, w których nie włączono zarabiania, limit to:

  • 70 wywołań miesięcznie na organizację lub środowisko.

  Jeśli np. masz w organizacji 2 środowiska: prod i test, możesz wykonywać 70 wywołań interfejsu API miesięcznie w każdym środowisku.

• W przypadku organizacji i środowisk z włączoną funkcją zarabiania limit wynosi:

  • 70 wywołań miesięcznie na organizację i środowisko w przypadku danych standardowych.
  • 70 wywołań miesięcznie na organizację i środowisko w przypadku danych o zarabianiu.

  Jeśli na przykład włączysz zarabianie w organizacji prod, możesz wykonać 70 wywołań interfejsu API w celu uzyskania standardowych danych oraz 70 dodatkowych wywołań interfejsu API w celu uzyskania danych o zarabianiu.

Jeśli przekroczysz limit wywołań, interfejs API zwróci kod odpowiedzi HTTP 429.

sprawdzanie stanu wszystkich próśb o eksport danych Analytics,

Aby wyświetlić stan wszystkich próśb o eksportowanie danych Analytics, wyślij GET do /analytics/exports.

Na przykład to żądanie zwraca stan wszystkich próśb o eksportowanie danych Analytics w środowisku test w organizacji myorg:

curl -X GET \
  "https://api.enterprise.apigee.com/v1/organizations/myorg/environments/test/analytics/exports" \
  -u email:password

Poniżej przedstawiamy przykład odpowiedzi z 2 żądaniami eksportu: jedno z nich jest w kolejce (zostało utworzone i znajduje się w kolejce), a drugie zostało zrealizowane:

[
  {
    "self":
"/v1/organizations/myorg/environments/test/analytics/exports/e8b8db22-fe03-4364-aaf2-6d4f110444ba",
    "name": "Export results To Cloud Storage",
    "description": "One-time export to Google Cloud Storage",
    "userId": "my@email.com",
    "datastoreName": "My Cloud Storage data store",
    "executionTime": "36 seconds",
    "created": "2018-09-28T12:39:35Z",
    "updated": "2018-09-28T12:39:42Z",
    "state": "enqueued"
  },
  {
    "self":
"/v1/organizations/myorg/environments/test/analytics/exports/9870987089fe03-4364-aaf2-6d4f110444ba"
    "name": "Export raw results to BigQuery",
    "description": "One-time export to BigQuery",
    ... 
  }
]

Sprawdzanie stanu prośby o eksport danych analitycznych

Aby wyświetlić stan konkretnej prośby o eksportowanie danych Analytics, wyślij żądanie GET do adresu /analytics/exports/{exportId}, gdzie {exportId} to identyfikator powiązany z prośbą o eksportowanie danych Analytics.

Na przykład to żądanie zwraca stan żądania eksportu Analytics o identyfikatorze 4d6d94ad-a33b-4572-8dba-8677c9c4bd98.

curl -X GET \
"https://api.enterprise.apigee.com/v1/organizations/myorg/environments/test/analytics/exports/4d6d94ad-a33b-4572-8dba-8677c9c4bd98" \
-u email:password

Poniżej przedstawiamy przykład odpowiedzi:

{
  "self":
"/v1/organizations/myorg/environments/test/analytics/exports/4d6d94ad-a33b-4572-8dba-8677c9c4bd98",
  "name": "Export results To Cloud Storage",
  "description": "One-time export to Google Cloud Storage",
  "userId": "my@email.com",
  "datastoreName": "My Cloud Storage data store",
  "executionTime": "36 seconds",
  "created": "2018-09-28T12:39:35Z",
  "updated": "2018-09-28T12:39:42Z",
  "state": "enqueued"
}

Jeśli eksportowanie danych analitycznych nie zwraca żadnych danych, parametr executionTime ma wartość „0 sekund”.

Odwołania do właściwości prośby o eksport

W tabeli poniżej opisano właściwości, które możesz przekazać w treści żądania w formacie JSON podczas eksportowania danych Analytics.

"dateRange": {
    "start": "2018-07-29",
    "end": "2018-07-30"
}

Na przykład:

{
    "name": "Export raw results to Cloud Storage",
    "description": "Export raw results to Cloud Storage for last 24 hours",
    "dateRange": {
      "start": "2018-06-08", 
      "end": "2018-06-09"
    },
    "outputFormat": "json",
    "datastoreName": "My Cloud Storage data repository"
  }