top of page
検索
執筆者の写真M.Y

QuickSightとGoogle Big Queryの接続

はじめに

 

お取引先様がGA4を利用しており、そのデータをQuickSightで閲覧できないか検証することがありました。


GA4からGoogle Big Queryにデータをエクスポートしており、QuickSightの機能でGoogle Big Queryのデータセット作成が可能なので実際に接続を行いました。


その際、少しハマったポイントがあったのでご紹介したいと思います。



Google Cloudの権限設定

 

お取引先様の環境だったため、Google Cloudの権限設定をしていただいた上で対応を行っています。



QuickSightへ接続

 

まずログインしたQuickSightでデータセットをGoogle Big Queryを選択します。


任意のデータソース名、Big queryプロジェクトID、データセットリージョンを入力してサインインします。



対象のアカウントでGoogleにログインして認証をします。





これで接続ができて、テーブル選択の画面が出てくるはずなのですが、以下のようなエラー画面になってしまいました。


この状態でできたこと

  • カスタムSQLでBig Queryのテーブルを参照し、 limit をつけた状態で接続


この状態でできなかったこと

  • Big QueryのテーブルをQuickSightのUI上で参照すること

  • カスタムSQLでlimitをつけずに参照(max 1000 行までしかインポートできなかった)



原因と修正

 

①Big QueryのIAM権限不足

QuickSightから接続してテーブルを参照するには「'bigquery.readsessions.create' 」の権限が必要でした。


【改善】

権限を変更することで、スキーマの参照とカスタムSQLでlimitをつけずにテーブル内のデータをすべてインポートすることができました。


しかしテーブルの参照はできない状態でした。


②プロジェクト名に「for」が含まれている

サポートへ問い合わせを行い判明したことですが、Google Big Queryのプロジェクト名に「for」が入っているとテーブル参照が正しく行われずエラーが発生するとの回答をいただきました。


修正はされる予定のようですが、改修時期は未定でした。


結果

 

今回はQuickSightとGoogle Big Queryとの接続を行った結果、権限の設定や、QuickSight側の不具合によって接続までに何度もサポートへ問い合わせを行う必要がありました。


そして、今回はGA4のデータをQuickSightに接続を行うことで、売上データや他のデータと組み合わせて利用を行う為のテストとして接続を行いましたが、以下の理由で見送りになりました。


  1. Google Big QueryのデータはSPICEへインポートして利用する必要があり、今回のBigQueryのテーブルが日別で作成されていることから、複数日や昨対などの蓄積されたデータ分析が困難であった

    ※私が実証した時点ではSPICE利用が必須でしたが、Direct Queryがサポートがされました。(2024/9/13)


  2. 無償のGA4を利用しており、Big Queryへのエクスポート件数が100万件制限があるため、全量のデータがBig Queryにエクスポートされていなかった


おわりに

 

今回のケースでは、QuickSightとBig Queryを接続してGA4データを分析する、という方法は実現には至りませんでした。


しかし、GA4のデータをQuickSightで分析を行うために、GA4のデータをAWS app flowを利用してS3に連携を行い、AthenaもしくはRedshiftを用いてQuickSightに接続を行う方法を検討しています。


そちらについてもまたご紹介しようと思います。


閲覧数:14回0件のコメント

最新記事

すべて表示

Quick Sightの分析のクロスアカウントコピー

はじめに 今回のブログではQuick Sightで作成した分析をクロスアカウントコピーするための方法を紹介します。 開発環境で作成した分析を本番環境にコピーしたい時などにこの方法が使えるのではないかと思います。 2024/07/12追記...

Amazon Redshiftのクエリがなぜかたまに遅くなる原因

始めに 弊社では、膨大なデータの夜間バッチ処理にRedshiftを採用しています。 適材適所でサービスを選択しており、夜間以外はお役御免で停止しておき、費用面を抑えるよう工夫しています。 メンテナンスウィンドウも設けて運用していて概ね問題なく稼働しています。...

Comments


bottom of page