電通総研 テックブログ

電通総研が運営する技術ブログ

データエンジニアリング

Databricksで実現するデータ名寄せ【確率的マッチング編】

こんにちは。エンタープライズ第三本部 マーケティングIT部の熊倉です。 このブログでは、高速に動作する分散処理エンジン「Apache Spark」とオープンテーブルフォーマット「Delta Lake」を基盤としたレイクハウス環境を構築できるDatabricks上で管理してい…

Databricksで実現するデータ名寄せ【決定論的マッチング編】

こんにちは。エンタープライズ第三本部 マーケティングIT部の熊倉です。 このブログでは、高速に動作する分散処理エンジン「Apache Spark」とオープンテーブルフォーマット「Delta Lake」を基盤としたレイクハウス環境を構築できるDatabricks上で管理してい…

Databricksで実現するデータ名寄せ【概要編】

こんにちは。エンタープライズ第三本部マーケティングIT部の熊倉です。 このブログでは、高速に動作する分散処理エンジン「Apache Spark」と オープンテーブルフォーマット「Delta Lake」を基盤としたレイクハウス環境を構築できるDatabricks上で管理してい…

新人AWS Certified AI Practitionerを取得しAWS上でAIを動かす方法を知る

こんにちは。エンタープライズ第一本部の新人、佐藤悠です。 はじめに 筆者について AIFの概要 AIFで問われるAWSサービス Amazon SageMaker [2] Amazon SageMaker Clarify [3] Amazon SageMaker Canvas [4] Amazon Bedrock [5] Amazon Bedrock ガードレール …

Iceberg Table for BigQuery の Iceberg Table の中身を見て触れて実感を持ちたかった

はじめに Iceberg とは? Iceberg Table for BigQuery Iceberg Table を作る 用意するもの テーブル作成 データを入れる Time Travelできないし、なんだかメタデータがめっちゃ少ない!!! 次へ はじめに 当記事を開いていただきありがとうございます。電通…