AI 元SEママの情シスなりきりAWS奮闘記

ゼロETL、Amazon KendraなどAWS re:Invent 2022で見たデータ分析系サービスの進化

2023年1月31日掲載

こんにちは。シイノキです。最近、ちょっと前(ということにしたい)の曲が流行ってますよね。娘がどこからともなく仕入れてきて歌うので「お母さん、それ知ってる!」と言ったら、「多分なんか違うと思う」と言われました。いや、むしろお母さんの方が元だから!(対抗意識)

さて今回は、前回に引き続き、3年ぶりに現地開催されたAWS re:Invent 2022のレポートをお届けします。このイベント、現地の参加者が5万人以上、オンラインで視聴した人はなんと30万人以上だとか。相変わらずすごい規模のイベントです。後編では、ソニービズネットワークスから現地参戦した小竹さん、濱田さんにお話を聞きました。

いかにデータ活用のハードルを下げ、利用者の作業をなくすか

ではまずは小竹さんのインタビューから。マネージドクラウド with AWSリリース当初からサービス企画を担当していて、以前からAWS re:Inventに現地参加してきた方のひとりです。今回は、AI・ML関連の発表についてお話を聞きましたが、ここもかなり大量の発表があったそうです。

「テキストや文書から、重要な要素(エンティティ)を抽出するサービスがいくつか発表されるなど、データ活用のハードルを下げる方向の機能やサービスも多かった印象です(小竹)」Amazon SageMaker Data Wranglerの機能強化もそのひとつ。これはそもそも、前編でも触れた「データプレパレーション」と呼ばれる、AI活用のためのデータ準備作業をおこなうサービスですが、今回40以上の外部データソースに対応することが発表され、コネクタでつなぐだけで簡単に使えるようになりました。

「AIを活用するには膨大なデータが必要ですが、イチから散在するデータを集めて、必要なデータをそろえるのは大変です。今回のリリースでSalesforceやSAP、Google Analyticsなどにも対応し、この作業がかなりラクになると思います。ゼロETLというコンセプトにもつながりますが、ETL部分についてはより負担をかけないように、利用者の作業をなくそうという方向で、AWS全体で機能・サービスを整備しにきていると感じました(小竹)」

社内用検索サービスを実現する「Amazon Kendra」が日本語対応

そんな小竹さんに注目サービスとして紹介いただいたのが、「Amazon Kendra」です。これは、インテリジェントエンタープライズサーチを実現するサービス……と言われても、はて……と固まるしかない感じですが、要するに「社内の情報をググれるようにする」ものだとか。ほほぅ、詳しく聞かせていただきたい。「業務をするなかで、どこかで見かけた、どこかにあったはずのあの情報、どこにあったっけ?って時間をかけて探すこと、ありますよね。しかも最近ではメールのほかに、Slack・Microsoft Teamsなどのチャットツール、ファイルサーバ、SharePointなどのオンラインストレージといろいろ使えるようになったことで、ファイルも分散し、見つけるのが厄介になっています(小竹)」わかりすぎる……。本当に、あのころに見たはずのあの資料、どうして見つからないんでしょう……。

「Amazon Kendraは機械学習を利用した高精度な文書検索で、これらのデータを横断して検索できるサービスです。自然文の質問に対して、関連する文書をランキング表示するので、検索サイトのように使えるイメージですね。3年前にリリースされたのですが、今回日本語対応が発表されました(小竹)」それは便利すぎるやつでは……?ちなみに、SharePoint、Exchange、Slackなどいろいろと対応しており、どこを検索対象とするかは自分で指定します。指定したプラットフォームとドキュメントを同期して、検索できる、ということのようです。これマジですぐ使えたりするんですかね?期待してもいいですか?

「日本語に対応したことで、やっと私たちでも提案・対応できるようになりました。FAQの作成や、情報整理・収集の手間がなくなるのではと期待していて、早速社内でも試そうと考えています(小竹)」

いよいよデータの民主化が本格化?データ分析サービス全般がすごかった!

最後は、以前セキュリティ・シンプルパッケージのインタビューでもご協力いただいたエンジニアの濱田さんです。
初のAWS re:Invent参加となった濱田さんは、かなり刺激を受けたようで、注目サービスも「データ分析サービス全般とさせてください!(濱田)」とのこと。
では、その心は?「専門知識がなくてもデータ分析できることを指す『データの民主化』という言葉もありますが、本当にやりたいのは“分析”ではなく、その先の予測だったり、分析結果を活かして利益を出したりすることであって、あくまでもその過程のひとつにデータ分析があるだけです。
この分析の部分をAWSがうまくやってくれるので、複雑な技術がいらなくなり、だれでもデータ分析ができる時代がやってくる、そう感じられるイベントでした(濱田)」数字が苦手な民である私としては、だれでもデータ分析できる!と言われても、半信半疑どころか、9割疑問の気持ちではありますが、それでもデータ分析のハードルがどんどん下がっていること自体は間違いないのでしょう。

「ゼロETL」のコンセプトを実現するサービスも

そのなかでも、大きなトピックと言えるのが、ここまでも何度か出てきた「ゼロETL」というコンセプト、そしてそれを実現するサービスのひとつである「Amazon Aurora Zero ETL integration to Redshift」です。もうサービス名に「Zero ETL」って入っちゃってますもんね。

そもそも、AWSがなくそうとしているETLは、Extract(抽出)・Transform(変換)・Load(書き出し)の3つの機能を備え、DBなどから必要なデータを取ってきて、必要な形に整形して、別なシステムやDB・DWHに渡すツールのことです。こうやってDWHに入れたデータをうまく使ってAI・BIで分析したりするわけですが、この間のデータ変換は割と大変で、間にエンジニアが入って、要件を聞いて、対応するのが一般的でした。つまり、必要なデータが変われば、もう一度エンジニアに頼んで、対応してもらわないといけない。時間もかかれば、手間もかかる、なかなか厄介な仕組みです。「さらに、AIやBIで常に最新のデータを分析したいという要件があっても、DBからリアルタイムにデータを取得し続けるのはかなり大変で、どうやってデータをうまく抽出するかが課題でした(濱田)」Amazon Aurora Zero ETL integration to Redshiftを使えば、Amazon Auroraに書き込まれたデータが数秒後にはAmazon Redshiftに自動でレプリケーションされるようになり、ETLツールで対応していたデータの抽出や変換が不要になって、リアルタイムでのデータを使えるようになる、ということ。

「“いつも最新のデータを見たい・分析したい”というニーズに応えられ、“違うデータが必要なんだけど”というときに都度対応する必要もなくなります。エンジニアが大変なこともなくなって、メリットの多いサービスだと思います(濱田)」

中小企業でもデータ活用・機械学習が手軽に使える時代へ

これからのビジネスではデータ活用が鍵を握る、といったことはもう何年も前から言われてきました。とはいえ、大手を中心にデータ活用が進められている一方で、中小企業はまだまだそこまで……というところが多かったようにも思います。「だれでもデータ分析できる」と言われても、ちょっと大げさでは、という気持ちはまだぬぐえませんが、データ活用のハードルがどんどん下がってきている(そして、ハードルが高いからと逃げられなくなってきた)ことは事実なんだなと、2回にわたってAWS re:Invent 2022の様子を聞いて、改めて感じました。

そして、これはソニービズネットワークスが画像判別AIソリューション「ELFE on AWS」や予測分析ツール「Prediction One」などで目指そうとしている「だれでもAI/MLを使える」というコンセプトにもつながるもの。データ活用・機械学習などが、まさに今、一段進化しようとしているのかもしれません。数字は苦手だから……と言っている場合ではなく、置いていかれないよう精進あるのみですね。

以上、シイノキでした!

ゼロETL、Amazon KendraなどAWS re:Invent 2022で見たデータ分析系サービスの進化

SHARE
シェアシェア ポストポスト
ゼロETL、Amazon KendraなどAWS re:Invent 2022で見たデータ分析系サービスの進化
SHARE
ポスト シェア