ForgeVision Engineer Blog

フォージビジョン エンジニア ブログ

【re:Invent 2019】UltraWarm for Amazon Elasticsearch Serviceの概要とセッションについて

はじめに

皆さん、こんにちは。CI事業部の北原です。
寒いですね。寒い時はユニクロのウルトラウォームを着ると
暖かくてとても良いですよ!
f:id:kitahara-fv:20191204091002j:plain

さて、話は変わりまして、現在re:Invent2019真っ只中
(記事投稿が遅れて終わりかけですが、、、)
先日AndyJassyのキーノートがあり、大変盛り上がっております。
そんな中、発表された新サービス、「UltraWarm」についての記事です。
f:id:kitahara-fv:20191204091103j:plain
※既存サービスであるAmazon Elasticsearch Serviceについての
 記事は以下の記事を参照下さい。
techblog.forgevision.com

概要

繰り返しになりますが、先日のAndyJassyの新発表のサービスの1つで
UltraWarm for Amazon Elasticsearch Serviceが発表となりました。

発表の時に特に注目されたのは、コスト面での課題の解消でした。

これまでElasticsearchServiceは非常に有益なサービスではあったが、
コストの面ではその他のログ分析ツールと比べると高い印象があった。
その部分を今回のUltraWarmを利用し、新たにHot-Warm層を設けることで
90%ものコスト削減が実現可能との事。

これまでElasticsearchServiceで利用していたデータ層をHot層として、
新たにWarm層の二層のTierをサポートし、
Hot層にはインデックス部分(作成、更新)及びデータアクセスに利用、
UltraWarm層はアクセス頻度の低い古いデータを格納する事で使い分けるとの事。

分かりやすく説明するとS3のストレージサービスに対してGlacierが追加された
ときのように、利用頻度に応じてライフサイクルでデータの格納先を変更する事で
利用料金の削減を実現したサービスとなります。

ElasticsearchServiceを頻繁に利用している身としては非常に嬉しい発表でした。
詳細は不明であった為、改めて以下のセッションに参加してきましたので、
内容について記載します。

セッション情報

ANT229:Introducing UltraWarm for Amazon Elasticsearch Serviceに
参加してきました。
f:id:kitahara-fv:20191207174615j:plain まず、はじめにUltraWarmには以下の特徴があります。
f:id:kitahara-fv:20191207174633j:plain

◆ストレージ:コスト、スケール、耐久性の向上
・S3のデータ
・Elasticsearchレベルのレプリカとスナップショットを排除します
・100%の使用率をサポート
・使用するストレージの料金を支払う
f:id:kitahara-fv:20191207174648j:plain

◆シームレスなインタラクティブユーザーエクスペリエンスを提供
インタラクティブなログ分析と視覚化を実行する これらのパフォーマンス最適化はすべて、顧客が楽しめる
Kibanaエクスペリエンスを提供することを目的としています。
・既存のクラスターのシームレスな拡張
・現在と同じ検索APIとツールを使用
・クエリは、温熱治療なしでUltraWarmに及ぶことがあります
・インタラクティブなダッシュボードと詳細なクエリ
f:id:kitahara-fv:20191207180624j:plain
◆UltraWarmノード:パフォーマンスの最適化
・高い性能と耐久性
・最適化されたNitroインスタンスプロバイダーの高帯域幅S3アクセス
・マルチレイヤー型で詳細なキャッシングadapriveprifecheと
クエリエンジンの最適化により、インタラクティブな体験を提供
・クエリは、ローカリティキャッシュまたはS3データに対して透過的に実行されます
・数字のパフォーマンス
・キャッシュされたデータをヒットするクエリはホットのように実行されます
・何日にも及ぶクエリ/キャッシュされていないデータのインデックスは、
従来のHDDベースのウォームインスタンスよりも最大2倍高速です
・fer日の狭いクエリ/キャッシュされていないデータのインデックスは数秒で終了します
f:id:kitahara-fv:20191207180537j:plain

◆GBあたりのコストを削減して、より長い保持を可能にします
・アクティブな90%のコスト削減
・現在の既存のサービスと比較して、Amazon Elasticsearch Service l3ベースの
ホットノードと比較して、GB /ドルで最大90%の節約 ・Elasticsearch / Kibanaが何カ月も何年もデータにアクセスできるようにする
f:id:kitahara-fv:20191207180606j:plain

アーキテクチャ図はこのようになります。
HOT層とUltraWarm層を分けた構成ではこのようになります。
自動的にUltraWarm層は3つのクラスタに分かれてデータが分割されてS3に
データを保持します。
f:id:kitahara-fv:20191207180553j:plain

ログの保存検証としてライフサイクルは上記のようなユースケースがありました。
1TBのデータを7日間HOT層に保持し、その後UltraWarm層に移動させた際の
ノードの動きになります。
f:id:kitahara-fv:20191207180639j:plain

まとめ

セッションを見た限りだと新たにGUIにUltraWarmの設定画面が表示されており、
一部有効化するだけで簡単にWarm層の実装が出来ていました。
インデックス化されないので全文検索としての利用は出来ないですが、ある程度
利用範囲を限定する事でコスト面でのメリットが出るのはうれしいですね。
ただ、今回の発表だけでは良い部分ばかりが目立って実は出来ない要素などが
結構ありそうなので、今後しっかり触ってみてデメリット部分について分かったら
本記事も更新していきたいと思います。

社外向け勉強会では実際に触ってみた動き等もお見せ出来ればと思います。
今後のブログ記事やFacebook等で宣伝しますので、お待ちください!