2022年在AWS中被破解的反范式

大分類打ち破ったサービスコスト抑制に有効か？いつごろか？概要その他メモとか参考とかAnalyticsRedshift Spectrum
2022-01Redshift Spectrumカスタムデータ検証により、事前のデータ中の予期せぬ値を除くクリーン化作業が不要にAmazon Redshift Spectrum がカスタムデータ検証ルールを提供AnalyticsSQL Explorer in EMR studio
2022-01Presto をインストールした EC2 クラスター上の Amazon EMR に接続し、データカタログを表示および閲覧することが可能となったSQL Explorer in EMR Studio の紹介 (amazon.com)AnalyticsAmazon Redshifty2022-09Redshiftシステムログの耐久性が強化され、最大7日間のシステムログデータにアクセス可能になり、クラスタを一時停止してもシステムログが保持されるようになり、障害追跡のためのクラスタ動作不要に。https://aws.amazon.com/jp/about-aws/whats-new/2022/09/amazon-redshift-announces-enhanced-system-logs-consistent-durability/AnalyticsEMR Serverlessy2022-06EMR on EC2でのクラスタ起動に8分前後かかってたため、常時動作を選択している場合は、EMR Serverlessによりオンデマンド利用可能に。Amazon EMR Serverless が一般公開されましたAnalyticsRedshift serverlessy2022-07Redshift serverlessにより、需要を予測したクラスタサイズ変更などの管理が不要にAmazon Redshift Serverless の一般提供を開始AnalyticsGlue Flexy2022-08Glue Sparkジョブに新しいクラス “Flex” が登場。主に開発中など、レイテンシー要件の緩いワークロード向けに34%のコスト削減に使える。https://aws.amazon.com/about-aws/whats-new/2022/08/aws-glue-supports-flex-execution-option/AnalyticsAthena
2022-07Athenaのマネジメントコンソールで実行プランを見れるように。2021-04には手動でEXPLAIN可能になったのに続く改善https://aws.amazon.com/jp/about-aws/whats-new/2022/07/amazon-athena-visual-query-analysis-tuning-tools/AnalyticsGluey2022-04GlueでAuto Scalingが使えるようになった。ワークロードにあわせて自前でクラスタのサイズを調整する必要があったhttps://aws.amazon.com/about-aws/whats-new/2022/04/autoscaling-aws-glue-now-generally-available/AnalyticsGlue
2022-04Glueで対話的な開発のためにInteractive Sessions (とそれに基づいたGlue Studio Notebook)が使えるようになった。旧来の開発エンドポイントを使う必要があったが、セットアップの手間やコスト面で課題があったhttps://aws.amazon.com/about-aws/whats-new/2022/04/aws-glue-interactive-sessions/AnalyticsGlue crawlery2022-08クローラーの実行履歴(DPU Hour等含む)を画面上で確認できるようになった。これまでは履歴やDPU Hour(課金につながる)を見る手段がなかったhttps://aws.amazon.com/about-aws/whats-new/2022/08/announcing-crawler-history-aws-glue/AnalyticsGlue, Athena, Redshift
2022-02Delta Lakeのテーブルが更新されるたびに、SparkからDelta Lakeのライブラリを使ってManifestファイルを生成する必要があったhttps://aws.amazon.com/blogs/big-data/crawl-delta-lake-tables-using-aws-glue-crawlers/BEXCodeGuru Reviewery2022-05CodeGuru Reviewerが新たに、ファイルやフォルダ単位の指摘抑制が可能になりました。従来はリポジトリ内の全てのファイルやフォルダをスキャンしていましたが、スキャン対象外とする（指摘を抑制する）ものを指定できるようになりました。リポジトリ全体のスキャンを避けるにはわざわざコピーをしていたAWS CodeGuru Reviewer がコードレビュー時にファイル・フォルダ単位の抑制に対応CloudFrontATPがCFに対応
2022-08アカウント乗っ取り防止がCFで有効になった。これまでは一部リージョンのWAFのみ対応だった。AWS WAF Fraud Control – Account takeover prevention for Amazon CloudFrontCloudFrontCloudFrontのOrigin Access Control
2022-08Amazon S3へのアクセスを特定のCloudFrontディストリビューションからに限定。OAI(非推奨になった)よりセキュリティも強固にAmazon CloudFront でオリジンアクセスコントロール (OAC) をリリースComputeAWS Health Dashboard
2022-09AWS Health Dashboard でイベントの時刻をUTCや現地時間に設定可能に。これまではPDTで表示されていた。AWS Health Dashboard でイベントの時刻を現地時間に設定可能にComputeFargateが4倍に
2022-09AWS Fargate の改善でEC2を選ばざるを得なかったような大きいvCPU/メモリが選択可能になりました。最大で16vCPU、120GBメモリとなり、これまでの4倍です。AWS Fargate でコンピューティングとメモリのリソース構成が 4 倍に増加 (amazon.com)DatabaseAmazon DynamoDBy2022-08DynamoDBがS3からのバルクインサートを実現。ETLツールとかつかってWCU消費しながら書き込んでたものが不要に。Amazon DynamoDB が Amazon S3 からのバルクインポートに対応DatabaseRDS Performance Insight
2022-07Amazon RDS Peformance Insights でメトリクス保存期間内の任意の範囲を指定して、データベースのパフォーマンスメトリクスを確認できるようになりました。従来は「過去1時間」「過去24時間」といった相対的な範囲指定のみが可能でしたが、今回のアップデートにより分析したい期間を容易に指定・分析可能になりました。Amazon RDS Performance Insights がパフォーマンス履歴の保持期間にさらなる選択肢を提供DatabaseAurora Serverless v2のGAy2022-04Aurora Serverless v2のリリース。Auroraの持つ Multi-AZ や Global Database、リードレプリカといった機能がほしくてServerlessをえらべなかったことがあったのが解消Amazon Aurora Serverless v2 の一般提供を開始DatabaseAmazon Aurora MySQL
2022-095.7 → 8.0 Inplace Upgradeが可能に。バックアップからの復元が不要に。https://aws.amazon.com/jp/about-aws/whats-new/2022/09/amazon-aurora-supports-in-place-upgrades-mysql-5-7-8-0/NetworkSite-to-Site VPN
2022-08Amazon CloudWatch で AWS Site-to-Site VPN コネクションのログ収集が可能になり、サポートに依頼する必要がなくなった。Amazon CloudWatch で AWS Site-to-Site VPN コネクションのログ収集が可能にNetworkDirectConnect
2022-08AWS Direct Connect において従来より低帯域幅での AWS Transit Gateway 接続が利用可能になり、パートナー提供のDX回線でのTGW提供がひろがった。AWS Direct Connect において従来より低帯域幅での AWS Transit Gateway 接続が利用可能にNetworkSite-to-Site VPN
2022-06AWS Site-to-Site VPN プライベートIP VPN ができるようになり、IPアドレス重複などで破綻してたサブネットとVPCをトンネルできるAWS Site-to-Site VPN プライベートIP VPN のご紹介ObservabilityAWS Distro for OpenTelemetry
2022-02EKS FargateでのCloudWatch Container Insightsの利用が可能に。Container InsightsをCWAgentで取るにはDaemonsetが必要で、FargateではContainer Insights種毒出来なかったhttps://aws.amazon.com/jp/about-aws/whats-new/2022/02/amazon-cloudwatch-eks-fargate-distro-opentelemetry/ObservabilityAmazon Managed Service for Prometheus
2022-09Amazon Managed Service for Prometheusのメトリクス保持期間150日が緩和可能に。別途保存が不要に。https://docs.aws.amazon.com/prometheus/latest/userguide/AMP_quotas.htmlObservabilityCloudWatch
2022-08CloudWatch Custom MetricsのIngestion　スループットが150倍になった。上限緩和したり、時間的に分散してのAPI実行不要に。https://aws.amazon.com/about-aws/whats-new/2022/08/amazon-cloudwatch-metrics-increases-throughput/SecurityAmazon GuardDuty
2022-07セキュリティエージェントを使用する代わりに、GuardDuty Malware Protection は、アカウント内の感染の可能性がある EC2 インスタンスまたはコンテナのワークロードにアタッチされている EBS ボリュームのスナップショットを基にレプリカを作成し、スキャンを行います。Amazon GuardDuty にマルウェア保護の機能を追加SecurityIAM Roles Anywhere
2022-07AWS 外部のワークロードではアクセスキー・シークレットキーを埋め込んでたhttps://aws.amazon.com/jp/blogs/news/extend-aws-iam-roles-to-workloads-outside-of-aws-with-iam-roles-anywhere/ServerlessLambdaが10GBのエフェメラルストレージサポートy2022-03Lambdaが10GBのエフェメラルストレージサポート。これまでコンテナやEC2を使って多くのデータの一時的なキャッシュをしていた場合に有用。機械学習の推論やメディア処理などデータ集約型アプリケーションで特に便利。AWS Lambda で最大 10 GB のエフェメラルストレージをサポート可能にServerlessAmazon SNS
2022-09Amazon SNSでセンシティブな情報がサブスクライバーに流れるのを防ぐビルトインの仕組みがプレビューとなりました、これにより Lambda Subscriber側やsender側での保護以外にもビルドインの仕組みが加わりました。https://aws.amazon.com/jp/about-aws/whats-new/2022/09/amazon-sns-preview-message-data-protection-sensitive-data-in-motion/StorageEBSy2022-082019 年から、ひとつの EC2 インスタンスにアタッチされた「全ての」EBS ボリュームについて整合性のあるスナップショットを取得することはできた。これを「任意の組み合わせ」で可能に。任意に選択した複数の EBS ボリュームについて整合性のあるスナップショットを取得可能にStorageAWS Backup for Amazon S3
2022-02AWS Backup はAWS上の各種サービスのバックアップ＆リストアを一括管理するサービスであり、EBSボリュームや、Amazon RDS、Amazon EFS 等をサポートしていますが、これに今回 Amaozn S3 のバックアップが加わりました。AWS Backup for Amazon S3 の一般提供を発表