re:Invent 2020 サービスアップデート 2週目（12/7～12/11）のまとめ
社内勉強会でしゃべったネタの一部なのですが、特に隠しておく情報でもないため、ブログに書いておこうと思います。 先週発表されてAWSのアップデートを、個人的にまとめて社内で紹介しました。 深さはあまりなく各発表の内容をざっくり書いています。
本日開催されたAWSさん公式のBlackBeltのほうが詳しい気がしますが、セルフメモ的な意味もこめて書いておきます・・
Compute
ECR cross region replication
コンテナイメージのリージョン間コピーが可能に。アカウント間コピーも可能
EC2に新たなネットワークメトリクス追加
新たに5個追加。帯域上限を超えたIN/OUTパケット数、コネクション上限を超えたパケット数、 DNSやメタデータなどのlinklocalへの上限を超えたパケット数、PPSの上限超えパケット数。
Network
VPC Reachability Analyzer
AWSサービス間のネットワーク経路を可視化できるサービス。画面上で通過するENIやSGが一目で見れるため、ネットワークが繋がらない場合に役立つ。1分析あたり$0.10
Developer tools
Amplify CLIがFargateへのコンテナデプロイへ対応
ソースコードを用意して、amplify init、configure、add、pushの数回のコマンドを実行するだけで、Fargateのサービスを公開できる。パイプラインも自動作成される
CodeGuru Profilerのメモリおよびヒープメモリ対応
CPU、レイテンシーベースだったのがメモリも対応。ヒープメモリも対象
Security
AWS Audit Manager
監査を簡略化するためのサービス。GDPR、HIPPA、PCI DSSなど主要なコンプライアンスに対応 AWSアカウント内のリソース状況を既存のサービスを使用して取得する。エビデンスを自動収集し、 コンプライアンス標準に合わせた言葉も使用される。監査レポートの出力も可能。マルチアカウントにも対応
Analytics
Amazon Redshift ML
SQLコマンドで学習モデルの作成、学習、デプロイが可能。 CREATE MODEL文でモデルが学習、デプロイされる。TARGETでラベルのカラムを指定する。 その後SELECT文で予測結果を取得可能。裏ではSageMaker（autopilotベース）が動き、アルゴリズムは自動選定
Amazon Redshift Automatic Table Optimization
クエリの状況を監視し、機械学習を使用してソートキーなどを自動選定、データの再配置も実施する
Amazon Redshift federated queryがRDS（MySQL）をサポート
PostgreSQLだけでなくMySQLも追加
Amazon Redshift native console integration with partners
パートナー企業とのやり取りがやりやすく
Amazon Redshift が JSON と semi-structured dataのサポート
半構造化データやJSONもOKになった
Amazon Redshift data sharing
Redshiftクラスター間でデータを共有するサービス
Amazon Redshift RA3.xlplus node
小さいノードができた。これまでは4xlと16xl
Amazon Neptune ML
グラフDBのNeptuneでもRedshift ML同様の仕組みで機械学習が使用可能に 不正検知やレコメンデーションなどのユースケースで使用可能
Amazon EMR Studio
EMR用のIDE。SageMakerでも使われているJupyter notebooksが使用されている。 処理コードの開発がやりやすくなる
Amazon EMR on Amazon EKS
EKS（Kubernetes）上でEMRのデータ処理を実行可能に
QuickSightがElasticsearchをサポート
データソースとしてElasticSearchの指定が可能に
ML/AI
Amazon HealthLake
多種多様な医療データをAWS上に集約し、機械学習を使用して標準化、分析が可能。HIPPAにも対応
Amazon Lookout for Metrics
CloudWatch Anomaly Detectionの他サービス対応版。数値データの異常なふるまいを機械学習を使用して検知 CW、S3、RDS、Redshiftに加え、外部のSaaSにも対応（Salesforce, Google Analyticsなど） SNS経由で通知
Amazon Forecast Weather Index
天気予報
Amazon SageMaker Edge Manager
エッジデバイス上にデプロイされた学習モデルを管理、監視するためのサービス
Amazon SageMaker Clarify
学習データの偏りを検知するサービス。 たとえば画像の年齢判定のモデルを学習する場合に、データが特定の年代に偏ってないかなど
Deep Profiling for Amazon SageMaker Debugger
昨年発表されたDebuggerの新機能。ハードウェアリソースの分析や処理の稼働状況を分析できる
Amazon SageMaker JumpStart
目的に合わせて、学習済みのさまざまな既存のモデルを選択してデプロイ可能 不正検知や数値予測、自然言語処理や画像認識などさまざまなモデルあり そのままデプロイもできるが、既存の学習モデルを*ファインチューニングして、自分のモデルも開発可能。 たとえば一般的な画像分類のモデルから商品分類のモデルを学習してデプロイすることが可能 ※「ファインチューニング」既存のモデル全体を再調整して新たなモデルを学習すること。転移学習は既存の出力に追加学習
Amazon Kendra incremental learning
検索結果に応じて、継続的に増分のデータを使用した学習が可能
Amazon Kendora のcustom synonymsサポート
ユーザ独自の特定の用語を登録可能
Amazon Kendra の Google Drive connector対応
Google Driveをデータソースとしてサポート
さいごに
一番アップデートの多かった1週目ではなく2週目ピンポイントのまとめとなりました。 先週1週間でどんな感じでアップデートがあったのか、全体感はみれるかなと思います。
MLキーノートがあったこともあり、ML/AI、Analytics系のアップデートが多かったですね。
