こんにちは、AWS グループの菊池です。
re:Invent 2024で新しい生成AIモデルのAmazon Novaが発表されました。
| モデル名 | 概要 |
|---|---|
| Amazon Nova Micro | テキスト。低コスト低遅延 |
| Amazon Nova Lite | テキスト、画像や動画などマルチモーダル対応 |
| Amazon Nova Pro | テキスト、画像や動画などマルチモーダル対応 |
| Amazon Nova Premier | 複雑な推論に対応（2025年提供予定） |
| Amazon Nova Canvas | テキストから画像を生成 |
| Amazon Nova Reel | テキストから動画を生成 |
今回、このAmazon Novaを活用してムービー作成をしたいと思います。
TL;DR
Amazon Nova Reelはスタートの画像やプロンプトをもとに9秒までのショート動画を作成できるモデルです （マネージメントコンソールでは6秒固定）。
この記事ではAmazon Nova Canvasを利用してスタート画像を作成し、その画像をもとにAmazon Nova Reelで動画を、Amazon Nova Proで台詞を生成してショートムービーを作成します。
- Amazon Nova Canvasを使ってスタート画像を生成する
- Amazon Nova Reelを使って動画を生成する
- Amazon Nova Proを使って台詞を生成する
- Amazon Pollyを使って音声を合成する
- ムービー完成
準備
リージョンはバージニア北部（us-east-1）を利用します。
モデルアクセスからAmazon Nova Reel、Amazon Nova Pro、Amazon Nova Canvasを有効にします。
1. Amazon Nova Canvasを使ってスタート画像を生成する
フォージビジョンといえばオレンジ、熊ということで、フォージビジョンっぽいキャラクターが自己紹介するショートムービーを作成します。
Amazon Nova Canvasではプロンプトをもとに画像を生成できます。
Amazon Nova Reelのスタート画像として利用するためにはサイズを1280x720にします。
日本語もだいぶ通ります。基本的に写真調の画像が生成されるのですが、プロンプトに「漫画」と入れるとイラスト調の画像になりました。
画像のダウンロードは右上の「↓」ボタンでまとめて行えます。個別の画像だけダウンロードしたい場合は、画像をクリックして出てくるメニューから行えます。
2. Amazon Nova Reelを使って動画を生成する
スタート画像を「Start frame」の推論イメージに設定し、プロンプトを入れて動画を生成します。1回の動画生成には数分かかります。
保存先のS3バケットは初回生成時に自動的に作成されます。
画像を設定しない場合はプロンプトに従ってそれなりに動画を生成してくれるのですが、画像を設定している場合はほとんどプロンプトに従ってくれません。
モデルの説明には以下のようにあるので、画像とプロンプト両方使うというのは想定してないのかもしれません （ただし、プロンプトなしの画像だけではマネージメントコンソールでは動画生成できません）。
Nova Reel is a video generation model. It generates short high-definition videos, up to 9 seconds long from input images or a natural language prompt.
3. Amazon Nova Proを使って台詞を生成する
Amazon Nova Proはドキュメントや画像や動画を渡すことができます。
今回はスタート画像をもとにキャラの自己紹介セリフを考えてもらいました。
動画が6秒なのでこのままだとセリフが長く、何度か「短くして」と頼んで最終的に6秒程度のセリフを生成しています。
4. Amazon Pollyを使って音声を合成する
Amazon Nova Proが生成したセリフを音声合成します。
日本語はニューラルとスタンダードのみ対応しています。 （生成が使えたら生成AIづくしにできたのですが）
5. ムービー完成
というわけで弊社のスーパークリエーター尾谷さんに頼んで結合してもらった動画が以下になります。
皆さんも試してみましょう！
