画像や言葉を動画に変換する生成AI、Runwayを初めて使ったので、登録方法と簡単な使い方をまとめたいと思います。
記事作成時点で Gen3 Alphaがリリースされていますが、無料で使えるGen-2の説明になります。
Runwayの登録
Runwayを使うためには登録が必要です。
https://runwayml.com/にアクセスし、「Sign Up」をクリックします。
私はEメールで登録することにしました。
Eメール以外にGoogleアカウント、Appleアカウントでも登録ができるようになっていました。
IDとパスワードを入力して次に進みます。
First Name（名前） と Last Name（苗字）を入力して次に進みます。Organization は空欄で大丈夫です。
登録したEメールアドレス宛に「Verify it’s you!」という件名のメールが届くので、本文に書かれたコードをコピーします。
コードを貼り付けて、「Validate」ボタンをクリックします。
Subscribeボタンが出てきますが「Skip」をクリックします。
これで、Free Plan でログインすることができました。
Runwayのプラン
Runwayは基本的には月額料金を支払って使用するサービスです。
動画の生成にはcreditを消費するのですが、Free Plan（おそらくBasicと同義）の場合、最初にお試しで付与されたcredit分しか動画を生成できません。
Standardの場合は毎月625 credits、Proの場合は2250 creditsまで使うことができます。余った分の繰り越しはできないようです。
Unlimitedでは credit の制限がなくなります。
参考までに2024年7月3日時点の金額は以下のようになっています（年間契約にすると月あたりの料金が20%OFFになるようです）。
| プラン | 料金 | クレジット |
|---|---|---|
| Basic | 0 | 125(使い切り) |
| Standard | 15ドル | 625 / 月 |
| Pro | 35ドル | 2250 / 月 |
| Unlimited | 95ドル | 制限なし |
各プランの料金やサービス内容は変更になる可能性がありますので、詳しくは下記公式サイトでご確認ください。
Runwayの使い方
画像を使って動画を生成する手順を説明します。
左のメニューからGenerate Videos をクリックします。
「Text/Image to Video」のカードをクリックします。
アップグレードの案内が出た場合、必要がなければ「Try it later」をクリックして閉じます。
画面全体のイメージはこのような感じです。
モデルの切り替え
左上のドロップダウンでモデルを切り替えできます。
Free Planの場合はGen-2しか使えませんが、課金すればより高性能なモデルを使うことができます。
この辺りはChatGPTと一緒ですね。
クレジット
画面右上にクレジットの残数が表示されます。
Free PlanがBasic Planと同義だとすれば付与されるのは125クレジットのはずですが、私が登録したタイミングでは525クレジットが付与されたようです。
画像のアップロード
まずは「Drop an image or click to upload」と書かれた枠内に画像のアップロードを行います。
方法の一つはドラッグ&ドロップです。ファイルを枠内に持ってくるだけでOKです。
もう一つの方法はフォルダを開いてアップロードすることです。
「Drop an image or click to upload」と書かれた枠内の「Select from Assets」というボタン以外の場所をクリックします。
すると、ファイルを選ぶウィンドウが出てくるので、ファイルを選んで「開く」をクリックします。
ばらく待つとこのように画像が表示されます。
ちなみに今回使用したのはChatGPTのGPT4で生成した画像です。
このように日本語で指示しても問題なく画像を生成してくれます（おそらく内部的に一度英語に翻訳がかかっているので、はじめから英語で指示した方がより的確に理解してくれる可能性があると思います）。
Prompt
次に、左に並んだメニューを見ていきます。
プロンプト（Prompt）は生成AIへ出す指示のことです。Runwayの場合は画像をアップロードし、さらに言葉で説明を付け加えることができるようです。
今回の例では、こんなプロンプトを入れてみました。
<pre>a boy live in imaginary country in a planet far from the earth. He looks like a human but is also one of stars in the same time.</pre>
Settings
アップグレードすれば動画の画質をHDに設定したり、ウォーターマークを取り除いたりすることができます。
詳細は理解していないのですが、他に、seed という結果を似たようにしたいときに使う数字と、動画ではなく画像のために使うらしいプロンプトに関する設定項目があります。
Camera Control
カメラをどのように動かすか決めることができます。
バーを動かすとプレビュー内でカメラの枠が動くので、直感的にカメラの動きを理解することができます。
バーをダブルクリックすれば最初の位置に戻ります。
全てのバーを元に戻すには「Clear」ボタンをクリックします。
左３列はカメラの向きを変えずに横、縦、前後に動かします。
Horizontal
Vertical
Zoom
右３列は被写体に対するカメラの角度に変化をつけます。
Panは左右、Tiltは上下に回りこむ動き、Rollはハンドルを回すように回転する動きになります。
Pan
Tilt
Roll
Motion Brush
Motion Brush の機能を使うと、動かしたい部分を明示的に選択することができます。
最初、Auto-detect area というスイッチがONになっていると思います。
この状態でプレビューにマウスを持っていくと、範囲が自動選択されます。
Auto-detect areaのスイッチをOFFにすると、手書きで範囲を選べるモードになります。
丸いブラシでなぞると塗りつぶすことができます。
つまみを左右に動かすことでブラシの大きさを変えることができます。
消しゴムマークを選ぶと選択した塗りつぶしを消すことができます。
Auto-detect area がONだと消す範囲が自動で選択され、OFFだと手動でなぞる形式になるのは塗りつぶしブラシと同様です。
右の方に Brush 1 ～ Brush 5 というメニューが並んでおり、切り替えることができます（先ほど自動選択と手動選択で選択範囲の色が違ったのはブラシを切り替えていたためです）。
ブラシは最大５色用意されており、それぞれの色に動きを指定することができます。
設定してみると、このようにブラシ名称の横にアイコンがでてきます。
ブラシの違いは色の塗分けで、イラストソフトのレイヤー（層）とは異なるものだと考えた方がよさそうです。
すでに塗りつぶされた部分をブラシを切り替えて別の色で塗りつぶすと、色が重なるのではなく上書きされます。
また、ブラシを切り替えても消しゴムはすべての色に対して有効です。
緑色の Brush 2 を選択した状態でも Brush 1 のピンク色の塗りつぶしも消えるのでご注意ください。
Style
全体の雰囲気を設定する部分だと思います。
画像をアップロードした状態だと、このように設定ができませんでした。画像を使わずに文章から動画を生成するときに設定するのでしょうか。
Aspect Ratio
画面の縦横比を設定できます。
画像をアップロードした状態だと画像の縦横比がそのまま採用されるため、設定はできなくなります。
Custom Presets
繰り返し動画を作成する際に以前の設定が使えるように、設定を保存できるようです。
Create New をクリックすると
このように設定画面が出てきます。
動画の生成
一通りの設定を終えたら Generate 4s ボタンをクリックして動画を生成していきます。
このような画面が出てきます。
処理が終わるのを待ちます。１分かからない程度、かかっていても２分くらいだったのではないかと思います。
完了するとこのような表示になります。
credit を確認すると、525 から 505 に減っています。１秒あたり５credit 消費しているのが分かりますね。
本記事執筆の過程で生成された動画を確認されたい方はこちらをご覧ください（ショート動画になってしまって埋め込みができませんでした）。
動画のダウンロード
動画のダウンロードは Download マークから行えます。
参考までに、今回作成したファイルのサイズは3.3MBでした。
動画はダウンロードしなくてもWEB上で再生してみることができます。
まばたきが追加されたのが印象的でした。
ブラシで髪が右に動くように設定していたのですが、髪だけ単体で動くのは想定外でした。
動画の右下に出てくる３色のマークがウォーターマークです。こちらは有料プランに入ることで取り除くことができるようになります（無料プランで作った動画のものも取り除けるのかは不明です）。
他に気が付いたのは、厳密にブラシで設定したところだけ動くというわけではなく、全体的にわずかな揺らぎのような動きがつけられるようです。
動画の保存
ダウンロードではなくクラウド上に保存もできるようです。
Save in というところを確認すると保存先が選べます。
大きく非公開と公開のフォルダが用意されています。
試しに Private Assets（非公開）の中の Generative Video を選択して「Select」ボタンを押してみました。
すると、Save in だった表示が Generative Video に変わりました。
動画を延長する
プレビュー下の Extend から動画の延長を行うことができます。
生成された動画の最後の部分が画像として読み込まれた状態でスタートして、最初にやったのと同様の設定を行って続きを生成することができます（追加で credit を消費します）。
Lip Sync
Lip Sync ですが、音に合わせて唇を動かす機能のようです。
クリックするとこのような画面になります。
音源ではなくプロンプトでもOKのようなので、動画生成のときに使った文章を自己紹介風に入れてみました。
I’m a boy live in imaginary country in a planet far from the earth. He looks like a human but is also one of stars in the same time.
こちらは一例です。
スクリプトより短い動画はループされるとのことですが、どういう意味なのでしょうか。
唇の動きまでループしたら歌詞に合わなくなってしまうので、それ以外の部分がループされるということなのかもしれません。
ということで、サンプルの詩も付け加えて長い詩で試してみます。さらに、日本語が使えるのかも気になったので自分で用意した部分は日本語にしてみました。
Embark on the quest for a better you, where every challenge is a stepping stone. Personal growth is the voyage of self-discovery, a journey that promises evolution. Embrace the change, welcome the growth, and become the architect of your destiny. The path to self-improvement awaits. 私は地球から遠く離れた惑星の架空の国に住む少年です。人間のように見えますが、同時に星の一つでもあります。
こちらから声を選ぶことができます。
私が見たタイミングでは19人の音声が用意されていました。
デフォルトで選ばれていたKatie はNews, American, Feminine という説明がついていました。
アメリカ人女性のニュースキャスター風といったところでしょうか。
再生ボタンを押すことで短い台詞を聞くことができます。
さらに、カスタムメニューも用意されていました。
Try it in Generative Audio をクリックしてみます。
すると、別タブでこのように音声作成のための画面が開きました。
ここでも先ほどと同じように音声が選べる場所があったので、CustomのTry it をクリックしてみました。
Pro プランの契約が必要だったようです。
ということで、カスタムは諦めて用意されている19人の中から選ぶことにします。
Childish を選ぶと Rachel という音声が出てきました。一応子ども設定のイラストなのでこちらを選択してみました。
詩と声が設定できたので、Generate Lipsync を試してみます。
待ち時間です。
100%になるのを待ちます。
エラーが発生しました。
原因が不明ですが、日本語かなと思いました。
よって、スクリプトを下記に変更して再実行してみました。
Embark on the quest for a better you, where every challenge is a stepping stone. Personal growth is the voyage of self-discovery, a journey that promises evolution. Embrace the change, welcome the growth, and become the architect of your destiny. The path to self-improvement awaits. I’m a boy live in imaginary country in a planet far from the earth. I look like a human but is also one of stars in the same time.
ところがこれもエラーでした。
では、こちらはいかがでしょう。
Embark on the quest for a better you, where every challenge is a stepping stone. Personal growth is the voyage of self-discovery, a journey that promises evolution. Embrace the change, welcome the growth, and become the architect of your destiny. The path to self-improvement awaits.
こちらもエラーでした。
少し思ったのは、イラストの口を認識できていないのかもなあということです。
解決は難しそうなので、今は深追いしないことにします。
Runwayで作成したファイルの確認方法
Runwayにアップロードした画像や作成した動画はクラウド上に保管されています。その確認方法をご紹介します。
まずは左上のメニューを開いてダッシュボードにアクセスします。
https://runwayml.com/←こちらからSign in することでも同じ画面に行けます。
All Assets をクリックします。
するとこのようにファイルとフォルダのリストが表示されます。
途中で保管先を設定したので、生成した動画はGenerative Video フォルダの中に入っています。
All Assets というタイトル下にあるタブでPrivate（非公開）とShared（公開）が切り替えられますが、何もしなければファイルは基本的にPrivateの方に保管されるようになっていると思います。
Shared に切り替えると中身は空でした。
まとめ
画像から動画が作成できる生成AIのRunwayについて、登録方法と簡単な使い方をご紹介しました。
無料の範囲でもできることは多そうなので、色々と試してみたいと思います。
