なるべく理解したいffmpeg

ビデオ

• ビデオの先頭から、30フレーム使ってフェードインさせる。

$ ffmpeg -i sample.mp4 -vf"fade=in:0:30" sample_fade-in.mp4

• ビデオの300フレームから、30フレーム使ってフェードアウトさせる。

$ ffmpeg -i sample.mp4 -vf"fade=out:300:30" sample_fade-out.mp4

• ビデオの先頭から、1秒使ってフェードインさせる。

$ ffmpeg -i sample.mp4 -vf"fade=t=in:st=0:d=1" sample_fade-in.mp4

• ビデオの時刻10秒から、1秒使ってフェードアウトさせる。

$ ffmpeg -i sample.mp4 -vf"fade=t=out:st=10:d=1" sample_fade-out.mp4

オーディオ

• オーディオの先頭から、1秒使ってフェードインさせる。

$ ffmpeg -i sample.m4a -af"afade=t=in:ss=0:d=1" sample_fade-in.m4a
# あるいは
$ ffmpeg -i sample.m4a -af"afade=t=in:st=0:d=1" sample_fade-in.m4a

• • afadeのみ、ss=Nを指定できる。
  • ssの場合、Nに何を指定しても、常に先頭の指定となる。

• オーディオの60秒から、1秒使ってフェードアウトさせる。

$ ffmpeg -i sample.m4a -af"afade=t=out:st=60:d=1" sample_fade-out.m4a

• • 仮にss=60と指定しても、いきなりフェードアウトが始まってしまう...。

フィルターチェーン

• フィルターチェーンを使って、二つのフィルター（フェードイン・フェードアウト）を適用する。
  • フィルターチェーンとは、複数のフィルターをカンマ,で区切って指定する方法。
  • 一つ目のフィルター処理、その結果に対して二つ目のフィルター処理...のように適用される。
  • 以下の処理で、フェードインで始まり、フェードアウトで終わるビデオになる。

# -vf（video filters）で指定した場合
$ ffmpeg -i sample.mp4 -vf "fade=in:0:30,fade=out:300:30" sample_fade-in_fade-out.mp4

# -filter_complexで指定した場合
$ ffmpeg -i sample.mp4 -filter_complex "fade=in:0:30,fade=out:300:30" sample_fade-in_fade-out.mp4

フィルターグラフとリンクラベル

• フィルターグラフとリンクラベルを使っても、フィルターチェーンと同様の処理を行える。
  • • フィルターグラフとは、フィルターやフィルターチェーンをセミコロン;で区切って指定する方法。
• フィルターグラフとフィルターチェーンは似ているので、よく混乱するのだけど、決定的な違いがある。

• • フィルターチェーンは、リンクラベルがなくても処理結果を次のフィルターに引き継ぐが...

$ ffmpeg -i sample.mp4 -vf "fade=in:0:30,fade=out:300:30" sample_fade-in_fade-out.mp4

• • フィルターグラフは、リンクラベルなしでは処理結果を次のフィルターに引き継がない。

$ ffmpeg -i sample.mp4 -vf "fade=in:0:30;fade=out:300:30" sample_fade-in_fade-out.mp4
...エラー発生...
Simple filtergraph 'fade=in:0:30;fade=out:300:30' does not have exactly one input and output.
Error opening filters!

• • フィルターグラフでは、必ずリンクラベルを設定しておく必要がある。

$ ffmpeg -i sample_1.mp4 -vf "fade=in:0:30[a];[a]fade=out:300:30" sample_fade-in_fade-out.mp4

• • • [a]という表記がリンクラベル。（英数文字とアンダースコア_を使って任意の名前を命名する）
    • fade=in:0:30のフィルターの結果に[a]というリンクラベルを設定して、
    • [a]が指し示す結果に対してfade=out:300:30フィルターを適用している。

• たった二つのフィルターの連続では、フィルターグラフの利用価値をあまり見出せないが...
• フィルターグラフには、フィルターチェーンの区切りとなって、グループ化する役割がある。

• 例えば、sample_1.mp4とsample_2.mp4を連結してから、フェードイン・フェードアウトする場合...

• • ビデオだけなら、シンプルなフィルターチェーンのみで処理できる。

$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex"concat=n=2:v=1:a=0, fade=in:0:30, fade=out:800:30" sample_1_2.mp4

• • ビデオとオーディオを扱うと、concatの出力は二つのストリームになるので、必ず二つのリンクラベルが必要になる。

$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex"concat=n=2:v=1:a=1[v][a], [v]fade=in:0:30, fade=out:800:30"-map[a] sample_1_2.mp4

• • -map [a]は何をしている？
    • フィルター出力がリンクラベルの指定で終了している場合、 -mapにそのリンクラベルを指定して、出力ファイルに書き込む必要がある。
    • 最後のフィルター出力でリンクラベルを指定しなければ、そのフィルター出力は自動的に出力ファイルに書き込まれる。

• • フィルターグラフを使えば、もう少しシンプルに表現できる。

• • • フィルターグラフの場合、ビデオは[v]にリンクされ、リンクなしのオーディオは出力ファイルに書き込まれる。

$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex"concat=n=2:v=1:a=1[v]; [v]fade=in:0:30, fade=out:800:30" sample_1_2.mp4

• • • 一方、フィルターチェーンを使うと、リンクなしのオーディオは次のフィルターにリンクしてしまう。
    • だから二つのリンクを受け取ってfadeフィルターがエラーになってしまうのだ！

$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex"concat=n=2:v=1:a=1[v], [v]fade=in:0:30, fade=out:800:30" sample_1_2.mp4
...エラー発生...

リンクラベルを使うなら、フィルターグラフで区切った方が幸せになれそう。

• フィルターの順序を逆にして、sample_1.mp4をフェードイン・sample_2.mp4をフェードアウトしてから、連結することもできる。

$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex"[0:0]fade=in:0:30[a];[1:0]fade=out:300:30[b];[a][0:1][b][1:1]concat=n=2:v=1:a=1" sample_1_2.mp4

• • [0:0]、[1:0]などの表記については、前項のストリームという概念を参照。

難解なffmpegのオプション指定が少しずつ見えてきた！

• フィルターチェーン・フィルターグラフ・リンクラベルが分かってくると、フィルター処理の流れが見える。
• そしたら後は、個々のフィルターの動作を調べれるだけで、ffmpegが何をしているのか理解できるのだ。
  • フィルターの動作をすべて覚える必要なんてない。
  • 必要になったらマニュアルを見て調べればいいのだ。

• • • FFmpeg Filters Documentation
    • FFmpeg Documentation（日本語訳）
    • fixedpoint.jp - fixedpoint.jp - FFmpeg（日本語訳）

左右に並べる

ffmpeg -i sample_1.mp4  -i sample_2.mp4 -filter_complex"[0:0]pad=2*iw[a];[a][1:0]overlay=w" overlay.mp4

• padは、ビデオの表示領域を設定する。
  • iwは、入力側のビデオの横幅（input width）
  • 2*iwを設定すると、横幅が2倍のビデオになる。
  • 拡大された領域は、背景が黒くなる。

• overlayは、二つのビデオを重ね合わせる。
  • [a][b]overlayとした場合、ビデオ[a]にビデオ[b]を重ねる。（ビデオ[b]が上になる）
  • [a][b]overlay=x:yで、ビデオ[a]の(x,y)座標を起点にビデオ[b]を配置する。
    • w・hは、ビデオ[b]の幅・高さ解釈される。
    • W・Hは、ビデオ[a]の幅・高さと解釈される。
    • 指定なしは、0と解釈される。

• つまり、sample_1.mp4の横幅を2倍にして、(640,0)の座標を起点に、sample_2.mp4を重ね合わせるのだ。
  • sample_1.mp4とsample_2.mp4のビデオサイズは、640x360。

上下に並べる

ffmpeg -i sample_1.mp4  -i sample_2.mp4 -filter_complex"[0:0]pad=iw:2*ih[a];[a][1:0]overlay=0:h" overlay.mp4

• padとoverlayの指定を上下に配置する設定に変更してみた。

ピクチャー in ピクチャー

ffmpeg -i sample_1.mp4  -i sample_2.mp4 -filter_complex"[1:0]scale=iw/2:ih/2[red];[0:0][red]overlay"-map1:1 overlay.mp4

• scaleは、入力されたビデオサイズを拡大・縮小する。
  • scale=iw/2:ih/2は、ビデオの幅と高さを半分に縮小するのだ。

• map 1:1は、sample_2.mp4のオーディオも合成している。

• つまり、sample_1.mp4に、幅と高さを半分に縮小したsample_2.mp4を重ねているのだ。
  • overlayの座標指定なしなので、(0,0)を起点として、左上の1/4領域に配置される。

透過合成

ffmpeg -i sample_1.mp4  -i sample_2.mp4 -filter_complex"[0:0]split[black1][black2];[black1][1:0]overlay[black1red];[black1red][black2]blend=c0_mode=average"-map1:1 overlay.mp4

• 重ねたビデオ同士を透過する。
  • • しかし、blendフィルターをちゃんと理解できていない...。
    • c0_mode、c1_mode、c2_mode、c3_mode、all_modeの違いは？
    • averageは、何をしている？

ピクチャー in ピクチャー ＋ 透過合成

ffmpeg -i sample_1.mp4  -i sample_2.mp4 -filter_complex"[1:0]scale=iw/2:ih/2[red];[0:0]split[black1][black2];[black1][red]overlay[black1red];[black1red][black2]blend=c0_mode=average"-map1:1 overlay.mp4

• 上に重なるビデオサイズを調整してから透過合成すれば、ピクチャーinピクチャーの透過合成となる。

確実にconcat

• 実は、上記サンプル映像二つは、単純にはconcatできない...。

$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex "concat=n=2:v=1:a=1" sample_1_2.mp4

...エラー発生...
[Parsed_concat_0 @ 0x7fabbbc00360] Input link in1:v0 parameters (size 640x360, SAR 1281:1280) do not match the corresponding output link in0:v0 parameters (640x360, SAR 1:1)
[Parsed_concat_0 @ 0x7fabbbc00360] Failed to configure output pad on Parsed_concat_0

• 調べてみると、アスペクト比が異なっていると気付いた。

Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 640x360 [SAR 1:1 DAR 16:9], 498 kb/s, 29.97 fps, 29.97 tbr, 30k tbn, 59.94 tbc (default)

Stream #1:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p, 640x360 [SAR 1281:1280 DAR 427:240], 593 kb/s, 29.97 fps, 29.97 tbr, 30k tbn, 59.94 tbc (default)

• ならばsample_2.mp4のアスペクト比をsample_1.mp4に合わせてみる。
• その後にconcatを使えば、ちゃんと連結できた！

$ ffmpeg -i sample_2.mp4 -aspect16:9 sample_2_16.9.mp4
$ ffmpeg -i sample_1.mp4 -i sample_2_16.9.mp4 -filter_complex"concat=n=2:v=1:a=1" sample_1_2.mp4

• しかし、上記ではコマンドラインが2行に分かれて、余分な中間ファイルも作成してしまい、あまり嬉しくない。
• そこで、filter_complexを使って、setdarあるいはsetsarのフィルターを追加することで、一行で連結できた。

$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex"[0:v]setdar=16:9[0v]; [1:v]setdar=16:9[1v]; [0v][0:a][1v][1:a]concat=n=2:v=1:a=1" sample_1_2.mp4
# あるいは...
$ ffmpeg -i sample_1.mp4 -i sample_2.mp4 -filter_complex"[0:v]setsar=1:1[0v]; [1:v]setsar=1:1[1v]; [0v][0:a][1v][1:a]concat=n=2:v=1:a=1" sample_1_2.mp4

• • [0:v]・[0:a]は、ファイル0番のビデオストリーム・ファイル0番のオーディオストリームという意味のようだ。
  • sample_1.mp4の場合、[0:v]は[0:0]と同じストリーム、[0:a]は[0:1]と同じストリームを指す。