Volcengine Video-to-Video Lip Sync AI動画生成ツール

既存のトーキング ビデオを変更して、ソース ビデオの残りの部分は視覚的な基礎を維持しながら、目に見える口の動きが提供された置換オーディオ トラックに従うようにします。

Volcengine Video-to-Video Lip Sync を使用して、既存のビデオ内の目に見える音声を新しいオーディオ トラックに同期します。鮮明な話し顔ビデオと一致する音声音声をアップロードして、ローカライズされた吹き替え、翻訳されたダイアログ、プレゼンターの更新、修正された音声トラックを作成します。

ソースのパフォーマンスと視覚的なフレーミングを維持しながら、目に見える口の動きを調整して置換オーディオ トラックに追従し、既存のトーキング ビデオの改訂版を作成します。翻訳された音声または新たに録音された音声を使用して、プレゼンター、レッスン、製品説明者、インタビュー、ソーシャル クリップを別の言語または修正されたナレーションに適応させます。

このモデルは、周囲のフレームを維持しながら、口の形とタイミングを供給された音声に合わせます。これは、元の話者の再撮影が現実的でない場合に役立ちます。ワークフローには、話している顔が見えるソース ビデオとターゲットの音声を含むオーディオ ファイルが必要です。一般に、鮮明な正面映像と鮮明な音声により、最も信頼性の高い結果が得られます。

顔がはっきりと見え、オクルージョンが制限されており、話している被写体の周囲が安定したフレーミングを持つクリップを選択してください。意図したダイアログとペースを備えたクリーンなターゲットオーディオをアップロードします。長い沈黙をトリミングし、音声がソース クリップに適合していることを確認します。

修正されたビデオを生成し、クリップ全体を通して口のタイミングを確認し、結果をダウンロードするか、よりクリーンな入力で再試行します。