Using Shape keys in the Rhubarb Lipsync NG Blender Plugin

[@Sonnyvelvet]

Used the old version years ago, revisiting the animation i noticed it needed tweaking, downloaded the NG version and back in business. thanks for the in depth tutorial!!

[@セブン嘉右衛門]

複数のキャラクターを会話させたい場合はどうしたらいいですか？
マッピングをキャラクターの数だけ作成できますか？

[@owlgear2068]

そう、同じシーンに独立した台詞を持つ2人（またはそれ以上）のキャラクターを登場させることができるんだ。これについては、後でビデオを作るかもしれません。今のところ、ハイレベルな手順はほとんどありません：
キャプチャパネルで
- キャプチャオブジェクト`と`サウンドクリップ`を作成します。キャプチャオブジェクト`は `Blender Scene`に直接リンクされています。これをサウンドファイルごとに行います。
- Place as strip` ボタンを使う時は、`Start Frame` にサウンドクリップの再生を開始するフレームを設定します。
- また、異なる`チャンネル`を設定することもできます。例えば、最初のキャラクターにはチャンネル1を、2番目のキャラクターにはチャンネル2を設定します。
次に、それぞれのキャラクターに対して `Mapping object` を作成します。マッピングオブジェクト` は `Blender Object` (`Armature` または `Mesh` またはその両方) にリンクされています。つまり、2つのキャラクターには2つのマッピングが `Scene` に存在することになります。
Bake to NLA`ボタンを押した後、`Bake to NLA`ボタンを押します：
- 正しい`Capture object`を選択します。
- 再び`Start Frame`を使い、新しい`NLA Strip`が正しいフレームから始まるようにします。あるいは後で手動でストリップを移動することもできます。
- 最も重要なことは、`Objects to bake` を `All` から `All Selected` に変更し、選択されているキャラクターが1つだけであることを確認することです（通常は Armature）。そうしないと、両方のキャラクターが同じ音でアニメーションしてしまいます。
次のキャプチャーを作成する前に`Capture`を`NLA`にベイクすると、ワークフローが簡単になります。例えば、最初の`Capture`を作成してベイクします。次に2つ目の`Capture`を作成し、それをベイクする。
```

[@whornele4508]

Only English supported?

[@owlgear2068]

You can switch the recognizer to `Phonetic` in the add-on Preferences page, which works at the phoneme level and supports languages other than English. However, it is not as accurate as the default PocketSphinx recognizer. The add-on uses the Ruhabr Lipsync engine. You can read more here:
github.com/DanielSWolf/rhubarb-lip-sync?tab=readme-ov-file#recognizers