キャラが演奏するアニメを自動表示するVST PlugInを作ったよ(本当です)

はじめに

僕がYouTubeへ投稿している動画で表示されているのは、音源制作ソフト(DAW:Digital Audio Workstation)、Cubaseの再生画面です。僕の活動は、音源制作が9割以上を占めているので、映像の方はとっても手抜きなのです。

10年以上ずっとこのスタイルでやってきましたが、何か新機軸はないのかなぁ、とずっと思っていたわけです。例えば、MMD(MikuMikuDance)みたいな動画が作れないかなぁ、と。実は、そんな企みはずっと前から考えていたのだけど、自分のプログラミングの力量では到底ムリ・・・と、思っていました。

で、そこにAIの大進化が来たわけです。2月の雑感にも書いたのですが、ひょっとして実現できるのではないか? と。それで、AIにあれこれサポートしてもらいながら、3か月ほど悪戦苦闘したら、なんかできたので、恥ずかしながらお披露目します。

デモビデオはこちら

キャラが演奏するVST PlugInのDemo (9月には帰らない-松任谷由実)

キャラが演奏するVST PlugInのDemo (SquibCakes-TowerOfPower)

名付けて「VSTBeatsM」、DAWのVSTプラグインです。コンセプトは、手間をかけずにそれっぽい画面を作ること。

VST PlugInというのは、Cubaseの開発会社であるSteinberg社が作ったVirtual Studio Technologyという規格に沿って作られたDAWの機能拡張ソフトのことで、通常はイコライザーとかリバーブなど音の処理をするエフェクターや、MIDIによって音を出すソフトウェア音源などです。

今回開発したVST PlugInは、MIDI信号を受け取るものの、音を発しないでリアルタイムでアニメーションをするというとってもユニークなPlugInなのです。が、分類上、VST音源(VSTi = VST Instrument)のフリをしています。

インストール方法

インストーラーはありません。以下をダウンロードして解凍すると、「ChordOfLife」というフォルダができますので、それを丸ごとVST PlugInの場所にコピーすればOKです。なお、申し訳ありませんが、Windows版しかありません。

ChordOfLife ダウンロード

ちなみに、Cubaseの場合、C:\Program Files\Common Files\VST3\ 配下です。

使い方

VSTiとしてVSTインストゥルメント・トラックを作ってください。そして、そのトラックにMIDIイベントを打ち込めば動作します。が、音を発しないので、音を鳴らしている既存のトラックからMIDI Sendするのがよいと思います。

※本当は既存のMIDIトラックに挿入するMIDIのエフェクターとして作りたかったのですが、最近のCubaseはSteinberg純正のMIDIエフェクターしか許していません。なので、苦肉の策としてVSTiの体裁をとっているのです。

この例だと、BassのMIDIトラックのインスペクターでMIDI Sendを開き、Sendを有効にし、Send先を「VSTBeatsM-1」に設定しています。

キャラクター選択

プラグインの画面を開くと、300 x 300ピクセルの背景が表示されていると思います。
画面下の「settings」ボタンを押すと、半透明の設定画面がオーバーレイされます。

まずは、下の方にあるキャラクター設定欄からキャラを選択してください。たぶん、これで動作するはずです。

いろいろ設定

他のパラメータを説明します。

上から
Intensity: アクションの激しさを加減出来ます(出来ないものもあります)。
Phase: 拍子とともに周期的に動くもののタイミングを微調整します。
MultiChannelMode On/Off: 通常はOffで、どのキャラでも受けたMIDIチャンネル番号に関わらず反応しますが、Onにすると、キャラ別に決まったチャンネル番号のみに反応するようになります。反応するチャンネル番号はキャラ選択の並びに対応しており、Drummer:1、Bassist:2・・・です。
Zoom On/Off: Onにすると倍の600 x 600ピクセルになります。単に大きく表示されるだけで、その分画面は粗くなります。
Category(キャラ選択): 前項
SpecialEffect: なにかスペシャルなことが起こりますが、多用は禁物。使い終わったらかならず「None」に戻してください。なお、キャラクタの定義ファイル(次回説明)に設定がないと正しく動きません。とりあえず、SpJumpはDrummer以外は動きます。

オートメーションによる制御

これらのパラメータはDAWのオートメーションにより制御可能です。例えば、曲の進行に合わせて表示キャラを変えるとか、ここぞというタイミングでスペシャルエフェクトを入れるとか。DAWのオートメーションの使い方はDAWのマニュアルで調べてください。

想定FAQ

Q.VSTBeatsMのMって何?
A.MIDIのMです。今回のPlugInはMIDI信号に反応するものだからです。コンセプトとして、Audio信号に反応するVSTBeatsAというものも作るかもしれません。Audio信号から得られる情報って音量、単音の場合、音の高さが得られると思いますが、僕のニーズとして、ギターの音ぐらいしか考えられないのでまだ作っていません。では、現状ギターのAudioトラックってどうしているのかというと、VariAudioであらかじめMIDIを抽出しているのです。

Q.画像を差し替えたり、新しいキャラを作ることはできますか?
A.はい、可能です。というか、絵師さんにぜひお願いしたいです。僕は作画能力はないので、今回のキャラはAIのnano bananaに書いてもらったものをもとに、切り貼りしてパーツ化/モデル化したものです。PlugInフォルダの中身を見れば、あらかた想像がつくと思います。データの詳細仕様やキャラ設定ツールなどもあります。が、その説明は次回の記事にしたいと思います。

Q.自分のYoutubeチャンネルや他のSNSで使ってよいですか?
A.どうぞお使いください。使用の際は当ブログへのリンクを表示してください。そして事後でもよいのでご一報ください。

Q.サポート窓口は?
A.当方、全くの素人なので責任ある対応は約束できませんが、可能な限りお答えします。質問はX(Twitter)へのDMでお願いします。

Q.今後の拡張予定は?
A.今回はVST1個あたり1キャラ限定なのですが、広いステージに複数キャラを配置できないか・・・とか

Q.3Dバージョンとか作る考えありませんか?
A.現在(2026年4月)、Vtuberシステムの仕組みを調査中です。OSC版とか意外と簡単に作れそうなんですが、問題は、楽器を構えてる3Dモデルがあるのかってことです。Live2Dだとそういうモデルは皆無に等しいし、VTubeStudioのAPIって意外に難解ですな。今の所、Warudoへの対応ができないか模索中です。