楽曲のメロディ・和音・リズムといった音楽的分析を行うには、個々の構成楽器ごとの分析が重要です。
楽譜・MIDIファイルは情報が各トラックごとに分かれているため メロディ・和音・リズムといった音楽的要素・文脈の分析に取り組みやすいです。
一方で、楽曲ファイル(音響信号)を入力とする音楽分析では全てのトラックがミックスされているという点が音楽的分析の障壁となります。
ミックスダウンされたファイルから複数の楽器のメロディ・和音・リズム分析処理は実装が難しく、また、計算コストや精度、汎用性が十分でないことが長年の課題でした。
しかし、近年は統計的手法の発展や深層学習の利用により、製品・サービスでも使えるレベルの処理が登場しています。
そんな最新の楽器分離を手軽に利用できるPythonライブラリとして Spleeter があります。
そこで、この記事ではSpleeterの使い方を説明します。
また、実際に分離した音源のデモを掲載しています。
Spleeter とは?
Spleeterは音楽配信サービスで知られているDeezer社によって開発された、楽器分離のPython向けOSSライブラリです。
Githubの説明によると、
- iZotope RX 8: Music Rebalance
- SpectralLayers 7 Unmix
- Acon Digital: Acoustica 7
- VirtualDJ: stem isolation
- Algoriddim: NeuralMix, djayPRO app suite
といったプロオーディオソフトウェア製品でも利用されているそうです*1。
そのようなライブラリがMITライセンスで利用できるのは非常に嬉しいことです。
また、深層学習フレームワークを使っているので、GPUがあれば高速に処理できます*2*3。
インストール方法
pip install spleeter
Anacondaを利用している場合はconda
が使えます。
conda install -c conda-forge ffmpeg libsndfile
さらに、Python環境がない/インストール前に試してみたい人向けに、Google Colabが用意されています。
なお、深層学習のモデルの計算のためにTensorflowなどのライブラリも合わせて必要であるため、インストール時は若干時間がかかるかもしれません。
使い方
基本的には、Spleeter - GitHubのWikiに記載されています。
また、Spleeterの楽器分離方法は3種類ありますので、目的や対象楽曲の楽器構成を考慮して選んでください。
- ボーカル(歌声)/伴奏の分離(2ステム)
- ボーカル/ドラム/ベース/その他 の分離(4ステム)
- ボーカル/ドラム/ベース/ピアノ/その他 の分離(5ステム)
入力ファイルは、wav以外にも、flacやmp3も可です。
pretrained_modelsの各モデルごとの全ファイルサイズは以下のようになっていました。
- 2stems: 75.7MB
- 4stems: 151MB
- 5stems: 189MB
このくらいのパラメタ数で収まると使い勝手がよいため、Spleeterのありがたいポイントの1つです。
コマンドラインで実行
以下を参考にしてください。 github.com
Pythonスクリプト
import os from spleeter.separator import Separator #====================================================== # Spleeterの設定 # vocals / accompaniment の2つのステムに分離 params_descriptor = "spleeter:2stems" # vocals / bass / drums / other の4つのステムに分離 params_descriptor = "spleeter:4stems" # vocals / bass / drums / piano / other の5つのステムに分離 params_descriptor = "spleeter:5stems" # ソフトマスクかウィーナーフィルタが指定する。デフォルトはFalseでソフトマスク MWF = True #====================================================== 基本的には、```params_descriptor```でモデル(2stem分離用,4stem分離用,5stem分離用)を選択し、入力音源のファイルパスを与えればOKです。 # 入力信号 filepath = "./test_spleeter.mp3" basename = os.path.splitext(os.path.basename(filepath))[0] # 保存するディレクトリ準備 save_dirpath = basename + "_" + params_descriptor[-6::] os.makedirs(save_dirpath, exist_ok=True) # Spleeter の処理を実行 if __name__ == '__main__': separator = Separator(params_descriptor, MWF=MWF) separator.separate_to_file(filepath, save_dirpath)
Separator()
のその他引数については、ソースコードのSeparator関数の定義が参考になります。
注意点
Tensorflowを使っているため、以下のようにif __name__ == '__main__':
無しでスクリプトを書くとエラーがでます。
#if __name__ == '__main__':
separator = Separator(params_descriptor, MWF=MWF)
separator.separate_to_file(filepath, save_dirpath)
エラー内容:
RuntimeError: An attempt has been made to start a new process before the current process has finished its bootstrapping phase. This probably means that you are not using fork to start your child processes and you have forgotten to use the proper idiom in the main module: if __name__ == '__main__': freeze_support() ... The "freeze_support()" line can be omitted if the program is not going to be frozen to produce an executable.
デモ
2, 4, 5 stems の各条件+ソフトマスクorウィーナーフィルタで比較してみました。
楽曲はピアノが含まれてない音源を使っています。
どれを聞いても、基本的には他の音源が混じっていない形でちゃんと分離できていることが分かります。
個々の楽曲に対する最適化なしでここまでできるのは非常に良い性能だと思います。
分離方法と音質に関しては、ソフトマスクのほうが良さそうですが大差はないように思います。強いて言えば、ウィーナーフィルタは若干削りすぎかもしれません。
モデルと音質に関しては4stemsが一番良いように感じました。これは、元の楽器構成とモデルの楽器構成との関連性があるかと思います*4。
なお、同じ楽曲をRobust PCMでボーカル抽出した結果が以下になります。
どうしてもRobust PCA ベースだと消し残りが目立ちます。
また、計算にもRobustPCAよりもSleeperの方が速いです*5。
まとめ
Pythonでボーカル・ドラム・伴奏を抽出できる楽器分離ライブラリSpleeterの使い方を説明しました。
自分の楽曲で試してみても、非深層学習ベースの既存手法よりもはるかに音質がよくなっています。
ここからポスト処理でチューニングすれば更に音質は改善すると思います。
pip install spleeter
で即導入できて、数行書けばよいのも魅力的です。
分離品質だけでなく、ライブラリの設計やライセンス的にも利用しやすいので、自身の音楽分析でも積極的に利用したいと思っています。
なお、もう少し発展的な内容として、Spleeterの入出力信号をNumpyで扱ったり、分離信号の音響特徴を抽出する方法を以下の記事にまとめております。
ご興味がありましたらこちらもお読みいただければ幸いです。
補足:Spletterの処理の詳細について
Spleeterに関して、Deezer社所属の方が著者となっている論文が見つかりました。
2件目のほうがテクニカルな内容となっています。
1件目の方の要点をまとめてみました。
- Spleeterについて
- 実装の詳細
- U-net (Jansson et al., 2017)ベースであり、Prétet, et.al 2019 (2件目の論文)と同様の仕様
- 速度
- CNNベースなので効率的な並列計算が可能
- 単一のGeForce RTX 2080 GPUを使用した条件では、100秒のステレオオーディオを1秒未満で処理することができた
- 分離性能
- musdb18データセット(Rafii et al., 2017)上で最先端モデルと競合(ただし、Spleeterは最適化されてない)
- ライセンス