音響音楽信号処理
マルチバンド処理用のフィルタバンク実装でバターワースフィルタによるハイパスフィルタを使おうとすると，7次くらいから周波数応答が不安定になりました． ハイパスフィルタ 周波数応答をプロット してみると，scipy.signal.butterworthのハイパスフィルタ…
以前の記事では，木構造のような信号処理フローのマルチバンド処理を紹介しました． この記事では、実装・利用しやすさに着目して信号処理フローを再設計・実装します。 設計 以前の記事では木構造の処理フローでしたが，今回は低域のカットオフ周波数から徐…
以前の記事で，低域・高域を別々に処理するようなマルチバンド処理（オーディオクロスオーバー）の実装方法を紹介しました． www.wizard-notes.com www.wizard-notes.com 上記の記事では，補完フィルタのローパス・ハイパスフィルタの並列接続したことで生成…
以前の記事では，低域・高域を別々に処理するようなマルチバンド処理（オーディオクロスオーバー）を実現するフィルタバンクの例として、2バンドの場合の実装方法を紹介しました． www.wizard-notes.com ただ，より実用的なプラグイン／ソフトウェアを作るこ…
複雑な信号処理プラグインを開発する場合、複数のFIR/IIRフィルタを組み合わせることがよくあります。 そこで，FIR/IIRフィルタの直列/並列接続時の周波数応答をプロットするサンプルコードを作成しました。 回路全体の伝達関数を確認するだけでなく、フィル…
シンセサイザ（オシレータ）の基本波形として一般的なサイン波，矩形波，のこぎり波，三角波，白色雑音は，ファミコンのBGMのようなゲーム音楽（チップチューン）の作成や音信号処理のテストでよく利用されます． サイン波は基本周波数（音高）をとすると， …
低域・高域のような周波数帯域別に信号処理する場合、いい感じに帯域を分割するフィルタが必要になります。 ソフトウェア／プラグインの具体例としてはマルチバンドコンプレッサが挙げられます。 このような回路の特性としては、音質に影響を与えるような振…
はじめに ゼロ位相フィルタリングの実装方法 scipy.signal.filtfiltを使ったゼロ位相フィルタ lfilter x 2 でのゼロ位相フィルタリング 参考Webサイト はじめに 双2次フィルタ (SOS) やバターワース／チェビシェフフィルタなどといったIIRフィルタは，FIRフ…
はじめに 音の高さの分析は，メロディや和音の推定に使われる重要な前処理です． 本ブログではこれまで，音の高さの分析手法として一般的である，定Q変換やフーリエ変換を使う手法を紹介してきました． www.wizard-notes.com これらの手法は周波数領域で信号…
オーディオ信号の再生速度・音高の変更はよく利用される処理です。 そのアルゴリズムはいくつかありますが、リアルタイム処理向けの手法としてはフェーズボコーダという手法があります。 Pythonでは、音楽信号分析ライブラリLibROSAにおいてフェーズボコーダ…
Pythonで音声や歌声、楽器音などの収音・再生・録音を行うためのライブラリとしてはPyAudioが知られていますが、 低遅延であるASIO規格が利用できない Python 3.7 以上には非対応 というデメリットがあります*1。 Python 3.7 以上でASIO対応デバイスを利用可…
楽曲の検索やメタ情報に関する Web API を提供しているサブスクリプション型音楽サービスはいくつかあります。 中でも Spotify Web API は様々な機能が提供されています。手軽に使えますし楽曲数も多いため、オススメの API です。 github.com 今回は、Spoti…
以下の記事にありますように、Python ではオーディオファイルの読み込むライブラリが複数あります。 しかし，.mp3, .aac, .m4a といった圧縮コーデックを読み込むものは多くありません。 www.wizard-notes.com 今回紹介する audioread では ffmpeg のような…
音楽の分析方法としてBPM・テンポの分析は非常に重要です。 BPM・テンポの分析を行うことで、楽曲の雰囲気、ノリ、音楽ジャンルといった全体的な特徴を捉えることができます。 BPM・テンポの分析方法としては、テンポグラムという便利な手法があります。 テ…
前回の記事では，音楽信号の音高分析に便利な定Q変換 (CQT)のアルゴリズムや実装方法による計算速度の比較を行いました。 www.wizard-notes.com 結果として，再帰的ダウンサンプリング法による定Q変換がリアルタイム処理で実用的な計算速度であることが分か…
音楽信号の音高分析に便利な定Q変換 (CQT)。 これまでにいくつか計算アルゴリズムや実装方法の種類を紹介してきました。 おそらく再帰的ダウンサンプリング法が速いと思っていたのですが、条件によっては疎行列計算と変わらないことがあったりと、実環境での…
定Q変換 (CQT)は歌声・音楽の音高／メロディ／和音を分析するのに便利な周波数分析方法です。 例えば，CQTスペクトログラムを算出すれば各音高（ドレミファ…）がどのくらいの強さで鳴っているかを時系列で観察することができます。 以下の記事では、定Q変換…
YouTubeやニコニコ動画のような動画サービスで0.5倍・2倍速再生が使えるのが一般的になっています。 また、サンプリングされた波形素材の時間伸縮がDAWの基本機能として搭載されていて、曲のタイミングやテンポに上手く合わせて波形素材をいい感じの長さで鳴…
はじめに 音信号を分析する時間周波数分析手法としてはSTFT（短時間フーリエ変換）が良く使われますが，特に音楽を対象にして音高、コード、メロディなどを分析する場合は定Q変換（CQT）という手法が便利です。 www.wizard-notes.com www.wizard-notes.com …
定Q変換は音楽信号の音高・コード・メロディ分析に相性の良い周波数分析手法です． この記事では，前回の定Q変換 (CQT: Constant-Q Transform) の 解説 の内容をPythonで実装する方法を解説します． Pythonの実装ですが，C++やJavascriptなど，様々な言語で…
はじめに 音信号の時間周波数分析にはFFT (高速フーリエ変換) ／STFT（短時間フーリエ変換）がよく使われます． しかし，FFTの性質上，音高に関わる分析をしようとすると実装や分析精度の向上に手間がかかります。 そこで，この記事では音楽信号の分析によく…
FFTを使う時，なるべく高速に計算するためにフレームサイズを2の累乗に設定するのが一般的ですが、入力する信号の長さが2の累乗でない時があります。 そういう時は，フレームサイズが２の累乗になるように、ゼロパディング or カットします。 その際には、信…
7万枚の手書き数字の画像＋ラベルのデータセットである MNIST は，今では機械学習・深層学習のHello Worldとして非常に多くの人に利用されていて有名です． MNISTの1つのデータは 白黒画像・28x28ピクセル，全体でも7万件なので大規模データですがデータセッ…
PyQtGraphの複数の線グラフプロットを利用して，12音平均律で音高ごとに色を変えてライブプロットしたら綺麗＆役立つかなと思い作ってみました． もう少しブラッシュアップしようと思ったのですが，後述の理由でお蔵入りになったので，供養としてソースコー…
Pythonにおけるリアルタイム音楽信号処理アプリのデモ／教材として，音の広がりや位相を見るフェーズスコープをPyQtGraphとPyAudioで実装してみました． 起動すると，PC上で音楽を再生しながらフェーズスコープを描画することができます． 全ソースコードは…
前回の記事では，ステレオのL, R チャネルの信号を，リサージュ図形の として与えることで音の広がりを可視化しました． www.wizard-notes.com この記事では，直交座標 を極座標（絶対値と偏角） 表記にしたバージョンを紹介します． 参考： Goniometer Algo…
DTMなどで音の広がり感を可視化するには，リサージュ図形に基づく方法があります． リサージュ リサジュー:Lissajousとは | 偏ったDTM用語辞典 - DTM / MIDI 用語の意味・解説 | g200kg Music & Software 2つの信号を元に作られるリサージュ図形を利用し，2…
PyQtGraph の3Dサーフェス／メッシュプロットでは，高さに応じて色を変えることができます。 具体的には，GLSurfacePlotItem もしくは GLMeshItem のコンストラクタのキーワード引数 としてshader='heightColor'を指定します． n_x, n_y = 128, 128 xy_init …
PyQtGraphで美しいリアルタイムプロットができることを最近知ったので、実装例として2次元波動方程式の数値シミュレーション（有限差分法）をリアルタイム実行・プロットしてみました。 実装のための数式導出と、PyQtGraphを使ったソースコードを合わせて紹…
ある音に対して、人間が感じるうるささと音圧レベルの大きさは必ずしも一致していません。 以下の等ラウドネス曲線のように、音圧レベルと周波数によって人間の聴覚の感度は異なっています。 https://ja.wikipedia.org/wiki/音の大きさ そのため、音信号の分…