音響音楽信号処理
※2022/9/28: λの算出式の符号が間違っていたためプロットとともに修正 信号処理におけるフィルタとしては、ローパス／ハイパスフィルタのような振幅特性を活用するフィルタが良く知られています。 しかし、一方で位相特性のみに影響を与えるオールパスフィル…
Pythonで音声や歌声、楽器音などの収音・再生・録音を行うためのライブラリとしてはPyAudioが知られていますが、 低遅延であるASIO規格が利用できない Python 3.7 以上には非対応 というデメリットがあります*1。 Python 3.7 以上でASIO対応デバイスを利用可…
はじめに 直列移動平均フィルタ (Cascaded moving average) N 次 CIC フィルタ リサンプリングでの利用 まとめ 参考文献 はじめに www.wizard-notes.com 上記の記事で紹介した移動平均フィルタですが、こちらを応用したフィルタとして直列移動平均フィルタと…
低域・高域のような周波数帯域別に信号処理する場合、いい感じに帯域を分割するフィルタが必要になります。 ソフトウェア／プラグインの具体例としてはマルチバンドコンプレッサが挙げられます。 このような回路の特性としては、音質に影響を与えるような振…
音楽の分析方法としてBPM・テンポの分析は非常に重要です。 BPM・テンポの分析を行うことで、楽曲の雰囲気、ノリ、音楽ジャンルといった全体的な特徴を捉えることができます。 BPM・テンポの分析方法としては、テンポグラムという便利な手法があります。 テ…
DTMなどで音の広がり感を可視化するには，リサージュ図形に基づく方法があります． リサージュ リサジュー:Lissajousとは | 偏ったDTM用語辞典 - DTM / MIDI 用語の意味・解説 | g200kg Music & Software 2つの信号を元に作られるリサージュ図形を利用し，2…
サンプル数が大きい時系列データや周波数応答が格納されたxlsxやcsvファイルをExcelで開くと、かなり動作が重くなることがあります。 そのようファイルでグラフをプロットのような操作をするのは動作が遅いため苦行ですし、Excelが突然落ちるリスクも高くな…
https://www.openair.hosted.york.ac.uk/ 動画やゲーム，AR/MRコンテンツで利用する音源にリアルな残響音を付加する手法として、コンボリューション（畳み込み）リバーブがあります。 これは、インパルス応答と呼ばれる実測で収録した残響音データを使って、…
リアルタイム声質加工プラグインの開発進捗。声を太くしたり子供っぽくしたりできる処理のデモです。 pic.twitter.com/JcfwPJ2OCc— Kurene (@_kurene) July 18, 2020 線形予測分析＋周波数ワープでリアルタイムで声質を加工する処理を作りました。 ボイスチ…
まえがき librosa.effects.pitch_shift() の使い方 引数について 半音単位のピッチシフト 周波数を指定するピッチシフト 使い方のサンプル プロット コード 注意 補足：ピッチシフトはタイムストレッチ？ まえがき ボーカルや楽器の録音データに対して、 「…
はじめに 音の信号処理の世界には、理論書や数式重視の教科書が数多く存在します。しかし、実際に手を動かしてプログラムを書きながら学べる本は意外に少ないのが現状です。 そこで本記事では「実際に手を動かしてこそ理解が深まる」ことを重視し、音プログ…
はじめに 定義 移動平均（Moving Average）とは 計算方法 特徴と用途 指数平滑移動平均（Exponential Moving Average）とは 計算方法 特徴と用途 移動平均と指数平滑移動平均の使い分け 周波数特性 移動平均 (MA) 指数平滑移動平均 (EMA) Pythonコード まと…
シンセサイザ（オシレータ）の基本波形として一般的なサイン波，矩形波，のこぎり波，三角波，白色雑音は，ファミコンのBGMのようなゲーム音楽（チップチューン）の作成や音信号処理のテストでよく利用されます． サイン波は基本周波数（音高）をとすると， …
dev.wizard-notes.com 頭部伝達関数（HRTF: Head-Related Transfer Function) 技術は、イヤホンやヘッドホンで、まるで本当に頭の外から音が鳴っているように3次元立体音響再生することができます。最近は、ゲームでも音楽コンテンツでも普及し始めています…
前回の記事では，ステレオのL, R チャネルの信号を，リサージュ図形の として与えることで音の広がりを可視化しました． www.wizard-notes.com この記事では，直交座標 を極座標（絶対値と偏角） 表記にしたバージョンを紹介します． 参考： Goniometer Algo…
音信号処理の代表例として、コンボリューションリバーブ*1のような入力信号にインパルス応答を畳み込む処理が挙げられます。 この畳み込み演算をリアルタイムのブロック処理で実現する*2実用的な方法としては、 Overlap-Add法とOverlap-Save法が有名です。 …
はじめに 音楽分析では，楽曲のテンポを表す BPM (Beats Per Minute) は重要な情報です。 例えば、音楽ジャンルごとに典型的なBPM／テンポがあるので、BPM／テンポはその楽曲がどんな音楽ジャンルに属するかを知る手がかりとなります。 一般的ないくつかのジ…
LibROSA とは？ 出典：https://librosa.github.io/ 「自分の好きな音楽をパソコンで分析したい！」 「音楽データで機械学習・ディープラーニングをやってみたい！」 「でも、音データの信号処理やデータの扱い方がよく分からない…」 と悩んでいるエンジニア…
PyQtGraphで美しいリアルタイムプロットができることを最近知ったので、実装例として2次元波動方程式の数値シミュレーション（有限差分法）をリアルタイム実行・プロットしてみました。 実装のための数式導出と、PyQtGraphを使ったソースコードを合わせて紹…
はじめに ゼロ位相フィルタリングの実装方法 scipy.signal.filtfiltを使ったゼロ位相フィルタ lfilter x 2 でのゼロ位相フィルタリング 参考Webサイト はじめに 双2次フィルタ (SOS) やバターワース／チェビシェフフィルタなどといったIIRフィルタは，FIRフ…
Python でオーディオファイルを読み込むライブラリは複数あります。 wave scipy.io.wavfile scipy.io.wavfile.read scipy.io.wavfile.write audiofile soundfile audioread librosa.load ぱっと見、どれを使えばよいか迷ってしまいますが、 様々なOSで動いて…
今回は，以下の記事で紹介したオールパスフィルタによる残響生成を用いて、実用的な残響エフェクタとして有名なシュレーダーリバーブをPythonで実装してみました。 www.wizard-notes.com シュレーダーリバーブの概要 フィードバック型コムフィルタの回路につ…
最近の音の配信サービスでは様々な音源を聴感的に同じ音量で聞けるように、ラウドネスノーマライゼーションが採用されています。 身近なオーディオ加工用ソフトウェアでは、2020年5月にリリースされた Audacity ver. 2.4.0 もしくはそれ以降のバージョンでラ…
生成した音信号を気軽に鳴らせるシステムが欲しくなり、結果的にシンセサイザもどきを作ってみました。 MIDIを扱うと面倒なので、Numpy/Scipyで生成した音信号を直接オーディオ出力できるような構造になっています。 また、一応シンセサイザっぽい見た目なの…
はじめに 音信号の時間周波数分析にはFFT (高速フーリエ変換) ／STFT（短時間フーリエ変換）がよく使われます． しかし，FFTの性質上，音高に関わる分析をしようとすると実装や分析精度の向上に手間がかかります。 そこで，この記事では音楽信号の分析によく…
MFCC 算出の流れ この記事では、 音に関するデータ分析や機械学習・深層学習で良く使われている MFCC*1 （メル周波数ケプストラム係数）という特徴量を使って、楽器の音色を分析できるかどうかを検証します。 MFCC とは？ LibROSAを使ったMFCCの算出方法 1. …
はじめに 楽曲分析では、メロディー、ハーモニー、リズムの3大要素から特徴を捉えるのが大事です。 ハーモニーに関しては、音楽理論による体系化（コード、コード進行など）が出来ていることもあり、計算機による分析も他の要素よりも普及しています。 一方…
音の時間波形の包絡線を抽出や振幅変調（AM）の復調などで利用されるヒルベルト変換をPythonで実装し、いくつかの簡単な信号に対して適用してみました。 ヒルベルト変換の概要 ヒルベルト変換の仕組みや実装方法については、以下のWebページがわかりやすいで…
オクターブバンドについて 中心周波数や下限・上限周波数の算出 基底について オクターブバンドについて 騒音のような音信号の周波数分析では，オクターブバンドフィルタがよく使われています。 www.wizard-notes.com 周波数分析といえばフーリエ変換が思い…
はじめに MS処理 (Mid/Sideプロセッシング) はステレオ信号を中央定位成分（Mid: センター）と非中央定位成分（Side: センター以外）に空間的に分けてエフェクトをかける処理です。音場を精密にデザインしたい時に強力な手段となります。 DAWでMS処理を行う…
