LibROSA
ポピュラー音楽では、楽曲の聞かせどころであるサビは楽曲の最も盛り上がる部分であり、その楽曲の印象に深くかかわります。 サビ検出には様々な手法がありますが、今回は実装が簡単な手法として音響特徴量を使ったサビ検出手法を実装・検証してみました。 …
https://librosa.org/doc/latest/recordings.html より Pythonの音楽分析用モジュール LibROSA には、いくつかのサンプルデータが付属しています。 そのため、オーディオデータを自分で用意しなくても音楽データ分析をすぐに試すことができます。 そこで、こ…
はじめに 音の高さの分析は，メロディや和音の推定に使われる重要な前処理です． 本ブログではこれまで，音の高さの分析手法として一般的である，定Q変換やフーリエ変換を使う手法を紹介してきました． www.wizard-notes.com これらの手法は周波数領域で信号…
以下の記事にありますように、Python ではオーディオファイルの読み込むライブラリが複数あります。 しかし，.mp3, .aac, .m4a といった圧縮コーデックを読み込むものは多くありません。 www.wizard-notes.com 今回紹介する audioread では ffmpeg のような…
音楽の分析方法としてBPM・テンポの分析は非常に重要です。 BPM・テンポの分析を行うことで、楽曲の雰囲気、ノリ、音楽ジャンルといった全体的な特徴を捉えることができます。 BPM・テンポの分析方法としては、テンポグラムという便利な手法があります。 テ…
表題のとおり，様々な拡張子に対応し，複数の楽曲ファイルを一括でNumpy配列に変換する関数です。 大量の音楽ファイルを分析する場合にオススメです。 ファイルの読み込みは librosa.load() を使っています。 librosa.load()は引数にサンプリング周波数を与…
前回の記事では，音楽信号の音高分析に便利な定Q変換 (CQT)のアルゴリズムや実装方法による計算速度の比較を行いました。 www.wizard-notes.com 結果として，再帰的ダウンサンプリング法による定Q変換がリアルタイム処理で実用的な計算速度であることが分か…
音楽信号の音高分析に便利な定Q変換 (CQT)。 これまでにいくつか計算アルゴリズムや実装方法の種類を紹介してきました。 おそらく再帰的ダウンサンプリング法が速いと思っていたのですが、条件によっては疎行列計算と変わらないことがあったりと、実環境での…
定Q変換 (CQT)は歌声・音楽の音高／メロディ／和音を分析するのに便利な周波数分析方法です。 例えば，CQTスペクトログラムを算出すれば各音高（ドレミファ…）がどのくらいの強さで鳴っているかを時系列で観察することができます。 以下の記事では、定Q変換…
YouTubeやニコニコ動画のような動画サービスで0.5倍・2倍速再生が使えるのが一般的になっています。 また、サンプリングされた波形素材の時間伸縮がDAWの基本機能として搭載されていて、曲のタイミングやテンポに上手く合わせて波形素材をいい感じの長さで鳴…
はじめに 音信号を分析する時間周波数分析手法としてはSTFT（短時間フーリエ変換）が良く使われますが，特に音楽を対象にして音高、コード、メロディなどを分析する場合は定Q変換（CQT）という手法が便利です。 www.wizard-notes.com www.wizard-notes.com …
はじめに 音信号の時間周波数分析にはFFT (高速フーリエ変換) ／STFT（短時間フーリエ変換）がよく使われます． しかし，FFTの性質上，音高に関わる分析をしようとすると実装や分析精度の向上に手間がかかります。 そこで，この記事では音楽信号の分析によく…
7万枚の手書き数字の画像＋ラベルのデータセットである MNIST は，今では機械学習・深層学習のHello Worldとして非常に多くの人に利用されていて有名です． MNISTの1つのデータは 白黒画像・28x28ピクセル，全体でも7万件なので大規模データですがデータセッ…
音楽再生ソフトやプラグインでよく見かける，スペクトログラムのリアルタイムプロット． どの周波数帯域で音が鳴っているのかをリアルタイムで可視化できるので非常に便利です． Pythonでスペクトログラムのリアルタイムプロットをやろうとすると，やはりリ…
計算機を使った音楽分析技術の一つとして、楽曲構成（Aメロ、Bメロ、サビ）を分析する方法があります。 しかし、日本語で技術の具体的な実現方法や実装について説明のある文献はあまり多くありません。また、Pythonの音楽分析ライブラリ LibROSA にはまだ実…
Pythonの音楽分析モジュールLibROSAには、v.0.7から線形予測分析(https://ja.wikipedia.org/wiki/%E7%B7%9A%E5%BD%A2%E4%BA%88%E6%B8%AC%E6%B3%95)を行う関数librosa.lpcが追加されました。 線形予測分析は音声の音素や声色を分析するのによく利用されていま…
はじめに Python の音楽信号分析モジュールである LibROSAには、楽曲の音高／メロディ／和音情報をより精度よく抽出するためのツールとして、Salience （顕著性）スペクトログラムを抽出する関数 librosa.salience が実装されています。 今回は、librosa.sal…
はじめに この記事では、 以下の記事で紹介 LibROSAのSalience スペクトログラムの算出方法を解説します。 www.wizard-notes.com 実際の計算方法、プログラムはlibrosa.salience() をご参照ください。 Salience スペクトログラムとは Salience スペクトログ…
まえがき 使い方 関数の仕様 サンプルコードとプロット librosa.phase_vocoderの中身について 重要な中間変数を抜粋 メイン処理 補足：フェーズボコーダを使ったピッチシフトの実現方法 librosa.phase_vocoderの音質について 参考文献 まえがき オーディオ編…
まえがき librosa.effects.pitch_shift() の使い方 引数について 半音単位のピッチシフト 周波数を指定するピッチシフト 使い方のサンプル プロット コード 注意 補足：ピッチシフトはタイムストレッチ？ まえがき ボーカルや楽器の録音データに対して、 「…
Python の楽曲解析モジュール LibROSA が 2020年7月22日に ver. 0.8.0 に更新されていました。 Changelog — librosa 0.10.0 documentation インストール方法 python -m pip install librosa=0.8.0 気になる変更点として、基本周波数推定アルゴリズムとして有…
問題 最近のバージョンの librosa では、信号を保存する時、16-bit 整数（int）型のWAVファイルで書き出そうとすると、以下のようなエラーが出てしまい、ファイル出力できません。 >>> import numpy as np >>> import librosa >>> y = np.sin(2.0*np.pi*440*…
LibROSAの便利な関数として、librosa.core.magphaseがあります。 この関数を使うことで、短時間フーリエ変換librosa.stftや定Q変換librosa.cqtで出力される複素信号から、振幅スペクトルと位相スペクトルを抽出することができます。 それでは、librosa.core.…
音楽の三大要素、メロディ・ハーモニー・リズムの内、ハーモニーの根幹を担っているのが和音です。 そのため、計算機を使った楽曲分析でも和音分析は非常に重要な処理です。 ただ、楽譜データ*1は簡単ですが、オーディオファイルのような楽曲データからの和…
LibROSA とは？ 出典：https://librosa.github.io/ 「自分の好きな音楽をパソコンで分析したい！」 「音楽データで機械学習・ディープラーニングをやってみたい！」 「でも、音データの信号処理やデータの扱い方がよく分からない…」 と悩んでいるエンジニア…
MFCC 算出の流れ この記事では、 音に関するデータ分析や機械学習・深層学習で良く使われている MFCC*1 （メル周波数ケプストラム係数）という特徴量を使って、楽器の音色を分析できるかどうかを検証します。 MFCC とは？ LibROSAを使ったMFCCの算出方法 1. …
事始め Perfume のベストアルバム Perfume The Best “P Cubed” を購入しました。 これまで（～2018年）の楽曲の中から全50曲 + 新曲2曲が収録されています。 全52曲。なかなかのデータ数です。 そういえば、最近のPerfumeの楽曲ってFuture BassやDub系が増え…
やりたいこと 時系列信号・データを扱っていると、その信号に対する各種イベント・ラベル（例：どんな音が鳴っているか）を時間とともに表示したいと思うことが多々あります。 そこで、Pythonの matplotlib で時間波形に対するイベント（ラベル）のタイムラ…
はじめに 音楽の分析では、メロディー、ハーモニー、リズムの３つ要素から特徴を捉えるのが重要です。 特にハーモニーに関しては、音楽理論による体系化（例：コード、コード進行）が出来ています。そのため、 分析した結果の意味付けがしやすいので、計算機…
はじめに 楽曲分析では、メロディー、ハーモニー、リズムの3大要素から特徴を捉えるのが大事です。 ハーモニーに関しては、音楽理論による体系化（コード、コード進行など）が出来ていることもあり、計算機による分析も他の要素よりも普及しています。 一方…
