歌声信号処理
カラオケや補聴器のような音響システムでは、スピーカから出力した音が再びマイクへの入力としてフィードバックされることによる発振ハウリングが問題となります． このハウリングを信号処理（適応フィルタ）によって除去する方法として、フィードバックキャ…
https://github.com/deezer/spleeter より 前回の記事では、Python向け楽器分離ライブラリ Spleeter の使い方を紹介しました。 具体的には、2-mixの楽曲ファイルを、ボーカルやベース、ドラムといったオーディオファイルに分離する方法を紹介しました。 Pyth…
https://github.com/deezer/spleeter より 楽曲のメロディ・和音・リズムといった音楽的分析を行うには、個々の構成楽器ごとの分析が重要です。 楽譜・MIDIファイルは情報が各トラックごとに分かれているため メロディ・和音・リズムといった音楽的要素・文…
https://sigsep.github.io/datasets/musdb.html#musdb18-compressed-stems より 以前の記事では、様々な音楽ジャンルのステムデータ付き楽曲データセット DSD100 を紹介しました。 www.wizard-notes.com DSD100 は全100曲とそれなりの楽曲数がありますが、大…
https://sigsep.github.io/datasets/dsd100.html より 楽曲分析や音源分離のアルゴリズムを開発・動作検証する際には、何らかの楽曲データセットが必要になります。 市販の楽曲データを利用する手もありますが、2Mix・マスタリングされた音源だけでは動作検…
オーディオ信号の再生速度・音高の変更はよく利用される処理です。 そのアルゴリズムはいくつかありますが、リアルタイム処理向けの手法としてはフェーズボコーダという手法があります。 Pythonでは、音楽信号分析ライブラリLibROSAにおいてフェーズボコーダ…
Pythonで音声や歌声、楽器音などの収音・再生・録音を行うためのライブラリとしてはPyAudioが知られていますが、 低遅延であるASIO規格が利用できない Python 3.7 以上には非対応 というデメリットがあります*1。 Python 3.7 以上でASIO対応デバイスを利用可…
前回の記事では，音楽信号の音高分析に便利な定Q変換 (CQT)のアルゴリズムや実装方法による計算速度の比較を行いました。 www.wizard-notes.com 結果として，再帰的ダウンサンプリング法による定Q変換がリアルタイム処理で実用的な計算速度であることが分か…
音楽信号の音高分析に便利な定Q変換 (CQT)。 これまでにいくつか計算アルゴリズムや実装方法の種類を紹介してきました。 おそらく再帰的ダウンサンプリング法が速いと思っていたのですが、条件によっては疎行列計算と変わらないことがあったりと、実環境での…
定Q変換 (CQT)は歌声・音楽の音高／メロディ／和音を分析するのに便利な周波数分析方法です。 例えば，CQTスペクトログラムを算出すれば各音高（ドレミファ…）がどのくらいの強さで鳴っているかを時系列で観察することができます。 以下の記事では、定Q変換…
YouTubeやニコニコ動画のような動画サービスで0.5倍・2倍速再生が使えるのが一般的になっています。 また、サンプリングされた波形素材の時間伸縮がDAWの基本機能として搭載されていて、曲のタイミングやテンポに上手く合わせて波形素材をいい感じの長さで鳴…
はじめに 音信号を分析する時間周波数分析手法としてはSTFT（短時間フーリエ変換）が良く使われますが，特に音楽を対象にして音高、コード、メロディなどを分析する場合は定Q変換（CQT）という手法が便利です。 www.wizard-notes.com www.wizard-notes.com …
定Q変換は音楽信号の音高・コード・メロディ分析に相性の良い周波数分析手法です． この記事では，前回の定Q変換 (CQT: Constant-Q Transform) の 解説 の内容をPythonで実装する方法を解説します． Pythonの実装ですが，C++やJavascriptなど，様々な言語で…
はじめに 音信号の時間周波数分析にはFFT (高速フーリエ変換) ／STFT（短時間フーリエ変換）がよく使われます． しかし，FFTの性質上，音高に関わる分析をしようとすると実装や分析精度の向上に手間がかかります。 そこで，この記事では音楽信号の分析によく…
7万枚の手書き数字の画像＋ラベルのデータセットである MNIST は，今では機械学習・深層学習のHello Worldとして非常に多くの人に利用されていて有名です． MNISTの1つのデータは 白黒画像・28x28ピクセル，全体でも7万件なので大規模データですがデータセッ…
PyQtGraphの複数の線グラフプロットを利用して，12音平均律で音高ごとに色を変えてライブプロットしたら綺麗＆役立つかなと思い作ってみました． もう少しブラッシュアップしようと思ったのですが，後述の理由でお蔵入りになったので，供養としてソースコー…
前置き Python wave モジュール 実装／テスト 最後に Float形式のWAVファイルについて 前置き 音楽プレイヤーのような音楽ソフトウェアの開発では、まずオーディオファイルから時間信号を読み込む処理が第一歩となります。 オーディオファイルは数多くの種類…
Pythonの音楽分析モジュールLibROSAには、v.0.7から線形予測分析(https://ja.wikipedia.org/wiki/%E7%B7%9A%E5%BD%A2%E4%BA%88%E6%B8%AC%E6%B3%95)を行う関数librosa.lpcが追加されました。 線形予測分析は音声の音素や声色を分析するのによく利用されていま…
https://github.com/Eomys/MoSQITo 心理音響学について調べていたら、興味深いPythonライブラリがあったので紹介します。 github.com 心理音響学に基づく音質評価ソフトウェアの多くは市販製品であり、オープンソースでさくっと使えるものはほとんどないのが…
はじめに Python の音楽信号分析モジュールである LibROSAには、楽曲の音高／メロディ／和音情報をより精度よく抽出するためのツールとして、Salience （顕著性）スペクトログラムを抽出する関数 librosa.salience が実装されています。 今回は、librosa.sal…
はじめに この記事では、 以下の記事で紹介 LibROSAのSalience スペクトログラムの算出方法を解説します。 www.wizard-notes.com 実際の計算方法、プログラムはlibrosa.salience() をご参照ください。 Salience スペクトログラムとは Salience スペクトログ…
まえがき 使い方 関数の仕様 サンプルコードとプロット librosa.phase_vocoderの中身について 重要な中間変数を抜粋 メイン処理 補足：フェーズボコーダを使ったピッチシフトの実現方法 librosa.phase_vocoderの音質について 参考文献 まえがき オーディオ編…
まえがき librosa.effects.pitch_shift() の使い方 引数について 半音単位のピッチシフト 周波数を指定するピッチシフト 使い方のサンプル プロット コード 注意 補足：ピッチシフトはタイムストレッチ？ まえがき ボーカルや楽器の録音データに対して、 「…
今更感がありますが、Pythonで自作のエフェクトをすぐ試せる環境があると開発が捗るので、音楽プレイヤーモジュールを実装 pic.twitter.com/4yEN2wQ07X— Kurene (@_kurene) August 10, 2020 リアルタイム音響信号処理プラグインの開発において、開発言語がC+…
リアルタイム声質加工プラグインの開発進捗。声を太くしたり子供っぽくしたりできる処理のデモです。 pic.twitter.com/JcfwPJ2OCc— Kurene (@_kurene) July 18, 2020 線形予測分析＋周波数ワープでリアルタイムで声質を加工する処理を作りました。 ボイスチ…
フォルマントの強調っぽい処理で"いい声"に加工する自作フィルタのプロトタイプ（前半：元の歌声、後半：フィルタリング後） pic.twitter.com/deOz1DJjIv— Kurene (@_kurene) 2020年7月7日 先日作ったフォルマント強調フィルタ、実は低ビットレート音声符号…
デモ・概要 https://github.com/Kurene/pyaudio_spectrum_analyzer/blob/master/libmir/rasp_audio_stream.py PyAudioとmatplotlib で、リアルタイムで音高を表示するプログラムを作ってみました。 このプログラムは、前回のリアルタイムスペクトルアナライ…
概要 以前から気になっていた、 Robust PCAによる歌声抽出 *1 を実装し、実際の楽曲でボーカル抽出をやってみました。 Robust PCAについて Robust PCAによる歌声抽出では、楽曲を表す行列\({\bf X}\)を低ランク行列\({\bf L}\)とスパース行列\({\bf S}\)の和…
