Linguitone - Linguistic Guitar Tone Processing System

Category:ResearchTags:
#Music#HCI
Published: 2021 - 3 - 16

「テキスト入力でギターエフェクトを制御する」という体験をデザインするためのWebベースのユーザーインターフェースを開発しました。また、日本語のFastTextやDoc2Vec、シンプルなフィードフォワードMLPを用いて、テキストの埋め込みベクトルからエフェクトのパラメータを推定する機械学習モデルを学習させました。

Image

オーディオエフェクトにはAbleton Liveの内蔵エフェクトを使用しており、アプリケーションからのテキスト入力によってリアルタイムに制御されます。これにより、ユーザーはギターを演奏しながらスムーズに音色をコントロールすることができます。

Image

Linguitone: 音色の言語表現を用いたエレクトリックギターの音作り支援システム