Nature Drum

Nature Drum


約10,000の膨大なドラムサンプル音源(※)をディープニューラルネットワークで学習し、入力音に対して類似する音を生成するマシンによって、物理/表象を往来する音を探求するライブパフォーマンスを実施した。




演奏者らが石・流木・貝などを叩き、その打音を録音してマシンに入力すると、マシンはそれに類似するドラムのような音をリアルタイム生成する。生成された音は任意のリズムシーケンスで再生され、予測不可能な音楽が空間に響き渡る。
時どき、入力音と似ても似つかない音が生成されることもある。それは一見エラーのようだが、石など自然物の音を学んだことのないマシンならではのユニークさの現れのようにも解釈できる。 物理現象としての音と、音を捉える主体の中に表象される音。一方がリアルで他方がフェイクというものの見方ではなく、双方の違いの鑑賞を通して知識・経験などのデータのバイアスと、マシンそして自分自身の創造性の関係について考える機会となってほしい。 人間とマシン、両者の垣根を意識せず自由に創造可能な未来を望むライブパフォーマンスである。
本作品は、電子音楽とデジタルアートの祭典 MUTEK.JP におけるAI Music Labへの参加がきっかけとなり作成した。
※ドラムサンプル音源はQosmoのMax Frenzel氏のデータベースを使用させていただいた。




A deep neural network was used to learn about 10,000 drum samples (*), and a machine was used to generate similar sounds to the input sounds, resulting in a live performance that explored sounds that travel between the physical and the representational.




When the performers hit stones, driftwood, shells, etc., and the sound is recorded and input into the machine, the machine generates a similar drum-like sound in real time. The generated sounds are played back in an arbitrary rhythmic sequence, and unpredictable music reverberates through the space.
Occasionally, a sound is generated that does not resemble the input sound. At first glance, this may seem like an error, but it can also be interpreted as an expression of the uniqueness of a machine that has never learned the sound of natural objects such as stones. Sound as a physical phenomenon and sound as it is represented in the subject who captures it. Rather than seeing one as real and the other as fake, I hope that through the appreciation of the differences between the two, we will have the opportunity to think about the relationship between the bias of data such as knowledge and experience, and the creativity of machines and ourselves. This is a live performance that hopes for a future where people and machines can freely create without being conscious of the barriers between them.
This work was created as a result of my participation in the AI Music Lab at MUTEK.JP, a festival of electronic music and digital art.
Drum samples were taken from Max Frenzel's database at Qosmo.