約10,000の膨大なドラムサンプル音源* をディープニューラルネットワークで学習し、入力音に対して類似する音を生成するマシンによって、物理/表象を往来する音を探求するライブパフォーマンス。 *音源はQosmoのMax Frenzel氏のデータベースを使用。
演奏者らが石・流木・貝などを叩き、その打音を録音してマシンに入力すると、マシンはそれに類似するドラムのような音をリアルタイム生成する。
生成された音は任意のリズムシーケンスで再生され、予測不可能な音楽が空間に響き渡る。
時どき、入力音と似ても似つかない音が生成されることもある。それは一見エラーのようだが、石など自然物の音を学んだことのないマシンならではのユニークさの現れのようにも解釈できる。
物理現象としての音と、音を捉える主体の中に表象される音。一方がリアルで他方がフェイクというものの見方ではなく、双方の違いの鑑賞を通して知識・経験などのデータのバイアスと、マシンそして自分自身の創造性の関係について考える機会となってほしい。
人間とマシン、両者の垣根を意識せず自由に創造可能な未来を望むプロジェクトである。
本プロジェクトは、電子音楽とデジタルアートの祭典 「MUTEK.JP」 におけるワークショップ「AI Music Lab」への参加がきっかけとなり実施した。 本プロジェクトがワークショップの優秀作品に選出され、MUTEK.JP 2019にアーティストとしてGADARAの出演が決定。Nature Drumのライブパフォーマンスを実施した。
A deep neural network was used to learn about 10,000 drum samples*, and a machine was used to generate similar sounds to the input sounds, resulting in a live performance that explored sounds that travel between the physical and the representational. *Drum samples were taken from Max Frenzel's database at Qosmo.
When the performers hit stones, driftwood, shells, etc., and the sound is recorded and input into the machine, the machine generates a similar drum-like sound in real time. The generated sounds are played back in an arbitrary rhythmic sequence, and unpredictable music reverberates through the space.
Occasionally, a sound is generated that does not resemble the input sound.
At first glance, this may seem like an error, but it can also be interpreted as an expression of the uniqueness of a machine that has never learned the sound of natural objects such as stones.
Sound as a physical phenomenon and sound as it is represented in the subject who captures it.
Rather than seeing one as real and the other as fake, I hope that through the appreciation of the differences between the two, we will have the opportunity to think about the relationship between the bias of data such as knowledge and experience, and the creativity of machines and ourselves.
This is a project that hopes for a future where people and machines can freely create without being conscious of the barriers between them.
This project was created as a result of our participation in the workshop of "AI Music Lab" at "MUTEK.JP", a festival of electronic music and digital art. Our project was selected as the excellent work of the workshop, which invited our GADARA to perform as an artist at MUTEK.JP 2019, where we gave a live performance of Nature Drum.