Hast du dich jemals gefragt, wie du mit künstlicher Intelligenz deine eigene Musik kreieren kannst? In diesem Artikel erfährst du, wie du GANs
GANs bestehen aus zwei neuronalen Netzen: einem Generator und einem Diskriminator. Der Generator versucht, gefälschte Daten zu erzeugen, die wie die echten Daten aussehen, während der Diskriminator versucht, zwischen den echten und den gefälschten Daten zu unterscheiden. Der Generator und der Diskriminator werden gleichzeitig trainiert, in einem spielähnlichen Szenario, in dem der Generator versucht, den Diskriminator zu täuschen, und der Diskriminator versucht, den Generator zu fangen. Das Ergebnis ist, dass beide Netzwerke ihre Fähigkeiten verbessern und der Generator lernt, realistische Daten zu produzieren.
💡 In my opinion, GANs are one of the most powerful tools for music generation. 🎶 Generator Music GANs use two neural networks, a generator, and a discriminator. The generator creates music mimicking real tunes, while the discriminator tells real from generated. 🎵 Discriminator This network learns from real music data and rates generated tracks. The generator adjusts to trick the discriminator effectively. 🎧 Adversarial training Both networks train concurrently in a competition. The generator aims to deceive, and the discriminator strives to spot the fake. This continues until the generator makes music indistinguishable from genuine tracks.
A more recent (2014) subset of Machine Learning (ML) where at its core it employs indirect training through the discriminator where essentially the system is teaching itself. The generator tries to generate new content based on historic data to emulate the historical data while the discriminator is essentially a check that tries to find faults to identify fake data, these faults are refed into the system the generator tries to produce a new output based on the "faults". This loop goes on until the fake output is indistinguishable from the real one
Experience the power of Generative Adversarial Networks - a groundbreaking technology that revolutionizes synthetic data generation. With two key components - the generator and discriminator - GANs play a vital role for synthetic data generation.
Here are some examples of recent GAN-generated music I am aware of: - BachGAN: BachGAN is a GAN that was trained on a dataset of Bach's chorales. The generator can generate new pieces of music that sound like Bach wrote them. - MuseGAN: MuseGAN is a GAN that can generate music in various styles, including pop, rock, and classical. - Jukebox: Jukebox is a GAN that can generate music in various genres, including hip-hop, pop, and classical. Jukebox is able to generate music that is indistinguishable from human-made music.
GANs haben mehrere Vorteile für die Musikerzeugung. Erstens können sie aus jeder Datenquelle lernen, ohne dass Beschriftungen oder Anmerkungen erforderlich sind. Das bedeutet, dass Sie jedes Musikgenre, jeden Stil und jedes Instrument als Eingabe verwenden und neue Musik generieren können, die Ihren Vorlieben entspricht. Zweitens können sie vielfältige und neuartige Musik erzeugen, ohne die Eingabedaten zu wiederholen oder zu kopieren. Das bedeutet, dass Sie verschiedene musikalische Möglichkeiten erkunden und einzigartige Kompositionen erstellen können. Drittens können sie qualitativ hochwertige und kohärente Musik erzeugen, ohne die musikalische Struktur oder Harmonie zu verlieren. Das bedeutet, dass Sie Musik produzieren können, die natürlich und angenehm für das Ohr klingt.
GANs sind nicht perfekt, und sie haben auch einige Herausforderungen für die Musikerzeugung. Eine der größten Herausforderungen ist der Moduskollaps, der auftritt, wenn der Generator nur wenige Datentypen erzeugt und den Rest der Datenverteilung ignoriert. Dies kann zu langweiliger oder repetitiver Musik führen, der es an Abwechslung und Kreativität mangelt. Eine weitere Herausforderung ist die Bewertung, also der Prozess der Messung, wie gut die generierte Musik ist. Das kann schwierig sein, denn Musik ist subjektiv und es gibt keinen klaren Maßstab oder Standard, um sie zu beurteilen. Daher musst du dich möglicherweise auf deine eigene Intuition verlassen oder menschliches Feedback verwenden, um deine Musik zu bewerten.
Even when using human feedback, evaluating sound generated by GANs is challenging, aside from the subjectivity itself, but also due to the time required to listen to and assess each audio sample, unlike images which can be quickly and visually appraised. This can be seen as a minor detail and I also underestimated this time factor until I had to work on a project using GANs and sound and the bottleneck became the evaluation process.
Wenn Sie GANs für die Musikerzeugung verwenden möchten, benötigen Sie einige Tools und Frameworks, die Ihnen dabei helfen. Eines der beliebtesten Tools ist Magenta, ein Google-Projekt, das TensorFlow verwendet, um Musik und Kunst mit maschinellem Lernen zu erstellen. Magenta bietet verschiedene Modelle und Beispiele für die Verwendung von GANs für die Musikerzeugung, wie z. B. MusicVAE, das verschiedene Musikstile interpolieren und mischen kann, oder GANSynth, das realistische Instrumentenklänge synthetisieren kann. Ein weiteres Tool ist MuseGAN, ein PyTorch-basiertes Projekt, das GANs verwendet, um mehrspurige Musik wie Klavier, Bass, Schlagzeug und Gitarre zu generieren. MuseGAN kann auch die musikalischen Eigenschaften wie Tonhöhe, Rhythmus und Harmonie der erzeugten Musik steuern.
Wenn Sie daran interessiert sind, GANs für die Musikerzeugung zu verwenden, können Sie zunächst einige Tutorials und Anleitungen befolgen, die Ihnen die Grundlagen beibringen. Sie können sich zum Beispiel dieses Tutorial von Valerio Velardo ansehen, das Ihnen zeigt, wie Sie mit Magenta und MusicVAE Musik in verschiedenen Genres wie Jazz, Rock oder Klassik generieren können. Sie können sich auch diesen Leitfaden von Yann LeCun ansehen, der die Theorie und Praxis von GANs erklärt und erklärt, wie man sie für verschiedene Anwendungen, einschließlich der Musikerzeugung, verwendet. Schließlich können Sie mit Ihren eigenen Daten und Ideen experimentieren und sehen, welche Art von Musik Sie mit GANs erstellen können.
The best way to explore GANs for tasks like music generation is to try them out - and for that you don't need to be a technical expert behind their architecture! There are tons of very convenient freely and openly available Colab notebooks, HuggingFace models and so on that leverage different types of GANs - e.g.MuseGAN, GANSynth, MusicGen, AudioCraft and so on that you can try out with your own prompts, and even fine-tune them on your own sub-samples of audio. Some of these models even come with their own demos - wherein, they have a simple UI wherein you could literally just give it a text prompt and have it generate a beautiful melody conditioned on that prompt.
Before jumping into GANs for Music generation. Consider checking out already freely available tools. Great tools to get started with: Suno.ai (on discord) -> fantastic quality and language understanding, especially with Vocals! Stable Audio -> from stability AI, great for sounds, effects and instrumental. Rifffusion -> 12 second songs, large variety and customization If you decide to go further... then go into the examples shared by the contributors above for the google collab notebooks, which are a treasure trove by themselves :)