Learn PromptingGénération musicale
Les modèles de génération musicale sont de plus en plus populaires et finiront par avoir un impact important sur l'industrie de la musique.
Les modèles de génération musicale peuvent créer des progressions d'accords, des mélodies ou des chansons complètes. Ils peuvent structurer et créer de la musique dans des genres spécifiques et composer ou improviser dans le style d'artistes particuliers.
Cependant, malgré l'énorme potentiel des modèles musicaux, ils sont actuellement difficiles à guider. La sortie générée n'est souvent pas entièrement personnalisable par des invites, contrairement aux modèles de génération d'images ou de textes.
Riffusion
Riffusion, une version affinée de Stable Diffusion, peut être contrôlée à l'aide d'invites pour générer des instruments et des pseudo styles, mais elle dispose d'un nombre limité de battements.
Mubert
Mubert semble interpréter les invites par le biais d'une analyse des sentiments qui associe une stylistique musicale appropriée à l'invite (il n'est pas possible de contrôler les paramètres musicaux en détail via les invites). La part de l'IA dans la génération du résultat n'est pas claire.
Autre
Il y a des tentatives d'utiliser GPT-3 comme un outil de Text-2-Music avec des invites réelles pour les éléments musicaux au "micro-niveau" des notes (au lieu des analogies de style d'invite plutôt vagues que produisent Mubert et Riffusion).
Sander Schulhoff
Sander Schulhoff is the CEO of HackAPrompt and Learn Prompting. He created the first Prompt Engineering guide on the internet, two months before ChatGPT was released, which has taught 3 million people how to prompt ChatGPT. He also partnered with OpenAI to run the first AI Red Teaming competition, HackAPrompt, which was 2x larger than the White House's subsequent AI Red Teaming competition. Today, HackAPrompt partners with the Frontier AI labs to produce research that makes their models more secure. Sander's background is in Natural Language Processing and deep reinforcement learning. He recently led the team behind The Prompt Report, the most comprehensive study of prompt engineering ever done. This 76-page survey, co-authored with OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions, analyzed 1,500+ academic papers and covered 200+ prompting techniques.
Footnotes
-
Forsgren, S., & Martiros, H. (2022). Riffusion - Stable diffusion for real-time music generation. https://riffusion.com/about ↩