Bienvenue
😃 Bases
💼 Applications de base
🧙‍♂️ Intermédiaire
🤖 Agents
⚖️ Fiabilité
🖼️ Prompting d'images
🔓 Hacking de prompts
🔨 Outillage
💪 Calibrage de prompts
🎲 Divers
📙 Référence de vocabulaire
📚 Bibliographie
📦 Prompted Products
🛸 Ressources supplémentaires
🔥 Sujets Brûlants
✨ Générique

Génération musicale

🟢 This article is rated easy
Reading Time: 2 minutes
Last updated on August 7, 2024

Sander Schulhoff

Les modèles de génération musicale sont de plus en plus populaires et finiront par avoir un impact important sur l'industrie de la musique.

Les modèles de génération musicale peuvent créer des progressions d'accords, des mélodies ou des chansons complètes. Ils peuvent structurer et créer de la musique dans des genres spécifiques et composer ou improviser dans le style d'artistes particuliers.

Cependant, malgré l'énorme potentiel des modèles musicaux, ils sont actuellement difficiles à guider. La sortie générée n'est souvent pas entièrement personnalisable par des invites, contrairement aux modèles de génération d'images ou de textes.

Riffusion

Untitled

Riffusion, une version affinée de Stable Diffusion, peut être contrôlée à l'aide d'invites pour générer des instruments et des pseudo styles, mais elle dispose d'un nombre limité de battements.

Mubert

Mubert semble interpréter les invites par le biais d'une analyse des sentiments qui associe une stylistique musicale appropriée à l'invite (il n'est pas possible de contrôler les paramètres musicaux en détail via les invites). La part de l'IA dans la génération du résultat n'est pas claire.

Autre

Il y a des tentatives d'utiliser GPT-3 comme un outil de Text-2-Music avec des invites réelles pour les éléments musicaux au "micro-niveau" des notes (au lieu des analogies de style d'invite plutôt vagues que produisent Mubert et Riffusion).

Sander Schulhoff

Sander Schulhoff is the Founder of Learn Prompting and an ML Researcher at the University of Maryland. He created the first open-source Prompt Engineering guide, reaching 3M+ people and teaching them to use tools like ChatGPT. Sander also led a team behind Prompt Report, the most comprehensive study of prompting ever done, co-authored with researchers from the University of Maryland, OpenAI, Microsoft, Google, Princeton, Stanford, and other leading institutions. This 76-page survey analyzed 1,500+ academic papers and covered 200+ prompting techniques.

Footnotes

  1. Forsgren, S., & Martiros, H. (2022). Riffusion - Stable diffusion for real-time music generation. https://riffusion.com/about