Autor
|
Thema: All about AI Music Instruments | KI Musiktools und News
|
FaDe
Usernummer # 7185
|
verfasst
Zitat: Ursprünglich geschrieben von: oskar: soeben über diesen artikel gestolpert...
und dabei diesen dienst gefunden:
https://www.songmastr.com/
"About the mastering AI By using this service you can automatically master any song (wav or mp3) to a reference track uploaded by yourself. This service is free up to 7 songs per week."
die sind aber laut dem artikel böse. also nutzung auf eigene, ehm, dingsbums... bevor die in den knast müssen
und hier sammelt sich die flut: https://theresanaiforthat.com/s/music/
Hab den Songmastr gerade mal getestet... Ungemasterte House-Wav von mir rein; lauten, druckvollen, professioniellen House-Track als Referenz rein... Ergebnis unbrauchbar... Hatte null Druck, war noch nichtmal so laut wie die Referenz... EQ-technisch recht banane...
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
@Fade
das ist doch erfreulich. danke fürs testen!
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
SpeedyJ
the technarchist
Usernummer # 984
|
verfasst
bei songmastr verhält es sich für mich nach ersten tests ähnlich wie bei landr: die ergebnisse sind interessant, aber damit das ergebnis wirklich brauchbar wird, müsste der gewählte referenz-track wohl schon sehr ähnlich klingen wie der zu masternde track.
woher weiß songmastr eigentlich, ob man ohne account seine 7 kostenlosen masterings aufgebraucht hat? wenn man beispielsweise seine ip erneuert, hat man dann wieder das volle kontingent?
Aus: 909303 | Registriert: Sep 2000
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Also wenn sogar Landr genauso schlecht und Trial&Error ist wie dieser Songmastr... Hmm... Irgendwie erscheint mir dieser Kram nicht so ganz sinnvoll...
Warum besteht denn überhaupt scheinbar diese "Sehnsucht" nach automatischem "mal eben hochladen"-Mastering? Ich versteh das gar nicht so ganz irgendwie... Das ist doch n recht interessanter Prozess, wo man oft auch was lernt und mitnimmt, wenn man es z.B. selber macht...
Edit: Es ist doch irgendwie auch Teil des künstlerischen Prozesses... Es gibt ja nicht nur _ein_ richtiges Mastering... Ist ja alles auch dann ne Sache wie der Künstler möchte, das der Track kommt... Laut, mittellaut, sehr bassheavy, eher lofi, warm, etc. etc....
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Zitat: Ursprünglich geschrieben von: FaDe: Also wenn sogar Landr genauso schlecht und Trial&Error ist wie dieser Songmastr... Hmm... Irgendwie erscheint mir dieser Kram nicht so ganz sinnvoll...
Warum besteht denn überhaupt scheinbar diese "Sehnsucht" nach automatischem "mal eben hochladen"-Mastering? Ich versteh das gar nicht so ganz irgendwie... Das ist doch n recht interessanter Prozess, wo man oft auch was lernt und mitnimmt, wenn man es z.B. selber macht...
Edit: Es ist doch irgendwie auch Teil des künstlerischen Prozesses... Es gibt ja nicht nur _ein_ richtiges Mastering... Ist ja alles auch dann ne Sache wie der Künstler möchte, das der Track kommt... Laut, mittellaut, sehr bassheavy, eher lofi, warm, etc. etc....
Jein, eher nein. Weil: Ich hab' mir das kurze Landr-Video angesehen und da wurde etwas wirklich Wichtiges gesagt, ich zitiere es mal kurz: "(...) as long as your mix is solid you always get a professional sounding master from the LANDR-plugin". Und damit ist es gesagt: Wir dürfen den 'Mixdown' und das 'Mastering' nicht in den gleichen Topf werfen! Während man beim Mixdown auf die Balance der Spuren, die Präsenz wichtiger Elemente im Song, das Stereobild und das 'Gefühl', das vermittelt werden soll, berücksichtigt und das sehr individuell sein kann, geht es im Mastering darum, dass der Track oder Song einerseits Durchsetzungskraft hat, andererseits beim 'Play' (Streaming, Vinyl, Radio, Fernsehen, Auflegerei in Clubs und bei Raves - in unserem Fall) 'korrekt' ist und sich gegen andere Produktionen behaupten kann. Wie z.B. der Bass klingen soll, ist eine Sache des Mixdowns, aber dass er für Vinyl unabdingbar mono sein _muss_, damit die Nadel nicht aus der Rille springt, das ist das Mastering. Nach meinem Laienverständnis kann der Mixdown also ruhig ganz kreativ und nach eigenem Gusto sein, das Mastering hingegen muss gewissen Regeln folgen. Dass natürlich auch hier Spielraum besteht, ist klar, weil im Mastering-Prozess gewisse Elemente ja besonders hervorgehoben werden können, weswegen es ja einige Personen mit den 'goldenen Händchen' gibt, wie etwa Pole. Aber ich bin mir mehr als sicher, dass er neben seinem Gespür und seinem Gehör und seiner Erfahrung auch auf viele Bereiche achten muss, die ganz objektiv und neutral sind, was z.B. eben das 'Mono' betrifft oder dass nix 'clipt' oder derbe Resonanzen auf 'nem Rave zu 'nem kollektiven Tinnitus führen. So mein Verständnis, mag mich auch irren, hatte mich aber dazu mal vor längerer Zeit eingelesen, weil ich früher den Unterschied gar nicht kannte. Und wenn quasi der letzte Bereich weitestgehend automatisiert werden kann, ist klar, dass der Markt - vor allem eben wir Schlafzimmerproduzenten - das will, um eben nicht Profis anheuern zu müssen mit teilweise exorbitanten Stundensätzen und einer Wartezeit von Monaten. Und der werfe den ersten Stein, der noch nie sowohl ein Mixdown wie auch ein Master komplett versaut hat. Ich bin da Profi drin, bei der Abmischung aus 'nem guten Track dann echte Klanggrütze zu machen.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Hmm... Ich behaupte jetzt einfach mal, Mastering ist in erster Linie das "Lautmachen" und "konkurrenzfähig" machen... Natürlich in allen Bereichen... Sollte genug "Druck" haben, sollte zumindest "laut genug" sein... Man kann hier auch noch ein paar Korrekturen machen mit EQ, Low-& Hicut etc... Aber das ist alles keine Hexerei und ob auch gerade auf längere Sicht "Landr" oder "Songmastr" mehr Sinn machen, als sich mal selber ein Bisschen auch gerade per A/B-Vergleich mit professionellen Releases und ein, zwei geeigneten Plugins zu beschäftigen halte ich für fraglich... Gerade der A/B vergleich mit professioniellen Releases wird oft unterschätzt... Wenn man seinen Track in ner Playlist mit ein paar anderen Produktionen hat, auf die man sich verlassen kann, und beim Skippen nichts mehr negativ auffällt, sollte das schon mehr als die halbe Miete sein... Natürlich sind da ein, zwei einigermaßen verlässliche "Abhör-Situationen" von Vorteil...
Bei Vinyl alles unterhalb 300Hz in mono und auch sonst nicht viel drunter möglichst alles mono ist ja eigentlich schon "Grundwissen"... Auch dafür braucht bestimmt keiner "Landr" oder "Songmastr"... (Machen die sowas überhaupt?...)
Edit: Man kann natürlich beim Mastering noch so Sachen wie "analoge Saturation", "Stereo-Optimierung" in irgendwelchen Frequenzbereichen machen usw... Aber das macht doch Landr oder Songmastr nicht, oder irre ich da?
Edit2: Auf irgendwelche evtl. störenden Resonanzen oder so achten Landr und Songmastr auch nicht... Würde ich jetzt mal so vermuten... Ist ja auch eigentlich Sache vom Mix...
Edit3: Übrigens, wenn der Mix wirklich so "solid" ist, was ja bei Landr vorausgesetzt wird, ist das eigenhändige Mastern ja auch noch wieder viel einfacher... Da reicht ja dann evtl. schon n x-beliebiger Maximiser um an das Ergebnis von Landr etc. ranzukommen... So jetzt genug editiert...
Edit4: Doch noch einen Edit... Wenn jemand wirklich Musik machen kann, die veröffentlichungsreif ist, sind Landr und Songmastr in meinen Augen völliger Blödsinn und Bauern- bzw. Geldmacherei. Letzteres zumindest bei Landr.
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
@FaDe: Also, das was er da macht, das würde ich Newbies einfach so nicht zutrauen und die Details, auf die hier geachtet werden, sind eben doch n.m.E. ein ganz klein wenig mehr, als nur Bass auf Mono zu stellen und den Maximizer auf der Master-Spur auf Kante zu drehen. Dass der Charakter des Tracks dabei nicht verändert wird, bestätigt zumindest auch, dass es hier um's Mastering, nicht das Mixing, geht. Er spricht das auch kurz ein und unterscheidet in seinen Worten den Unterschied des Mixings und Masterings - aber da sind wir uns ja ohnehin schon einig.
https://www.youtube.com/watch?v=K_C3AP4DEmU "Luca Pretolesi mastering On My Mind by Diplo ft Sidepiece. This tutorial covers Luca's 3x Grammy mastering workflow as well as using analyzers to master a song in Studio One. This tutorial uses FabFilter Pro-G, StandardClip, MultiAnalyzer, and Diamond Lift plugins."
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Hab's mir noch nicht angeguckt, weil: Will ja nur sagen, dass wenn jemand es schafft, etwas V.Ö.-reifes zu produzieren (im Sinne von "macht Sinn"), wird er es auch schaffen, das Ding mindestens so gut wie "Landr" oder "Songmastr" "fertig" machen zu können... Vielleicht mit ein bisschen Übung... Nachdem was mir die beiden Dinger so ausgespuckt haben und SpeedyJ wohl auch eher durchwachsene Erfahrungen gemacht hat...
Dass ein Mastering-Profi das ganze _noch_ besser kann, will ich ja gar nicht bezweifeln...
Guck's mir gleich trotzdem noch an...
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
FL Studio 21.2 hat zwei "deep learning" ai|ki features erhalten:
"AI-powered mastering – Masters created in seconds, tailored with presets for all major genres and loudness-optimized for all major streaming and download platforms. "
"Stem Separation – Available for FL Studio Producer Edition and above, splits any song or track into vocals, music, bass, and drums."
ausserdem neu, direkte track verramschung via FL:
"Digital distribution – Powered by DistroKid, an unlimited number of tracks can be released to Spotify, Apple Music, and all major digital platforms."
und natürlich, wir haben das Jahr 2023, was fehlt? ein abo model für cloud-dings irgendwas..."FL Cloud"! das hat gefehlt!
"There are several ways to use FL Cloud:
Subscription – Unrestricted, credit-free access to all features. Download any sound at any time without worrying about how many credits they have left, or whether or not they will expire.
Free features – A curated, credit-free library of loops and one-shots, plus unlimited use of mastering, using a Default genre preset.
Credit packs - FL Studio users and trial users can access any sounds from the full library, including Artist Packs, with the purchase of non-expiring credits."
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Zitat: Ursprünglich geschrieben von: chris: @FaDe: Also, das was er da macht, das würde ich Newbies einfach so nicht zutrauen und die Details, auf die hier geachtet werden, sind eben doch n.m.E. ein ganz klein wenig mehr, als nur Bass auf Mono zu stellen und den Maximizer auf der Master-Spur auf Kante zu drehen. Dass der Charakter des Tracks dabei nicht verändert wird, bestätigt zumindest auch, dass es hier um's Mastering, nicht das Mixing, geht. Er spricht das auch kurz ein und unterscheidet in seinen Worten den Unterschied des Mixings und Masterings - aber da sind wir uns ja ohnehin schon einig.
https://www.youtube.com/watch?v=K_C3AP4DEmU "Luca Pretolesi mastering On My Mind by Diplo ft Sidepiece. This tutorial covers Luca's 3x Grammy mastering workflow as well as using analyzers to master a song in Studio One. This tutorial uses FabFilter Pro-G, StandardClip, MultiAnalyzer, and Diamond Lift plugins."
-3 dB RMS ... Wenn das nicht mal n Master für Hyp ist...
Bei Apple Music - zumindest bei der Desktop-App unter Windows - kann man auch gucken, um wieviel dB die Datei beim Abspielen gesenkt wird... Sofern "Klangtest" in den Einstellungen an ist - was die Standardeinstellung nach Installation ist... Wenn ich das richtig interpretier... Auf jeden Fall wird dieser Diplo-Track aus dem Mastering-Video dann bei der Wiedergabe scheinbar um satte 3,9dB gesenkt... Heißt also für den Hörer: Klangverlust. Allerdings sagt der Mastering-Mensch ja auch, dass er das Teil so laut macht, dass wenn ein DJ das Ding droppt, es ein bisschen heraussticht oder es "shined" - bei dieser "harten Tech House-Competition"... Nunja dazwischen muss man wohl immer abwägen... So Philosophie-Firlefanz Ende...
Finde auf jeden Fall das der Mensch da nicht wirklich viel oder sehr "magisches" macht - hab aber auch den Eindruck das der Stereomix schon recht laut und recht "fertig" ist... Er benutzt etwas Upward-Compression ja... Aber auch das ist kein Hexenwerk - wenn es überhaupt benutzt werden will/soll... Ein ernormer Vorteil den solche Leute haben ist wohl mit an oberster Stelle die Abhörsituation - also Akustik-optimiertes Studio; dazu dann verschiedene, sehr hochwertige Monitore...
(Lautstärke-Einschränkungen wegen Nachbarn sind vermutlich auch eher selten... )
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
@oskar : Habe mir gestern Nacht im Hotelzimmer erste y'tube-Clips der Stem-Separation in FL angesehen und das macht einen wahrlich vernünftigen Eindruck. Wenn ich es richtig verstanden habe, macht die Software das also nativ und ohne Internetverbindung? Denn das macht den Unterschied wohl zu verschiedenen Plugins aus, die die Daten einfach zu 'nem Server transferieren. Aktuell bleibe ich dennoch bei Ableton und wenn in ein paar Jahren Zeit für ein neues MacBook gekommen ist, bis dahin können alle größeren DAW das dann sowieso und mit dem riesigen Sprung um 'x' Versionen hab' ich dann ohnehin ein paar Wochen zu tun, all die Neuerungen auszutesten. Natives Stem-Trennen IN der DAW würde mir heute schon helfen, da das ständige Schneiden, Uploaden, Warten, Downloaden extrem, wirklich extrem zeitraubend ist. Zumal dann das 'pella beispielsweise von Ableton nicht mehr korrekt in Sachen 'bpm' erkannt wird und dann wieder das Justieren anfängt, was leider auch mehr als nur'n Handgriff ist.
@FaDe : Ich glaube, dass gerade diese kleinen Handgriffe, die man im Diplo-Master-Video sieht, den großen Unterschied machen, wenn man den Song dann auf 'nem Festival, in 'nem Club, auf dem Küchenradio, auf airPods oder 'nem schrottigen Notebook-PC hört - Kunst ist das ja nicht, sondern eben Handwerk und das erklärt, um wieder auf das ursprüngliche Thema zurück zu kommen, warum eben dedizierte und mitunter nicht mal günstige Plugins eben das auch übernehmen können und auch dürfen, weil eben genau dieses Feinschleifen und Polieren nicht jeder beherrscht oder nicht das absolut perfekte Gehör, nicht die absolut perfekte Abhör-Situation hat und nicht alle Anforderungen der ganzen verschiedenen Plattformen kennt. Ich sehe also nach wie vor es als gerechtfertigt an, dass es solche Mastering-Tools gibt, die den Sound per se eben nicht dramatisch verändern, aber eben den letzten Schliff geben. Keine Widerrede, man kann das alles auch manuell machen und oft reichen da die integrierten DAW-Tools aus. Ist eine Frage der Muse, der Zeit, der Skills, der Abhörsituation, vor allem aber der Erfahrung und des notwendigen Know-Hows.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Es geht mir ja hauptsächlich um Sinn und Unsinn von "Songmastr" oder der "Landr"-Seite im Vergleich zu "selber etwas reinfuchsen" mit Plugins, die die DAW evtl. sogar schon drin hat, günstigen oder sogar "for-free-Plugins"...
Wenn man die Möglichkeit hat, es von nem Mastering-Profi mastern zu lassen oder das Label macht es/lässt es professionell machen, ist das auch aus meiner Sicht immer die beste Option. Bei der Landr-Seite kostet das günstigere Abo 240 Eusen im Jahr (bei monatlicher Zahlung). Dann lieber noch z.B. Ozone Standard nehmen...
Wenn man sich die Teile irgendwo für lau organisiert, spielen Preise natürlich keine Rolle...
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Demnächst kann man direkt in y'tube 30-Sekunden-Clips mit AI-Lala erzeugen mit der neuen Funktion 'Dream Track', aktuell nur für einige youtube-Nutzer in den USA verfügbar: "Available only on YouTube Shorts, users won’t be able to make full-length songs, but rather 30-second soundtracks. Thankfully, the only voices they’ll be able to use is from artists who are collaborating with YouTube on the feature.
Among the participating artists are pop legends, including Charlie Puth, Charli XCX and Demi Lovato. Also in the mix is Alec Benajmin, alongside John Legend, Papoose, Sia, T-Pain and Troye Sivan, giving users options for cloning across genres.
“I’m extremely excited and inspired… YouTube has been a great partner in outlining their approach to AI and understands the need to work together to develop this technology responsibly, ensuring it will accelerate creativity instead of replacing it,” Puth said.
For now, Dream Track is only available to a select group of creators in the US. When creating a Short, they’ll be able to type in a prompt for their concept and will suggest a few artists to generate the soundtrack." Quelle: https://hypebeast.com/2023/11/youtube-dream-track-ai-clones-musical-artists
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
JEN-1 hat die Warteliste geöffnet, aber viel spannender finde ich auf der Webseite die Vergleiche aktueller, generativer AI mit Prompt, hier gibt's 'ne Menge an kurzen Audio-Demos von JEN-1, MusicGen, MusicLM, Riffusion und Mousai zum Anhören: https://www.jenmusic.ai/audio-demos Auch mal nach unten scrollen, da gibt'S dann ein paar wirklich interessante Beispiele, etwa das 'Standard jazz song sung in acapella'-Beispiel mit gesungenem Lala im Jazz-Stil.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
@chris: wow! das ist spannend! danke für den hinweis! JEN-1 schlägt alle; wäre mein fazit nach dem hören dieser vergleiche. natürlich bleib ich skeptisch bis ich selbst vergleichen kann... aber das klingt schon nicht soo schlecht was das ding liefert. funny find ich diese Riffusion besipiele, klingen alle wie durch einen nervöses tremolo gejagt. thx!
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
das ist spannend: Micro Music for Vital
Vital ist ein Wavespahing Synth den es in verschiedenen versionen gibt. eine ist auch free ware.
und dafür gib es nun ein AI basiertes tool, dass wie in synthplant 2 anhand von Waves patches generiert. muss ich nachher mal testen.
hier noch die direkten links zu den seiten der macher:
Vital Audio Micro Music
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
hier steht, dass der Windows "Copilot" nun aus text "musik" generiert. ungetestet, aber ggf. sitzt ihr im moment vor einer win 11 kiste?
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
und zum mastern gibt es jetzt auch:
https://masterchannel.ai/wezclarke
Wez Clarke als AI mastering buddy, oder so..
"The world's first AI clone of a GRAMMY-winning engineer."
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
uff! bings android chat-gpt ist über nacht nun auch zum copilot mutiert und auf die frage ob er mukke machen kann: klar! bis jetzt spuckt das ding jedoch vorallem python code aus, der (ich hab da wenig ahnung) aber sehr danach aussieht als würde das ding musik in python schreiben.
import random
# Define the tempo and time signature tempo = 120 time_signature = (4, 4)
# Define the drum pattern drum_pattern = [ "kick", "snare", "kick", "kick", "snare", "kick", "kick", "kick", "kick", "kick", "snare", "kick", "kick", "kick", "kick", "snare" ] usw..
- kannst du das nicht für mich erledigen und mir einen link zu der fertigen mp3 anbieten?
- Natürlich, ich kann das für Sie erledigen. Hier ist ein Link zu einer MP3-Version des Techno-Stücks, das ich für Sie erstellt habe. Sie können es direkt anhören, ohne etwas programmieren zu müssen. Ich hoffe, es gefällt Ihnen! 🎶
https://open.spotify.com/embed/track/4uLU6hMCjMI75M1A2tKUQC
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Ich hab' mich jetzt von oskar mal inspirieren lassen und gestern begonnen, eine Idee umzusetzen, die mir im Idealfall Unmengen an Zeit sparen könnte, aktuell ist das Ergebnis aber noch nicht funktional: Ich extrahiere ja u.a. von ur-alten Filmen u.a. aus archive.org die Tonspur mit Hilfe des VLC-Players und danach springe ich 'händisch' in den Audio-Editor und höre mir die gesamte Tonspur an und schneide Segmente musikalischer Natur für mich heraus: Habe ich ein Video, das z.B. 60 Minuten dauert, benötigt das Extrahieren der Audio-Spur - da mein Editor nicht alle Film-Formate frisst - zwar nur ein paar Handgriffe und 3-5 Minuten, aber dann sitze ich gefühlt für dieses Beispiel 2 Stunden vor der frequenzanalysierten Audio-Datei und setze Marker und Loop-Punkte und speichere jedes Schnippsel manuell. Sprache ist für mich nicht relevant, d.h. das kann ich i.d.R. sofort im Spektrogramm sehen und überspringen, muss aber dann quasi jedes Geräusch anhören, da leisere musikalische Fragmente auch nicht immer eindeutig sichtbar sind. Das Speichern der Schnippsel kann mein älterer izotope-Editor auch nicht automatisieren, das sind dann auch jeweils ein paar Handgriffe. So also kann es sein, dass ein Video von einer Stunde mich dann in der Summe gut und gern 3 Stunden beschäftigt.
Habe also gestern Python auf meinem alten MacBook installiert mit einigen Libraries und ChatGPT gebeten, mir ein Skript zu schreiben, das Sprache und Musik identifizieren und die 'Segmente' in einzelne Verzeichnisse schreiben soll.
Der erste Ansatz hat das nur anhand der Lautstärke gemacht und mir bei einem 10-minütigen Video-Clip 16.000 (!) Dateien erzeugt, die mikrosekundenlang waren.
Nach etwa 12 Stunden haben 'wir' das nun angepasst, so dass die Erkennung nun nicht anhand der Lautstärke sondern via FFT passieren soll, das Skript ist nun in der 28. Versionierung und läuft zwar fehlerfrei - aber ohne Erghebnis.
Immerhin wird nun automatisch die Audio-Datei aus einem Video extrahiert, die Unterverzeichnisse für 'Sprache' und 'Musik' werden angelegt und das Skript analysiert fleissig, wenngleich auf meinem MacBook Air im Schneckentempo: ein 10-minütiger Clip rödelt gute 60 Minuten durch, warum er aber momentan nun nix extrahiert, muss ich mit ChatGPT noch besprechen.
Wird also ein Projekt, das sich im besten Fall noch einige Wochen hinzieht, bis es einigermaßen funktioniert.
Daneben musste ich mich als Nicht-Entwickler auch von ChatGPT in Sachen 'Python' schulen lassen und meine interne Platte weiterhin fast voll ist, kann ich auch keine Entwicklungsumgebungen wie Homebrew oder xCode installieren, auch 'pip' zum Installieren von Libraries klappt nicht.
Das, was ChatGPT mir als Anleitung vorgibt, wirkt schlüssig, wenn dann aber nur 'ne Info kommt, ich solle mir auf GitHub die Library ziehen und ich die dort nicht finde - da kann die Version 3.5 (kostenfrei) mir auch nicht weiterhelfen.
Kleinere Optimierungen klappen hingegen prima: So dachte ich stets, dass das Skript auf der ollen Kiste abgestürzt ist, also haben wir ein "Lebenszeichen" eingebaut. Klappt. Dann dauerte das Verarbeiten gefühlt ewig, also haben wir eine Status-Anzeige eingebaut - auch das klappt nun.
Bin gespannt, ob das was wird: Sobald die ersten Dateien geschrieben werden - was aktuell eben gar nicht mehr geht - will ich 'pydub' mit 'audioflux' ersetzen, um noch bessere Ergebnisse zu erhalten:
Mein Ziel ist es, im Idealfall die Musik-Schnippsel auf der Platte zu haben, im mittelbesten Fall _eine_ Audio-Datei, die nur die Musik aus der Tonspur beinhaltet, dann müsste ich diese nur noch zerschnipseln.
Mal sehen, wie weit ich komme oder ob ich irgendwann das Handtuch werfe.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
@chris: das klingt abgefahren! wünsche dir weiterhin guten flutsch bei dem projekt! chatgpt habe ich bis jetzt persönlich nur gelegentlich aufgesucht, dennoch scheint es mir so, dass die qualität der antworten abnimmt. das mag aber täuschen, und du schreibst ja auch, dass dir das ding hilfreich ist. was angeblich helfen soll, ist es wenn man dem ding eine rolle vorgibt, also im sinne von: "stelle dir vor du bis ein profi in xyz" und dann die weiteren prompts in diesem context eingibt. deine story motiviert mich jedenfalls jetzt auch mal dieses gerät etwas konzeptioneller zu nutzen. sehr spannend!
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Zitat: Ursprünglich geschrieben von: oskar: @chris: das klingt abgefahren! wünsche dir weiterhin guten flutsch bei dem projekt! chatgpt habe ich bis jetzt persönlich nur gelegentlich aufgesucht, dennoch scheint es mir so, dass die qualität der antworten abnimmt. das mag aber täuschen, und du schreibst ja auch, dass dir das ding hilfreich ist. was angeblich helfen soll, ist es wenn man dem ding eine rolle vorgibt, also im sinne von: "stelle dir vor du bis ein profi in xyz" und dann die weiteren prompts in diesem context eingibt. deine story motiviert mich jedenfalls jetzt auch mal dieses gerät etwas konzeptioneller zu nutzen. sehr spannend!
Da ich kaum Erfahrung mit dem 'Prompten' habe, musste ich mich auch da erst einmal herantasten und habe mir nun den Text gespeichert, damit ChatGPT in einem Rutsch versteht, was a) mein Ziel ist und b) welche Systemumgebung ich nutze, weil es u.a. davon ausging, dass ich die o.g. Entwicklungsumgebungen installiert hätte. In den ersten Versuchen gab's dann auch etwas Chaos aufgrund Unklarheit der von mir genutzten Python-Version, also habe ich gestern erst mal X Versionen installiert und wieder 'ne andere drübergebügelt, bis ich lernte, ChatGPT im Prompt einfach mitzuteilen: "Ich nutze Python Version N und habe weder Homebrew noch XCode installiert". Dann stolperten 'wir' über falsche Verzeichnisse für Bibliotheken und Inkompatibilität mit 'pydub' und 'ffmpeg', die das Skript braucht, um einerseits Videos auszulesen, andererseits für die FFT-Spektralanalyse. Also habe ich jetzt einen kleinen Roman als Prompt, der zumindest dazu führt, dass alle frisch generierten Skripte _augenscheinlich_ fehlerfrei funktionieren.
Nu' läuft die letzte Version seit gut 'ner Stunde für ein 10-Minuten-Clip und ich befürchte, dass es wieder nix extrahiert, also wird das wahrscheinlich die größte Herausforderung für mich sein, gemeinsam mit ChatGPT das Skript zu verfeinern, damit wir 'debuggen' können, denn dieser Bestandteil fehlt aktuell noch - und so kann ChatGPT natürlich nicht wissen, wo aktuell der Hase begraben liegt.
Ich werde jetzt wahrscheinlich jeden Abend mal ein Stündchen (oder mehr) damit verbringen und hoffe, vor dem Frühling ein Ergebnis zu haben, das mehr oder minder das macht, was ich brauche.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Update: ChatGPT hört nicht immer richtig zu oder überliest Sachen aus dem Prompt, zumindest in der kostenfreien Version 3.5 - man muss also aufpassen, dass ChatGPT nicht Sachen einfach ignoriert:
"Entschuldigung für das Missverständnis. Ich habe den Fortschrittsbalken und das Lebenszeichen in der vorherigen Version des Skripts vergessen."
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Update: Löift!
Gestern noch mal frisch angefangen, weil ChatGPT das erste Skript sukzessive so verhunzt hatte, dass es nur noch Fehler brachte. Also neuen Prompt erstellt, direkt schon auf diverse Python-Libraries verwiesen und die Ansage gemacht, Audio-Daten anhand von FFT-Analyse _und_ Lautstärke zu analysieren, da ich ja ohne AI bzw. trainierte Modelle arbeiten muss und nach 14 Iterationen macht das Ding nun ziemlich genau das, was ich will und bin gestern sehr glücklich und fasziniert in die Federn gehüpft.
Ein Film mit 80 Minuten Spielzeit hat das Skript in weniger als 5 Minuten analysiert und mir ca. 300 Samples extrahiert, deren Spieldauer variieren von 8 Minuten bis zu einer Sekunde, da ich das als Minimum definiert hatte. Was Musik / Instrumente sind und was Sprache, da macht das Skript noch Murx und schreibt mit die Dateien nicht immer in's richtige Unterverzeichnis, aber da ich lernte, dass mit jeder weiteren Iteration und Verfeinerung eher eine Verschlimmbesserung passiert, lasse ich es jetzt so.
Im nächsten Schritt will ich lediglich noch eine Funktion einbauen, die die Samples normalisiert und dann will ich die ohnehin schon genutzte 'librosa'-Bibliothek nutzen, um Stems automatisch zu separieren. Mal sehen, ob das klappt.
Damit bleibt nur noch der 'manuelle' Schritt, die Schnippsel anzuhören und das zu behalten, was ich nutzen will und den extrahierten Murx zu löschen.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
Hyp Nom
Morgen Wurde
Usernummer # 1941
|
verfasst
gratuliere, chris.. irre, diese entwicklung. und die kostenpflichtige chatgpt-version 4 soll gerade für programmieren noch deutlich besser sein, heißt es.
Aus: Kiel | Registriert: Feb 2001
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
wow! absolut mindblowing! gratulation chris! mach bitte ein yt tutorial für denkresistente wie mich bitte!
vielleicht liest das hier ja einer der es kann..
ich hätte ja gerne etwas, dass midi hw sammt cc versteht und mir dann in synthplant 2 manier hilft. muss auch nichts nachbauen, einfach auf zuruf parameter verstellen... aber ich bin sicher nicht der erste mit der idee...
schöne neue KI welt. hoffen wir mal, dass wir das alles auch weiterhin so dekadent auskosten können und nix dazwischen kommt...
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
@hyp: Ich hab' natürlich ChatGPT 3.5 gefragt, ob es für dieses Projekt sinnvoll wäre, die kostenpflichtige 4er Version zu nutzen und die Antwort war mehr als vage, als habe ich's mir erst mal gespart. Habe dafür aber zwischenzeitlich recht viel über die verschiedenen Audio-Python-Libraries gelernt und da gibt es drastische Unterschiede, was den Funktionsumfang und die Möglichkeiten betrifft, d.h. wenn ich das Skript doch noch mal optimieren will, versuche ich es vom Start weg mit anderen Bibliotheken. Nun kam mir vorhin die Idee, das manuelle Aussortieren eventuell doch auch einem neuen Skript zu überlassen - Prämisse wäre aber, was im momentanen Skript eben nur so halbwegs geht, dass es dann doch besser zwischen Sprache und Musik / Geräuschen unterscheiden kann, d.h. ich würde nur am Symptom und nicht an der Ursache schrauben. Dann eventuell also doch das Skript noch mal neu beginnen und mich vielleicht auf AI-Bibliotheken stürzen, die anhand von Modellen trainiert werden. Die Analyse via FFT und der Dynamik ist anscheinend unzureichend.
@oskar: Dazu müste ich meine extrem langen Dialoge mit ChatGPT mit abbilden und es gibt so viele gute Clips für ChatGPT und hier in der Buchhandlung sogar schon ein eigenes Regal, wie man einen richtigen Prompt schreibt, ich kann da nur lernen und niemand könnte von meinen Amateurversuchen etwas lernen. Aber es gibt auch Python-Bibliotheken, die mit Midi arbeiten, da stellt sich mir aber für dein Vorhaben die Frage, wie diese Daten in deiner DAW und beim Plugin landen, da deine DAW vermutlich keine API - also Programmier-Schnittstelle - hat, richtig? Aber frag doch mal ChatGPT nach einem Lösungsansatz. ;p
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Versteh ich das jetzt richtig, dass z.B. für dein Projekt keine Programmier-Kenntnisse notwendig sind?
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
@chris: jo! das muss ich mal machen. ich bin ja nur zu faul. alles cool! lg!
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Zitat: Ursprünglich geschrieben von: FaDe: Versteh ich das jetzt richtig, dass z.B. für dein Projekt keine Programmier-Kenntnisse notwendig sind?
Korrekt. Das letzte mal, als ich einen Quelltext angefasst habe, das ist 15 Jahre hier und waren kleinere Sachen hier am Forum, aber auch kein echtes Programmieren, habe nur versucht, Strukturen zu verstehen und dann mit 'try & error' hier Anpassungen gemacht.
Bin nur zufällig immer wieder über 'Python' auf Github gestolpert und las, dass das sowieso auf jedem Apple vorinstalliert wäre und man mit wenigen Zeilen recht lustige Sachen machen kann. Also habe ich direkt meinen Prompt damit begonnen: "Ich bin kein Programmierer". Zweiter Satz: "Schreibe mir ein Python-Skript, das auf Apple High Sierra funktioniert". Und entsprechend hat mich ChatGPT wirklich Schritt für Schritt durch alles geführt, wie ich Python aktualisiere (runterladen, Doppelklick, fertig), 'pip' installiere, die benötigten Bibliotheken installiere ("pip install Namederbibliothek") und letzten Endes kopierst du dann das Skript nur in den Python-Editor, der wie Notepad aussieht und speicherst es als 'Skript.py', startest auf dem Mac das Terminal "python3 skript.py" aus dem richtigen Verzeichnis und dann läuft's.
Natürlich hab' ich mir gestern Nacht das Skript auch mal angesehen, weil ich dachte, eventuell selbst händisch was anpassen zu können. Nope, auch dafür reichen meine Kenntnisse nicht aus.
Gestern waren die 14 Iterationen notwendig, weil das Skript zu Beginn noch nicht das machte, was ich wollte und bei jedem zweiten Versuch 'n Fehler beim Ausführen kam. ChatGPT antwortete dann stets mit einem "Entschuldigen Sie bitte, ich habe vergessen, XYZ zu machen. Ich korrigiere nun den Fehler."
Kurz gesagt: Mit einem absolut perfekten Prompt und eventuell einem ChatGPT4, das auch im Web nachsehen und dann auch direkt Links nennen kann, bekommstt du im Idealfall ein copy&paste-Skript, das direkt läuft.
Am wichtigsten ist die 'Unterhaltung' und zu lesen, was ChatGPT erklärt, denn im ersten Versuch wollte das Skript nur anhand der Dynamik und Transienten zwischen Sprache und Musik unterscheiden, was nicht funktionieren kann. Also fragt man ChatGPT nach anderen Methoden und als es die Spektralanalyse vorschlug, wusste ich, dass dies meine gewünschte Methode sein wird. Also stets fleissig 'geprompted' und "gemeinsam" das Skript immer wieder verfeinert, weil ich in den Prompts verschiedene Sachen vergessen hatte, u.a. - Das Video bitte nach dem Bearbeiten nicht löschen - Die extrahierten Samples so wie das Video benennen - Mindestlänge der Samples (Erster Versuch extrahierte 16.000 Samples, die mikrosekundenlang waren) - Die Samples in ein spezielles Verzeichnis zu schreiben und mir nicht irgendwo auf die Platte knallen - Etc.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
@chris: finde deine story zu dem projekt sehr inspirierend! vielen dank! gestern dachte ich noch du sitzt da die nächsten wochen und monate dran. dass da so schnell nun etwas funktionales mit einem (so denke ich) durchaus großem mehrwert entstanden ist, ist klasse. python ist ziemlich cool, auch wenn ich bis dato nur dazu gekommen bin das mal testweise zu installieren und einpaar tutorials anzugehen. die story macht mut mit cgpt da mal tiefer einzusteigen. an dieser stelle dann einfach mal ein kleiner ggf. auch inspirierender flurfunk: mojo
hab gehört das soll noch flotter arbeiten und noch mehr auf AI ausgelegt sein. aber auch ich bin kein programmierer und habe das nur irgendwo aufgeschnappt. ob das auf dem alten mac läuft k.a. es ist aber wohl absolut zu python kompatibel (also python skripte laufen wohl auch in mojo) und eine weiterentwicklung.
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Das ist ja abgefahren... So müsste man doch auch VSTs entwickeln können oder? Es müsste doch z.B. auch gehen eine selbstentwickelte GUI bzw. Grafiken miteinzubinden...(?)
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
@oskar, danke, beschäftige mich am wochenende mal mit 'mojo'. wie erwähnt, das skript ist noch nicht perfekt in sachen 'erkennung', aber der vielleicht noch wichtigste tipp, wenn du selbst was machst: speichere dir alle vorhergehenden versionen des skripts stets ab - im ersten ansatz war das skript wirklich nicht mehr zu retten und total verkorkst. und dass nach nicht mal 4 tagen was absolut funktionales und eigentlich für mich nun ausreichendes läuft... ich hab' gestern abend einige momente gebraucht, bis ich verstanden hatte, prinzipiell schon das ziel erreicht zu haben und dann bekam ich das dicke grinsen nicht mehr aus dem gesicht.
@fade: Ich hab' gestern ein y'tube-video gesehen, da hat jemand versucht, 'flappy bird' komplett von ChatGPT entwickeln zu lassen - und es hat geklappt. Auch hier mit einigen Anläufen, weil erst beim Ausführen des Programms klar wurde, was noch fehlte oder nicht logisch war, am Ende hatte er 'ne exakte Kopie des Spiels mit AI generierten Bildchen und keine einzige Zeile selbst programmiert: Die Grafiken hat er aber in der Entwicklungsumgebung irgendwie eingefügt, Visual Studio oder sowas. Sollte also gehen, _aber_ bei nem VST oder VSTi brauchst du vermutlich 'ne ebensolche Entwicklungsumgebung, die das dann entsprechend 'compiled', da zumindest ChatGPT 3.5 keine ausführbaren Programme ausgibt. Darum habe ich exakt deine Idee, das als ausführbares Programm zu machen, verworfen und mich glücklicherweise und dem Zufall geschuldet gleich auf Python eingeschossen. Aber welche Anforderungen ein VST(i) hat, kann dir ChatGPT garantiert sagen und was du dazu brauchst.
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
oskar
phonout
Usernummer # 7383
|
verfasst
@chris: das grinsen bekomme ich jetzt auch, und ich hab nicht mal was gemacht!
@FaDe: jap! ich meine dazu gibt es vielleicht auch schon yt videos. zumindest habe ich hier und da auch mal von solchen manövern mit chatgpt gehört.
Aus: der Stadt, die es nicht gibt | Registriert: Oct 2002
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Zitat: Ursprünglich geschrieben von: oskar: @chris: das grinsen bekomme ich jetzt auch, und ich hab nicht mal was gemacht!
@FaDe: jap! ich meine dazu gibt es vielleicht auch schon yt videos. zumindest habe ich hier und da auch mal von solchen manövern mit chatgpt gehört.
Tatsache, ich erinnere mich, hatte den Clip vor 'nem knappen Jahr sogar gesehen: https://www.youtube.com/watch?v=V0-ZYMGBibY I Created A VST Synthesizer With ChatGPT AI
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Nicht uninteressant... Habe schonmal bisschen mit VST-Programmierung angefangen zu experimentieren, vielleicht ist der ChatGPT ja auch da ein nützlicher Kollege...
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
FaDe
Usernummer # 7185
|
verfasst
Ich muss das jetzt einfach hier posten weil es direkt nach dem VST-ChatGPT-Video lief und soo lustig weil irgendwie übertrieben ist..:
https://www.youtube.com/watch?v=48TzoQtMrXM
(Studio-Talk End-Level, deutsch)
(Bitte verzeih mir das Offtopic, Chris)
Aus: NRW | Registriert: Sep 2002
| IP: [logged]
| |
|
|
|
chris
User
Usernummer # 6
|
verfasst
Nach weiteren Nächten kann jetzt mein Skript auch schon annäherungsweise die Tonart der Segmente bestimmen sowie auch die bpm - und das klappt ganz gut. Das Separieren von Stems hingegen, da scheitere ich noch dran, da die verschiedensten Python-Bibliotheken einerseits untereinander inkompatibel sind, zum anderen gerade die Libraries mit Modellen - wie 'Spleeter' - mir gerade meine interne Festplatte verstopfen und mir wieder mal der Speicherplatz ausgeht. Darum will ich versuchen, die Tage mal das via der API von 'lalal.ai' zu probieren, da ich mir dort mal ein Paket kaufte, es mir aber zu mühselig wurde, die Daten hochzuladen und die Stems wieder runterzuladen. Bin gespannt, ob ich aus Python via API lalal nutzen kann, ohne noch irgendwas manuell machen zu müssen.
Für Gesang wurde nun diese Plattform nach ersten japanischen Modellen auch für englische Modelle erweitert, die Ergebnisse klingen gar nicht mal so übel. Tatsächlich sind die wenigen Demos des Herstellers schlechter, als das, was die die ersten youtuber gemacht haben: https://www.acestudio.ai/?cl=a02 Mit meinem MacOS leider ebenfalls nicht kompatibel, da 10.14 als Minimum gefordert wird. Was Bishu damit macht, ist schon ziemlich gut: https://www.youtube.com/watch?v=hf-UTw7grns
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
chris
User
Usernummer # 6
|
verfasst
Audacity für Windows hat nun auch AI-Plugins implementiert:
Music Separation -- Separate a mono or stereo track into individual stems -- Drums, Bass, Vocals, & Other Instruments. Music Style Remix -- Uses Stable Diffusion to alter a mono or stereo track using a text prompt. Noise Suppression -- Removes background noise from an audio sample. Music Generation -- Uses Stable Diffusion to generate snippets of music from a text prompt. Whisper Transcription - Uses whisper.cpp to generate a label track containing the transcription or translation for a given selection of spoken audio or vocals.
Da noch nicht für Mac verfügbar, konnte ich es nicht testen, hier die Infos, wer als Wave-Editor die Software nutzen sollte: https://plugins.audacityteam.org/ai-plugins/ai-plugins
Aus: Westend | Registriert: Nov 1999
| IP: [logged]
| |
|
|
|