NOPILEOS-Playlist: Verdammte Hacke, Alter! ;-)

[HelgeK]

Hey Freunde,

wie ihr bestimmt wisst, arbeite ich gerade an der Umsetzung des Romans NOPILEOS als Hörbuch bzw. Hörspiel. Für die Erzähler und Sprecher setze ich eine KI ein, die aber eine Menge Tücken mit sich bringt. Manchmal muss man ganz schön tricksen, um dem Computer ein paar Emotionen zu entlocken.

Falls ihr möchtet, bookmarked doch einfach diese Playlist, auf der ich ein oder zwei Mal pro Woche ein paar Snippets zum aktuellen Stand der Arbeiten poste. Keine großen "Production Valuesssss", oder wie das in Youtube-Slang heißt. Ich nehme einfach nur ffmpeg, um ein Standbild mit Audio zu verschweißen, that's it. Irgendwann mache ich aber auch ein etwas ausführlicheres Video darüber, wie man mit KI-Stimmen ein Hörbuch/Hörspiel entstellt. Äh, erstellt, meinte ich

Cheers,
Helge

[Private Hudson]

Hallo Helge,

ich höre es mir gerade an "Verdammte Hacke". Es ist bestimmt nicht einfach die ganzen Stimmen mit KI zu erzeugen. Wir fangen da gerade erst an, in 5 Jahren sieht die Sache bestimmt ganz anders aus und wir lachen über die Versuche von heute.
Trotzdem prima das du es versuchst. Es wird bestimmt da bin ich mir sicher

[HelgeK]

Danke, danke, ich gebe mir größte Mühe

In fünf Jahren schmeißen wir einen Roman oben in die KI, und ein fertig produziertes Hörspiel samt Sprecher, Dialoge, Musik und Effekten fällt unten raus, ready to go! Außerdem wird uns die KI noch süffisant auf Ungereimtheiten im Plot und im Text hinweisen, weil wir dummen Menschlein unsere eigene Sprache nur unzureichend beherrschen

Ich schätze aber mal, dass schon im Laufe dieses Jahres bessere Kontrollmöglichkeiten hinzukommen werden, und manche Glitches einfach verschwinden.

Cheers,
Helge

[Boro Pi]

In fünf Jahren schmeißen wir einen Roman oben in die KI, und ein fertig produziertes Hörspiel samt Sprecher, Dialoge, Musik und Effekten fällt unten raus, ready to go! Außerdem wird uns die KI noch süffisant auf Ungereimtheiten im Plot und im Text hinweisen, weil wir dummen Menschlein unsere eigene Sprache nur unzureichend beherrschen

Na, zumindest Letzteres möchte ich mal bezweifeln angesichts der Tatsache, dass es weiterhin keine einzige KI gibt, die selber versteht, was sie tut. Und lernt sie de facto nicht einfach nur, das zu tun, was wir dummen Menschen tun - nur schneller?
Abgesehen davon habe ich an verschiedenen Stellen festgestellt, dass KI namentlich mit fiktionalen Dingen Schwierigkeiten hat, insbesondere wenn dieses etwas nischiger ist. Und so würde ich das X-Universum durchaus betrachten. Ich habe jetzt mal testweise die Bing-KI gebeten, mir einen Teladi Wissenschaftler zu zeichnen. Mit diesem Ergebnis:
https://th.bing.com/th/id/OIG4.X6mThx3S ... ?pid=ImgGn
Das ist zwar nur einer der vier Entwürfen der KI, allerdings zeigen alle vier Plüschtiere, Kühe und Fußbälle. Was man halt klassischerweise mit Teladis assoziiert.

EDIT:
Zum eigentlichen Thema. Die KI-Tonausgabe ist großartig! "Hi! Glaubt sie" Und wer ist der "Split-Statist"?

Aber gut, Amüsement hin und her. Ja, man kriegt einen Eindruck davon, welch schier unmögliche Sisyphos-Arbeit Du auf Dich genommen hast, das halbwegs ans Laufen zu kriegen. Ich habe jetzt freilich aber noch nicht die früheren Beispiele gehört und kann nicht beurteilt, wie sehr es durch das Fluchen besser geworden ist. Ein Frage hätte ich freilich zu den wechselnden männlichen und weiblichen Stimmen. Ist das an sich so gewollt, oder macht die KI das von ihrer Seite aus? Weil beide stimmen auch den Erzähler sprechen.

[EliteWarrior968]

Hallo Helge, Grüße dich,

Wird es in Zukunft auch mal ein Hörbuch von den X Kapiteln auf Spotify geben?

LG

[HelgeK]

Na, zumindest Letzteres möchte ich mal bezweifeln angesichts der Tatsache, dass es weiterhin keine einzige KI gibt, die selber versteht, was sie tut. Und lernt sie de facto nicht einfach nur, das zu tun, was wir dummen Menschen tun - nur schneller?

Es gibt auch weiterhin kein zweijähriges Baby das versteht, wie ein Atomreaktor funktioniert. Es scheint darauf hinauszulaufen, dass manche KIs auch Sachverhalte erlernen, die nicht explizit gesagt oder demonstriert werden, nicht anders, als erwachsene Menschen es auch können. Im Gegensatz zu erwachsenen Menschen können und werden (und zwar in Kürze) KIs ihr jederzeit abrufbereites Wisssen auf die komplette verfügbare Wissensbasis ausdehnen. Dazu kommt ein unendliches Context-Window (das entsprechende Paper ist erst vor ein paar Tagen vorgestellt worden). Das lässt sich mit einer unendlichen Aufmerksamkeitsspanne vergleichen. KIs werden (in Kürze) jegliche Limits menschlicher kognitiver Fähigkeiten übersteigen, vielleicht mit ein paar wenigen Ausnahmen. Ob das bedeutet, dass sie "wirklich" verstehen was sie tun, kann ich dir nicht sagen. Ich weiß nicht einmal, ob ich selbst "wirklich" verstehe, was ich tue. Da schließt sich wieder die Lücke zur Diskussion über "Qualia", wie auch schon in meinen Roman vor vielen Jahren angeschnitten

Abgesehen davon habe ich an verschiedenen Stellen festgestellt, dass KI namentlich mit fiktionalen Dingen Schwierigkeiten hat, insbesondere wenn dieses etwas nischiger ist. Und so würde ich das X-Universum durchaus betrachten. Ich habe jetzt mal testweise die Bing-KI gebeten, mir einen Teladi Wissenschaftler zu zeichnen. Mit diesem Ergebnis:
https://th.bing.com/th/id/OIG4.X6mThx3S ... ?pid=ImgGn
Das ist zwar nur einer der vier Entwürfen der KI, allerdings zeigen alle vier Plüschtiere, Kühe und Fußbälle. Was man halt klassischerweise mit Teladis assoziiert.

"Abgesehen davon habe ich mir mal ein Casio-Keyboard gekauft und auf den Tasten rumgedrückt, aber es ist kein Hitsong dabei herumgekommen!" Bing verwendet Dall-E von OpenAI zum Erstellen von Bildern, und ist nicht das beste Tool für den Zweck. Außerdem hilft es, zu wissen, wie man solche Tools verwendet. Hier ein paar von denen, die ich zu Hause auf meiner eigenen GPU mit StableDiffusion generiert habe:

Ein paar Bilder

Wenn du bei den Bildern auf das i-Icon klickst, siehst du, was ich der KI gesagt habe, dass sie tun soll (Prompt) und was sie nicht tun soll (negative Prompt). Einige der Prompts habe ich zuvor von ChatGPT überprüfen und verbessern lassen. Es ist 100% möglich, komplexe Bilder wie die hier gezeigten mit deutscher gesprochener Spracheingabe und einer kleinen Diskussion mit der KI zu erstellen. Jemand müsste nur den Workflow dafür zusammenbauen, die Tools existieren.

Aber gut, Amüsement hin und her. Ja, man kriegt einen Eindruck davon, welch schier unmögliche Sisyphos-Arbeit Du auf Dich genommen hast, das halbwegs ans Laufen zu kriegen. Ich habe jetzt freilich aber noch nicht die früheren Beispiele gehört und kann nicht beurteilt, wie sehr es durch das Fluchen besser geworden ist. Ein Frage hätte ich freilich zu den wechselnden männlichen und weiblichen Stimmen. Ist das an sich so gewollt, oder macht die KI das von ihrer Seite aus? Weil beide stimmen auch den Erzähler sprechen.

Der Erzähler spricht nur den Erzähler, die einzelnen Charaktere haben jeweils andere Stimmen von mir erhalten. Einige wenige kleinere Rollen (z.B. Sanja Harling und Gaseli Hort; Erki Harling und Ion Battler) teilen sich die Stimme mit anderen Charakteren, einfach deshalb, weil die Anzahl der wirklich guten Stimmen begrenzt ist. Der Roman hat ca. 50 verschiedene sprechende Akteure. In meinen Demos kann es schon mal vorkommen, dass eine bestimmte Stimme Parts vom Erzähler mitspricht, das liegt an der Logistik der Generierung und wird von mir im Endprojekt entsprechend rausgeschnitten. Für zukünftige Audiodramas habe ich Tools entwickelt, die all das automatisch tun können; das wird mir Wochen, wenn nicht Monate an Arbeit ersparen.

Cheers,
Helge

[HelgeK]

Wird es in Zukunft auch mal ein Hörbuch von den X Kapiteln auf Spotify geben?

Wenn es nach mir geht, sehr gerne! Es hängt aber davon ab, ob a) Spotify von KI-Stimmen erzählte Audio-Dramas zulässt; und b) ob der Rechte-Inhaber (Egosoft) zustimmt. Ich sehe keine grundlegende Hindenrisse.

Cheers,
Helge