XRebirth - Mod Research & Development-Topic

Post by **UniTrader** » Fri, 15. Nov 13, 14:25

wie der Titel sagt, lasst uns alles was ihr so über die Spieldaten rausfindet hier erstmal sammeln

Requests/Bitten nach Mods oder anfragen, ob etwas umsetzbar ist gehören hier nicht rein, dafür ist es zu früh.

metallica787 · Post by **metallica787** » Fri, 15. Nov 13, 17:08

Zu den cat/dat's:
cat-Dateien sind unverschlüsselt, lassen sich einfach per Editor öffnen.
In den cat's stehen zuerst die Dateinamen, gefolgt von der Größe, die nächste Zahlenfolge ist mir noch unbekannt. Zum Schluß kommt die MD5-Checksum der Datei:

Bsp. 07.cat:
aiscripts/move.dockat.xml 8268 1384516439 a9b2a99cee90d3ac7ca740b60d45aabb

Dat-Dateien sind auch unverschlüsselt. Einzelne Dateien lassen sich einfach nach Länge und Offset (berechnet durch Länge der vorangegangen Dateien) aus den dat's extrahieren.

Falls ein Tool gewünscht wird, lässt sich das schnell und einfach programmieren.

EDIT Boro Pi: Leere Beiträge entfernt, gemäß Anfrage von metallica787.

Post by **UniTrader** » Fri, 15. Nov 13, 18:28

Erste erkentnisse (schon älter, aber ich konnte es wegen forenüberlastung nicht posten:)

Interner Aufbau der Cats/Dats:
Cats:
Im prinzip eine Tabelle, jede Zeile steht für eine Datei und hat folgende Spalten:
Dateipfad/name (relativ zum Stammverzeichnis)
Dateigrösse in Bytes
Erstellungs/änderungszeit in Unix-Zeit? (grösse passt so ungefähr)
Prüfsumme in md5

Der Pfad/name kann Leerzeichen enthalten, die letzten 3 Leerzeichen einer Zeile scheinen die Spalten zu trennen
Zeilentrennung erfolgt im Unix-Stil (LF ohne CR), nicht im Windows-Stil (CR+LF)

Dats:
Einfach die in der Cat angegebenen Dateien aneinander gehängt:
Datei1Datei2Datei3 usw. usf.

weitere Entdeckungen kommen noch, hab noch viel mehr muss es aber erst zusammen schreiben

PS da war einer genauso schnell wie ich

leider hat bei mir das Forum den halben nachmittag gesponnen.. kurz nach dem Initialen Post den login verloren und die Login-Page war nicht aufrufbar.. (haben wir schon ein paar noobs, um sie an die Forenhamster zu verfüttern??)

Post by **UniTrader** » Fri, 15. Nov 13, 18:56

Das (entpackte) Rebirth-Stammverzeichnis - erste erkenntnisse was drin ist

aiscripts - Scripts für die KI? (nachfolger von MSCI? ) thereshallbewings!
assets - Modelle, Texturen usw?
cutscenes - Videosequenzen in InGame-Grafik?
index - Dateilisten, genauer zweck momentan unbekannt
libraries - Sammlungen von biliotheken/Default-Einstellungen etc. (die darin enthaltenen xsd und dtd-files sehen interresant aus

)
maps - Das Universum. makeanapplepiefromscratch

[ external image ]
md - md. so lahm, hat nicht mal nen Codewort. [ external image ]

music - die Musik im Spiel. Sortiert nach Cluster(System?) und einge allgemeine (alles xwma [ external image ] )
paticles - partikeleffekte? nicht mein fachgebiet.
sfx - warscheinlich soundeffekte, alles wav oder ogg

shaderfx - Shadereffekte. könnte interresant sein

(20€ für denjenigen, der mir alles in Cel-Shading macht [ external image ] ich verdopple zudem, wenn alle NPCs in Anime-Stil erscheinen [ external image ])
t - wer kennt sie nicht, die t-files?

textures - texturen. ich frag mich warum die nicht mit in den assets sind?
ui - wir können das UI frei gestalten?

jedenfalls sind xmls darin

videos - wie der name schon sagt ^^ leider ohne voiceover (wird warscheinlich on-the-fly gemixt)
voice-L049 - (voice-LXXX ?) - stimmaufzeichnungen in lokalisierter form?

und alles in ogg

Post by **UniTrader** » Sat, 16. Nov 13, 06:21

Englische Sammlung mit Infos, wird heute noch hier aussortiert:
http://forum.egosoft.com/viewtopic.php?t=347831

Post by **UniTrader** » Sat, 16. Nov 13, 07:01

Der Extensions-Ordner

Hier werden sämtliche Mod-Pakete in Ordnerform abgelegt.
zudem ist eine content.xml enthalten, welche die Mod für das Spiel beschreibt und sie im Erweiterungen-Menü verfügbar macht, hier der allgemeine Aufbau:
content.xml:
--------------------------
<content id="{Kurzname}" name="{Langer Name}" description="{Beschreibung der Erweiterung}" author="{Ersteller}" date="{Datum}" version="{Erweiterungsversion}">
<dependency id="{Abhänngigkeit (kurzname)}" version="1" />
...
<text language="44" name="{Englischer Langname}" description="{Englische Beschreibung}" author="{Ersteller}" />
...
</content>
---------------------
Hier könnnen also Erweiterungen beschrieben werden, und von welchen anderen Erweiterungen sie abhängen.

Des weiteren ist ein ersetzen der Spieldaten, sofern es sich um xmls handelt unnötig, man kann diese durch gleichnamige diff.xmls verändern, ohne die Ursprungsdateien anzufassen, sprich es können nun beliebig viele Mods dieselbe Datei verändern. Siehe hierzu auch RFC5261

die eingangs erwähnten xsds und dtds ermöglichen zudem zu sehen welche möglichkeiten man alles in den xmls hat. ich werde denke ich heute nachmittag mal ein Paket schnüren, welche alle nötigen Daten enthält um direkt mit dem Scripten/Modden anzufangen (sofern man nen passenden xml-Editor hat ^^)
zudem wird daran gleich beispielhaft erklärt wie eine Mod InGame definiert wird.

enenra · Post by **enenra** » Sat, 16. Nov 13, 11:07

Hmm. IMO würde es Sinn machen, wenn wir das von Anfang an in einer wiki / wikia aufschreiben wo es dann auch übersichtlich und einfach verfügbar ist.

Ich setz sonst mal schnell eine auf.

EDIT: http://www.xworkshop.wikia.com

makaveli61 · Post by **makaveli61** » Sat, 16. Nov 13, 15:15

Steht es schon eig von Datum her Fest, wan genau die ganzen Tools Veröffentlicht werden?
Danke für die Zusammenfassung Uni.

Post by **UniTrader** » Sat, 16. Nov 13, 16:19

im englischen Forum gibts bereits ein entpacktool für cats

(siehe mein verlinktes Topic) - ist zwar von dritten, sollte aber den Job tun

ich werde es in das Starterpaket einfügen, das ich jetzt mal anfange zusammen zu stellen

Lc4Hunter · Post by **Lc4Hunter** » Sat, 16. Nov 13, 16:38

Da du dich ja scheinbar schon sehr mit dem ganzen auseinandergesetzt hast:
Kannst du vielleicht mal versuchen ein Thema zu erstellen indem du eine Art Guide anlegst, mit Links zu den Tools etc pp?
Das könnte ein Mod doch bestimmt auch als Sticky oben anheften, das wäre echt super. Denn mit Spielen ist ja momentan nicht soooo sonderlich viel los

Oh und UniTrader, wegen der Trennung von Assets und textures:
Völlig übliches vorgehen! War bei den alten Teilen von X doch auch so.

Schaut man sich bspw. die VP-Files von Freespace2 an, so ist dort auch eine Trennung von Texturen und Modellen zu finden.

Ich glaube das hat auch etwas mit Speicherausnutzung zusammen. Nimm mal tausende Texturen mit dem Pfad /assets/textures/file.dds im Vergleich zu /textures/file.dds.

Je länger der Pfad, desto "größer" der Index, desto höher die Speicherauslastung. Letztere ist heutzutage zwar relativ belanglos, aber ich glaube auf den Index wirkt es sich schon eher aus

Bloody_Kain · Post by **Bloody_Kain** » Sat, 16. Nov 13, 16:40

Ich weis nciht ob das hier rein passt oder nicht.
Man kann im spiel eine Art Konsolenfunktion im Optionsmenu für die Tastaturtasten belegen.
Wenn man dann die Taste drückt, kommt eine Zeile wo man Text eingeben kann. Ansonsten kommt allerdings nichts.
Wenn man was eingibt, erscheint alles in Großbuchstaben, wenn man SHIFT gedrückt hält, kann man nciht schreiben. Auch Sonderzeichen wie ,.-_ usw. erscheinen nicht, wenn man SHIFT gedrückt hält.

Und nein, THERESHALLBEWINGS funktioniert diesmal nicht. ^^

Von daher, keine Ahnung was man damit anfangen kann, weil man auch kein Hilfefenster aufrufen kann, was einem die Befehle sagt...

Post by **UniTrader** » Sat, 16. Nov 13, 17:15

Lc4Hunter wrote:Oh und UniTrader, wegen der Trennung von Assets und textures:
Völlig übliches vorgehen! War bei den alten Teilen von X doch auch so.

wenn es konsistent getrennt wäre hätte es mich nicht gewundert, aber es sind auch texturen in den assets-Ordnern zu finden..

Post by **UniTrader** » Sat, 16. Nov 13, 20:26

neue Info: es werden sämtliche Dateien und Ordner als Erweiterung im extensions-Ordner angezeigt - auch meine extdev.7z - allerdings kann XR den Inhalt davon nicht lesen. ich werde das mal bei gelegenheit näher beleuchten, um kompatible Archivformate vorerst in diesem Post zu sammeln.

wingcommander1 · Post by **wingcommander1** » Sat, 16. Nov 13, 20:34

Ich arbeite gerade daran die entpackten Files auch wieder zu packen aber die Checksumme passt nicht zur Originalen.
Weiß einer welches Verfahren zur Generierung verwendet wird, md5 scheint es nicht zu sein?

Lc4Hunter · Post by **Lc4Hunter** » Sat, 16. Nov 13, 20:35

Danke Unitrader für die super Arbeit deinerseits

Ich habe mir auch mal den Cat-Reader geholt und das Spiel entpackt.

Was vielleicht der Übersicht halber mit erwähnt werden sollte:

Die Texturen sind (zumindest größtenteils) im dds-Format.
Dies kann man via GIMP öffnen und bearbeiten.

Für Photoshop gibt es ein Plugin:
https://developer.nvidia.com/nvidia-tex ... -photoshop

Es gibt auch einige Freeware Thumbnail Viewer für DDS-Dateien.
Wenn gewünscht, such ich die Infos nochmal raus das diese mit in die Zusammenfassung aufgenommen werden können.

Thumbnailviewer:
http://code.google.com/p/sagethumbs/

Installieren und fertig, eben probiert.

EDITH: Kleine Ergänzung zu den Texturen, diese sind DDS-Dateien, haben aber scheinbar keine Endung auf DDS, sondern sind nochmal als gz-File gepackt... Entpacken, Endung ändern und schon kann man die Dateien öffnen und bearbeiten.

Post by **UniTrader** » Sat, 16. Nov 13, 20:41

wingcommander1 wrote:Ich arbeite gerade daran die entpackten Files auch wieder zu packen aber die Checksumme passt nicht zur Originalen.
Weiß einer welches Verfahren zur Generierung verwendet wird, md5 scheint es nicht zu sein?

du brauchst nichts wieder packen, um Spieldaten zu ändern. Erstell nen extensions-Ordner und darin nen Ordner der nach deinem Projekt benannt ist und pack da deine Dateien (in der selben Ordnerstruktur wie im Stammverzeichnis) rein sowie ne content.xml mit dem Inhalt

Code: Select all

<content id="MM" name="Meine Mod" description="Beschreibung meiner Mod" author="Ich" date="2013--11-16" version="1" />

wenn du xmls verändern willst beachte auch die RFCs, siehe ausführlicher ein paar posts weiter oben

wingcommander1 · Post by **wingcommander1** » Sat, 16. Nov 13, 20:51

Danke für die Info.

Btw das Verfahren ist doch md5, ich habe nur vergessen das richtige Encoding beim Einlesen anzugeben.

Lc4Hunter · Post by **Lc4Hunter** » Sat, 16. Nov 13, 21:29

Habe eben mal alles durchgesehen und bin etwas verwirrt.

Wo sind die Modelle?!

Ich habe zwar einiges gefunden, wie einen Haufen X3 Texturen und dergleichen

aber nirgendwo etwas, was nach Modellen aussieht...

Post by **UniTrader** » Sat, 16. Nov 13, 21:34

generell im assets-Ordner die xmf-Dateien, genaue Dokumentation seitens EGO steht noch aus, ich habe aber gehört dass es dafür ein Import/Export-Tool geben soll

Lc4Hunter · Post by **Lc4Hunter** » Sat, 16. Nov 13, 21:41

Das es die xmf-files sind habe ich mir schon fast gedacht, aber die sind so verhältnismäßig klein für die Polycounts von bis zu 200.000.

Naja mal schauen was noch kommt.
Ich hoffe Egosoft gibt sein Export/Importtool raus.
Am üblichen Texturdesign hat sich schonmal nix geändert (diff, spec, bump, light, AO).
Solche Dinge kann ich dann also schon mal vorarbeiten

Soweit ich das beurteilen kann, sollte es auch recht einfach sein neue Schiffe mit "neuen Cockpits" zu bauen, da die Displays, ums ganz einfach zu sagen, nur Texturdummies sind, welche auf dem Schiff angebracht sind.

Ähnlich wie die Menü-Szene bei X3, die ja zum Beispiel auch geändert werden konnte, ebenso wie die Schaltflächen etc pp.

Ich denke hier lässt sich später einiges machen.