Reservoir Computing gegen neuronales Netz: 27-mal schneller trainiert — mit Haken

Reservoir Computing klingt nach einem Trick: Man baut ein großes, zufällig verdrahtetes neuronales Netz — und trainiert es dann nicht. Nur die letzte, lineare Ausgangsschicht lernt. Das Reservoir selbst bleibt, wie es ist. Dass solche Echo State Networks chaotische Zeitreihen sehr genau vorhersagen können, wurde 2004 in Science gezeigt.Belegt

Die Frage für dieses LAB ist bodenständiger: Was bringt das auf einem normalen Rechner — gegenüber einem kleinen, klassisch trainierten Netz? Keine Spezialhardware, kein Photonik-Labor, nur ein Notebook und NumPy.

Der Versuch in einem Satz #

Drei Modelle sagen dieselbe Zeitreihe zehn Schritte voraus; gemessen werden Genauigkeit, Trainingszeit, Vorhersagezeit und Arbeitsspeicher — fünf Läufe pro Modell, jeweils in einem frischen Prozess.

Aufbau #

Die Aufgabe: Die Mackey-Glass-Gleichung beschreibt ein Regelsystem mit Verzögerung, das je nach Parametern chaotisch schwingtBelegt — mit τ = 17 ist sie ein Klassiker für Zeitreihen-Benchmarks. Das Skript integriert sie numerisch (Euler, Schritt 0,1, jede zehnte Stützstelle), trainiert auf 4.000 und testet auf 1.000 Zeitschritten, die das Modell nie gesehen hat.

Die drei Kandidaten:

Die lineare Baseline ist die ehrliche Kontrollfrage: Braucht es für diese Aufgabe überhaupt ein nichtlineares Modell?

Messung: Zeiten per perf_counter, BLAS auf einen Thread fixiert, damit kein Modell von zufälliger Parallelisierung profitiert. RAM als Spitzenwert des jeweiligen Python-Prozesses — also inklusive Interpreter und NumPy, die allein gut 30 MB ausmachen. Das komplette Skript liegt im Repository unter scripts/lab/reservoir_vs_mlp.py, die Rohdaten aller 15 Läufe unter scripts/lab/ergebnisse/.

Ergebnisse #

Drei Dinge fallen auf:

1. Die lineare Baseline scheitert deutlich. Ein Fehler von 0,33 heißt: Ohne Nichtlinearität ist die Zehn-Schritte-Vorhersage kaum brauchbar. Beide neuronalen Ansätze sind also nicht nur Dekoration.
2. Das Reservoir trainiert rund 27-mal schneller und ist auf dieser Aufgabe etwa neunmal genauer. Der Grund ist strukturell: Statt Tausender Gradientenschritte löst das ESN ein einziges lineares Gleichungssystem.
3. Es kostet an anderer Stelle. Das Reservoir braucht rund dreimal so viel Arbeitsspeicher (die 400 × 400-Matrix und die gespeicherten Zustände), und die Vorhersage ist langsamer, weil ein rekurrentes Netz Schritt für Schritt rechnen muss. Das MLP rechnet dagegen alle Testfenster in einem Batch — die Inferenzzahlen sind deshalb nicht direkt vergleichbar, sie zeigen aber den praktischen Unterschied.

Was das Ergebnis nicht zeigt #

• Eine Aufgabe, ein Rechner. Mackey-Glass ist glatt und deterministisch — ein Lieblingsgelände für Reservoirs. Auf verrauschten Messdaten oder Sprache kann das Bild anders aussehen.
• Kein Tuning-Wettbewerb. Beide Modelle laufen mit festen, üblichen Einstellungen. Ein länger oder geschickter trainiertes MLP käme dem Reservoir vermutlich näher; ein getuntes Reservoir ebenso weiter nach vorn.
• Keine Energiemessung. Auf diesem Intel-Notebook lässt sich die Leistungsaufnahme ohne Root-Zugriff nicht sauber pro Prozess messen. Die Trainingszeit ist nur ein grober Stellvertreter.
• Kein physisches Reservoir. Hier läuft alles digital. Ob ein optisches oder elektronisches Reservoir, das „von selbst“ rechnet, den Speicher- und Inferenznachteil umdrehen kann, ist genau die Frage der nächsten LABs.Evidenz: Spekulation

Nachmachen #

python3 scripts/lab/reservoir_vs_mlp.py --seeds 5 > ergebnis.json

Nur NumPy nötig, Laufzeit auf dem Test-Notebook rund eine Minute. Wer auf anderer Hardware misst, bekommt andere Zeiten — die Rangfolge sollte bleiben. Wenn nicht: Das wäre ein spannendes Ergebnis.