Ein Neuron, eine Schleife: Wie Delay-Reservoirs virtuelle Neuronen erzeugen

Kurz gesagt: Ein Delay-Reservoir ersetzt die vielen Neuronen eines Reservoir-Computers durch einen einzigen nichtlinearen Knoten und eine Verzögerungsschleife. Die Schleife wird zeitlich in N kurze Abschnitte geteilt; jeder Abschnitt spielt ein „virtuelles Neuron“. Eine feste Zufallsmaske sorgt dafür, dass diese Neuronen verschieden reagieren, und die Trägheit des Knotens verbindet benachbarte Abschnitte miteinander. Der Preis für die einfache Hardware: Alles läuft nacheinander, und die Länge der Schleife begrenzt, wie viele Eingaben pro Sekunde hineinpassen.

Wer Was ist Reservoir Computing? gelesen hat, kennt das Prinzip: ein festes, ungetrainiertes Netz verarbeitet die Eingaben, nur ein linearer Ausgang wird trainiert. Dort steht das Netz als Matrix mit 200 Neuronen im Arbeitsspeicher. Wer so etwas als Hardware bauen will, hat ein Problem: 200 physische Neuronen mit zufälligen, festen Verbindungen sind aufwendig — erst recht mit Licht oder analoger Elektronik. Dieser Artikel zeigt den Trick, mit dem sich das Netz auf ein einziges Bauteil schrumpfen lässt, rechnet ihn in NumPy nach und ordnet ein, was er kostet.

Die Grundidee: Zeit statt Raum #

Ein klassisches Reservoir verteilt seine Neuronen im Raum: viele Knoten, alle gleichzeitig aktiv. Ein Delay-Reservoir verteilt sie in der Zeit. Das Verfahren heißt Zeitmultiplexing — ein Bauteil übernimmt nacheinander die Rolle vieler, ähnlich wie ein einzelner Prozessorkern mehrere Programme abwechselnd bedient.

Man kann sich das wie ein Karussell mit N Sitzen vorstellen, das an einem einzigen Schalter vorbeifährt. An jedem Sitz hält der Schalter kurz an, verändert dessen Zustand ein wenig und schickt ihn weiter. Eine Runde später kommt derselbe Sitz wieder vorbei — mit der Erinnerung an die letzte Runde. Der Schalter ist der nichtlineare Knoten, das Karussell die Verzögerungsschleife, die Sitze sind die virtuellen Neuronen.

Appeltant und Kollegen formulierten das 2011 so: Innerhalb eines Verzögerungsintervalls der Länge τ werden N Punkte im gleichen Abstand θ = τ / N festgelegt, und diese Punkte heißen „virtuelle Knoten“Belegt. Ihr Ergebnis in einem Satz: Schon ein Verzögerungssystem in seiner einfachsten Form kann effizient Information verarbeitenBelegt.

Drei Zutaten: Schleife, Maske, Trägheit #

Damit aus einem Knoten ein brauchbares Reservoir wird, braucht es drei Dinge: ein Gedächtnis, Vielfalt und eine Kopplung zwischen den Neuronen.

1. Die Schleife liefert das Gedächtnis #

Was der Knoten gerade ausgibt, läuft in die Verzögerungsleitung und kommt genau eine Umlaufzeit τ später wieder bei ihm an. Dort mischt es sich mit der neuen Eingabe. So hallt die Vergangenheit nach, genau wie die rekurrenten Verbindungen im klassischen Reservoir. Der Eingang wird dabei für eine ganze Runde festgehalten: Im Originalaufbau durchläuft das Eingangssignal eine Sample-and-Hold-Stufe, die es über ein Verzögerungsintervall τ konstant hält, bevor der nächste Wert kommtBelegt. Pro Runde also genau ein Eingangswert.

2. Die Maske macht die Neuronen verschieden #

Hält man den Eingang eine Runde lang konstant, sieht jedes virtuelle Neuron denselben Wert. Alle würden gleich reagieren, und der trainierte Ausgang hätte nichts, woraus er auswählen könnte. Deshalb wird der Eingang vor dem Einspeisen mit einer Maske multipliziert: einem festen Zufallsmuster aus N Werten, einer pro Zeitabschnitt. Die Maske legt die Kopplungsgewichte vom Eingang zu den virtuellen Knoten fest und verhindert, dass alle Kanäle nur einen Mittelwert sehenBelegt. Die Maske entspricht damit den zufälligen Eingangsgewichten W_in eines Echo State Networks.

3. Trägheit verbindet Nachbarn #

Die dritte Zutat ist die unauffälligste und die wichtigste. In einem klassischen Reservoir ist jedes Neuron mit vielen anderen verbunden. Im Delay-Reservoir gibt es keine Leitungen zwischen den Abschnitten. Die Verbindung entsteht durch ein physikalisches Detail: Der Knoten reagiert nicht sofort. Er braucht eine gewisse Zeit T, um einer Änderung am Eingang zu folgen. Wählt man den Abstand θ der virtuellen Neuronen kürzer als diese Reaktionszeit, hängt die Antwort auf Abschnitt 5 noch vom Zustand in Abschnitt 4 ab.

Appeltant und Kollegen wählten θ kleiner als die charakteristische Zeitskala T des Knotens, wodurch die Zustände der virtuellen Knoten von ihren Nachbarn abhängen; in ihren Simulationen lag θ bei 0,2 TBelegt. Die Trägheit, die man bei einem Bauteil sonst als Schwäche sieht, ist hier die Verdrahtung des Netzes.

Das ist nicht der einzige Weg. Paquot und Kollegen nutzten einen praktisch verzögerungsfreien Knoten und koppelten die Nachbarn stattdessen, indem sie den Takt der Eingabe und die Umlaufzeit der Schleife leicht gegeneinander versetztenBelegt. Jeder Abschnitt landet dann beim nächsten Umlauf ein Stück verschoben und trifft auf den Eingang seines Nachbarn.

Nachgerechnet: ein Delay-Reservoir in NumPy #

Das folgende Skript bildet die drei Zutaten diskret nach. Es ist eine bewusst einfache Illustration, kein Modell eines echten Aufbaus und kein Benchmark. Die Trägheit steckt in einer Zeile: Der Knoten übernimmt pro Zeitabschnitt nur einen Anteil a der neuen Antwort und behält den Rest seines alten Zustands — also des Zustands aus dem Abschnitt davor.

Als Aufgabe dient NARMA10, eine künstliche Zeitreihe, deren nächster Wert von den letzten zehn Eingaben abhängt. Sie ist ein verbreiteter Test für Gedächtnis plus Nichtlinearität.

import numpy as np
 
rng = np.random.default_rng(1)
 
# Aufgabe: NARMA10 – ein Standard-Benchmark mit 10 Schritten Gedächtnis
T = 4000
u = rng.uniform(0, 0.5, T)
y = np.zeros(T)
for k in range(9, T - 1):
    y[k + 1] = (0.3 * y[k] + 0.05 * y[k] * y[k - 9:k + 1].sum()
                + 1.5 * u[k - 9] * u[k] + 0.1)
 
# Ein nichtlinearer Knoten, eine Schleife mit N virtuellen Neuronen
N = 50
mask = rng.choice([-0.1, 0.1], N)     # Maske: feste Zufallsgewichte je Zeitscheibe
eta, gamma = 0.8, 1.0                 # Rückkopplungs- und Eingangsstärke
a = 0.3                               # Trägheit: kleiner = stärkere Nachbarkopplung
 
loop = np.zeros(N)                    # was gerade in der Verzögerungsschleife steckt
node = 0.0                            # Zustand des einen physischen Knotens
states = np.zeros((T, N))
for k in range(T):
    for i in range(N):                # eine Umlaufzeit = N Zeitscheiben
        drive = eta * loop[i] + gamma * mask[i] * u[k]
        node = (1 - a) * node + a * np.tanh(drive)   # Knoten reagiert träge
        loop[i] = node                # Ergebnis läuft zurück in die Schleife
    states[k] = loop
 
# Ridge-Readout: nur diese Gewichte werden trainiert
X = np.hstack([states, np.ones((T, 1))])
tr, te = slice(200, 3000), slice(3000, T)
W = np.linalg.solve(X[tr].T @ X[tr] + 1e-6 * np.eye(N + 1), X[tr].T @ y[tr])
pred = X[te] @ W
nrmse = np.sqrt(np.mean((pred - y[te]) ** 2)) / np.std(y[te])
print(f"NRMSE auf Testdaten: {nrmse:.3f}")

Die innere Schleife über i ist das Zeitmultiplexing: Ein einziger Knoten (node) wird nacheinander für alle 50 Abschnitte benutzt. Der Readout am Ende ist dieselbe Ridge-Regression wie beim Echo State Network.

Was herauskam (ein Lauf mit Python 3.12 und NumPy 1.26, Seed wie im Code): Das Skript gibt NRMSE auf Testdaten: 0.541 aus. NRMSE ist der mittlere Fehler im Verhältnis zur Schwankungsbreite des Signals; 0 wäre perfekt, 1 so gut wie einfach den Mittelwert zu raten.

Aufschlussreicher als die Zahl selbst sind zwei Gegenproben, die wir ebenfalls genau einmal gerechnet haben:

Ohne Trägheit fällt das Reservoir hinter die simple lineare Rechnung zurück. Der Grund ist im Code gut zu sehen: Mit a = 1.0 vergisst der Knoten den vorigen Abschnitt sofort, jedes virtuelle Neuron lebt für sich. Und weil die Maske nur zwei Werte kennt (−0,1 und +0,1), gibt es dann faktisch nur zwei verschiedene Neuronentypen statt fünfzig. Erst die Kopplung über die Trägheit macht aus den Abschnitten ein Netz.

Zur Einordnung: Der Wert ist weit von dem entfernt, was die Originalarbeit zeigt. Dort erreichten numerische Simulationen bei NARMA10 eine NRMSE von 0,15Belegt — mit anderer Nichtlinearität, anderen Parametern und sorgfältiger Abstimmung. Unser Skript ist nicht optimiert und soll nur den Mechanismus sichtbar machen. Wie gut ein Delay-Reservoir wird, hängt stark von Rückkopplungsstärke, Eingangsskalierung und Trägheit ab: In Probeläufen mit anderen Werten für diese Stellgrößen lag die ausgegebene NRMSE zwischen rund 0,5 und knapp 1. Das deckt sich mit dem allgemeinen Nachteil von Reservoirs, dass Einstellungen gesucht werden müssen.

Vom Prinzip zur Hardware #

Der Charme des Verfahrens liegt darin, dass man es tatsächlich bauen kann.

Elektronisch. Appeltant und Kollegen setzten den Knoten als elektronische Schaltung mit einer Nichtlinearität vom Mackey-Glass-Typ und einer Zeitkonstante von 10 Millisekunden um; die Verzögerungsschleife selbst lief digital über Analog-Digital- und Digital-Analog-WandlerDemonstriert. Das ist wichtig für die Einordnung: Der erste Nachweis war ein Hybrid, keine rein analoge Maschine. Bei der Erkennung gesprochener Ziffern kam der Aufbau mit 400 virtuellen Knoten auf eine Wortfehlerrate von 0,2 Prozent — einen Fehler bei 500 Wörtern; in der Simulation waren es 0,14 ProzentDemonstriert.

Optoelektronisch und optisch. Danach wanderte die Idee schnell in die Photonik. Larger und Kollegen zeigten 2012 experimentell einen nichtlinearen optoelektronischen Oszillator mit verzögerter Rückkopplung als ReservoirDemonstriert, Paquot und Kollegen nutzten im selben Jahr einen handelsüblichen Mach-Zehnder-Modulator aus der Telekommunikation als NichtlinearitätDemonstriert, und Brunner und Kollegen bauten 2013 ein rein optisches Reservoir aus einem Halbleiterlaser mit optischer RückkopplungDemonstriert. Wie dort Glasfaserspulen als Schleife dienen und welche Ergebnisse die Aufbauten erreichten, steht ausführlich in Kann eine Glasfaser Teil eines Computers werden? — hier geht es um die Frage, was das Prinzip grundsätzlich kann und kostet.

Auf dem Chip. Die Schleife muss keine Faserspule sein. Harkhoe und Kollegen integrierten einen Laser und eine 5,4 Zentimeter lange Verzögerungsleitung auf einem photonischen Chip aus Indiumphosphid und betrieben ihn mit 23 virtuellen Knoten bei 0,87 Milliarden Abtastwerten pro SekundeDemonstriert. Die kleine Knotenzahl ist kein Zufall, wie der nächste Abschnitt zeigt.

Der Haken: Alles läuft nacheinander #

Ein Delay-Reservoir tauscht Bauteile gegen Zeit. Das hat eine einfache, unausweichliche Folge: Die serielle Einspeisung verlangsamt die Verarbeitung im Vergleich zu paralleler Einspeisung; die Autoren sehen das durch die viel einfachere Hardware aufgewogenBelegt.

Wie stark, lässt sich rechnen. Pro Umlauf wird ein Eingangswert verarbeitet, die Umlaufzeit ist τ = N · θ. Daraus folgt:

• Eingaben pro Sekunde ≈ 1 / τ = 1 / (N · θ).
• Mehr Neuronen bei gleichem Abstand θ heißt längere Schleife und proportional weniger Eingaben pro Sekunde.
• Mehr Tempo bei gleicher Neuronenzahl geht nur über kleineres θ — und das verlangt einen schnelleren Knoten, schnellere Modulation der Maske und schnellere Messtechnik.

Ein Abgleich mit einem echten Aufbau: Bei Brunner und Kollegen lagen 388 virtuelle Knoten im Abstand von 200 Pikosekunden in einer Schleife von 77,6 Nanosekunden; bei der Zeitreihenvorhersage verarbeitete das System 1,3 × 10⁷ Datenpunkte pro SekundeDemonstriert. Gerechnet: 388 × 200 ps = 77,6 ns, und 1 / 77,6 ns ergibt rund 12,9 Millionen Umläufe pro Sekunde. Die Durchsatzgrenze aus der Formel ist dort also genau erreicht. Hätte man bei gleichem Abstand doppelt so viele virtuelle Neuronen gewollt, wäre die Rate gerechnet auf rund 6,4 Millionen pro Sekunde gefallen.

Beim Chip-Aufbau mit 5,4 Zentimetern Verzögerungsleitung ist dieselbe Abwägung umgekehrt sichtbar: kompakte Schleife, dafür nur 23 virtuelle Knoten. Die Autoren untersuchten zusätzlich Nachverarbeitungsmethoden, die im Ausgang mehr Knoten gewinnen, ohne die Rechengeschwindigkeit zu senkenDemonstriert — dass man dafür eigene Methoden entwickelt, zeigt, wie knapp Knoten bei kurzen Schleifen sind.

Dazu kommt, was für physikalische Reservoirs allgemein gilt: In frühen Experimenten wurde das Ausgangssignal digitalisiert und der Readout offline auf einem Computer berechnetDemonstriert. Der Durchsatz des optischen Teils sagt also noch nichts darüber, wie schnell das Gesamtsystem inklusive Auswertung ist.

Vor- und Nachteile auf einen Blick #

Reality Check (Stand: September 2026) #

• Belegt: Das Prinzip — ein Knoten, eine Schleife, virtuelle Neuronen per Zeitmultiplexing, Maske für die Vielfalt, Trägheit oder Taktversatz für die Kopplung — ist in begutachteten Arbeiten sauber beschrieben.
• Demonstriert: elektronische, optoelektronische, rein optische und integrierte Aufbauten lösen im Labor Benchmark-Aufgaben wie Ziffernerkennung aus Sprache; der erste elektronische Aufbau nutzte eine digitale Verzögerungsschleife, frühe photonische Aufbauten einen Offline-Readout.
• Simuliert: unser NumPy-Beispiel. Es zeigt den Mechanismus, sagt aber nichts über reale Hardware.
• Offen: Ob Delay-Reservoirs außerhalb des Labors einen Vorteil gegenüber digitaler Hardware bringen, ist nicht gezeigt. Die feste Kopplung von Neuronenzahl und Eingangsrate dürfte dabei eine der härtesten Grenzen bleiben, weil sie aus dem Prinzip selbst folgt und nicht aus einem bestimmten BauteilEvidenz: Theorie.

Wo sich Reservoir Computing neben Photonik, Neuromorphic und Compute-in-Memory einordnet, zeigt Was kommt nach CPU und GPU?.

Was heißt das fürs eigene Homelab? #

Hardware-seitig noch nichts: Es gibt kein Delay-Reservoir zu kaufen, und die Laboraufbauten brauchen schnelle Modulatoren, Laser und Messtechnik.

Softwareseitig ist das Skript oben ein guter Spielplatz. Es läuft in rund einer Sekunde auf einem normalen Rechner und macht Dinge greifbar, die in Papern abstrakt bleiben: Setz a auf 1 und sieh zu, wie die Kopplung verschwindet. Verdopple N und überleg dir, was das in einem echten Aufbau für die Schleifenlänge und damit für die Eingaberate bedeuten würde. Wer das klassische Gegenstück mit einer Reservoir-Matrix vergleichen will, findet es im LAB Reservoir Computing gegen neuronales Netz.