HW-OFFLOAD ENGINE READY
BGP SESSION: ESTABLISHED
VTEP AUTO-DISCOVERY: ON

[VXLAN] UDP/4789 ENC:ACTIVE
[EVPN ] RT-TYPE 2/3/5 OK
[BGP ] EVPN eBGP MESH OK
[ASIC ] 98DX3255 ARMED

█

[ DEEP DIVE // SWITCHING FABRIC ]

HARDWARE-OFFLOADED
VXLAN & EVPN/BGP

auf MikroTik CRS3xx + CRS309 Switches

VTEP-frei · BGP-gesteuert · automatisches L2-Stretching

Wie der ASIC VXLAN tunnelt ohne CPU · wie EVPN VTEPs verteilt · wie gebridgte VLANs als Trunks überall ankommen

CRS309 CRS312 CRS317 CRS354 CRS326-24S+2Q+ RouterOS 7.18+ 98DX8xxx ASIC BGP RFC 7432

DAS PROBLEM

Mehrere Gebäude/Racks mit CRS3xx/CRS309. Abteilungs-VLANs sollen als 802.1Q-Trunk an beliebiger Stelle verfügbar sein — ohne STP-L2-Ringe, ohne manuelle Tunnel, ohne pro-VTEP-Config.

WARUM NICHT STP?

STP funktioniert nicht über L3-Grenzen hinweg
Manuelle VXLAN-Tunnel: O(n²) Config — pro neuem VTEP alle anderen anfassen
EVPN löst das: BGP als Control-Plane, automatische VTEP-Discovery

WELCHER SWITCH KANN VXLAN HW-OFFLOAD?

Nur explizit von MikroTik bestätigte Modelle. Quelle: L3HW Device Support Tabelle, help.mikrotik.com.

Modell	ASIC-Familie	VXLAN HW-Offload	Anmerkung
CRS309-1G-8S+IN	98DX8208	✓ ab ROS 7.18	passiv gekühlt, lüfterlos
CRS312-4C+8XG	98DX8212	✓ ab ROS 7.18	4×Combo + 8×10G
CRS317-1G-16S+	98DX8216	✓ ab ROS 7.18	16×SFP+, Spine
CRS354-48G-4S+2Q+	98DX8xxx-Featureset	✓ ab ROS 7.18	48×GbE + 4×SFP+ + 2×QSFP+
CRS326-24S+2Q+	98DX8xxx	✓ ab ROS 7.18	24×SFP+ + 2×QSFP+, 320 Gbps
alle CRS326-24G-2S+ Varianten	98DX3236	✗ kein VXLAN HW	98DX3xxx — MikroTik-Doku: explizit ausgeschlossen
CSS326-24G-2S+	88E6393X	✗ SwOS only	kein RouterOS

KEINE FAUSTREGEL AUS DEM MODELLNAMEN

MikroTik verbaut verschiedene Chips unter identischen oder ähnlichen Bezeichnungen — Board-Revisionen ändern das manchmal still. Die einzige verlässliche Quelle ist die L3HW Device Support Tabelle in der offiziellen Doku, dort steht pro Modell explizit ob VXLAN offloaded wird.

→ help.mikrotik.com → L3 Hardware Offloading → L3HW Device Support

CRS309 — PASSIV, LÜFTERLOS

98DX8208 ASIC. VXLAN HW-Offload ab ROS 7.18. 8×SFP+ Ports. Passiv gekühlt — ideal für lautlose Setups, Home-Lab, Edge-Nodes.

ASIC DATAPLANE

ASIC MACHT

VXLAN Encap/Decap, Linerate
VTEP-Src/Dst-Auswahl per Flow
VLAN→VNI / VNI→VLAN in TCAM
BUM: Ingress Replication
MAC-Learning auf Overlay-Interface

CPU MACHT

BGP/EVPN-Protokoll-Stack
ARP/ND-Proxy für EVPN Type-2
Erstmaliges MAC-Learning
IGMP Snooping (teilweise SW)

CPU-Load bei reinem L2-Forwarding: <5%. Datenpfad vollständig in Hardware.

DATAPLANE-PFAD

VXLAN GRUNDKONZEPT

RFC 7348. Ethernet-Frames in UDP kapseln. 24-Bit VNI — 16 Mio. Segmente statt 4096 VLANs.

PAKETSTRUKTUR

VTEP

Loopback-IP = VTEP-Adresse. Muss im Underlay geroutet sein. Alle CRS3xx mit VXLAN-fähigem ASIC sind automatisch VTEP.

VLAN ↔ VNI MAPPING

VLAN	VNI	Zweck
6	10006	Telefon
29	10029	Office
30	10030	Werkstatt
99	10099	Mgmt

BUM-TRAFFIC

Ingress Replication: Sender schickt Unicast-Kopien an alle bekannten VTEPs — kein Multicast im Underlay
EVPN lernt VTEPs via BGP Type-3
ASIC repliziert in HW, kein CPU-Overhead

EVPN CONTROL PLANE

BGP Address-Family AFI 25 / SAFI 70. Verteilt MAC/IP-Erreichbarkeit und VTEP-Membership automatisch.

ROUTE-TYPEN

Type	Inhalt	Wann
Type 1	Eth. Auto-Discovery	Multi-homing
Type 2	MAC/IP Advertisement	MAC gelernt
Type 3	Inclusive Multicast	VTEP join/leave
Type 4	Ethernet Segment	Multi-homing DF
Type 5	IP Prefix Route	L3-Routing

L2-Stretching: primär Type 2 (MACs) + Type 3 (VTEP-Discovery).

BGP EVPN FLOW

KEIN ROUTE REFLECTOR

Bei eBGP (jeder Switch eigene AS) darf jeder Peer Routen beliebig weitergeben — keine Full-Mesh-Pflicht, kein RR nötig. Jeder Switch spricht direkt mit seinen Nachbarn — eigene AS, /30-Links.

EVPN MESH — TOPOLOGIE

UNDERLAY: L3, eBGP (jeder Switch eigene AS), Loopback-IPs als stabile VTEP-Adressen.

OVERLAY: VXLAN im ASIC. BGP EVPN verteilt automatisch. Abt-Switches: nur 802.1Q.

CONFIG: UNDERLAY

Auf jedem CRS: Loopback als stabile VTEP-IP, L3-Uplinks zu Nachbarn (/30), eBGP pro Link.

# === LOOPBACK (VTEP-IP) ===
/interface bridge add name=loopback protocol-mode=none
/ip address add address=10.0.1.1/32 interface=loopback

# === L3-UPLINKS (kein Bridge-Member!) ===
/ip address add address=10.1.0.1/30 interface=ether1   # → Nachbar SW2
/ip address add address=10.1.0.5/30 interface=ether2   # → Nachbar SW3

# === eBGP UNDERLAY (eigene AS 65001, Nachbar-AS jeweils verschieden) ===
/routing bgp connection add \
  name=underlay-sw2 \
  remote.address=10.1.0.2 remote.as=65000 \
  local.role=ebgp local.address=10.1.0.1 \
  address-families=ip

/routing bgp connection add \
  name=underlay-sw3 \
  remote.address=10.1.0.6 remote.as=65000 \
  local.role=ebgp local.address=10.1.0.5 \
  address-families=ip

# Loopback via eBGP announcen (redistribute connected)
/routing bgp network add network=10.0.1.1/32

# Verify: alle Loopbacks erreichbar?
# /ping 10.0.1.2  /ping 10.0.1.3

Strikte Trennung: Uplink-Ports dürfen nicht Mitglied der Overlay-Bridge sein.

CONFIG: VXLAN + BRIDGE

# === VXLAN INTERFACE ===
/interface vxlan add \
  name=vxlan1 vni=10006 \
  local-address=10.0.1.1 port=4789 \
  learning=yes mtu=1500

# === OVERLAY BRIDGE ===
/interface bridge add \
  name=br-overlay vlan-filtering=yes \
  frame-types=admit-all \
  protocol-mode=none   # STP aus — EVPN Split-Horizon verhindert Loops

# === VXLAN IN BRIDGE ===
/interface bridge port add \
  bridge=br-overlay interface=vxlan1 pvid=1

# === DOWNLINK ZU ABTEILUNGSSWITCH ===
/interface bridge port add \
  bridge=br-overlay interface=ether10 frame-types=admit-all

# === VLAN-MAP ===
/interface bridge vlan add \
  bridge=br-overlay vlan-ids=6 tagged=vxlan1,ether10   # Telefon
/interface bridge vlan add \
  bridge=br-overlay vlan-ids=29 tagged=vxlan1,ether10  # Office
/interface bridge vlan add \
  bridge=br-overlay vlan-ids=30 tagged=vxlan1,ether10  # Werkstatt
/interface bridge vlan add \
  bridge=br-overlay vlan-ids=99 tagged=vxlan1,ether10  # Mgmt

HW-Offload: /interface vxlan set vxlan1 hw-offload=yes
Prüfen: /interface bridge port print detail → hw=yes. Falls nein: keine IP auf Bridge, kein RSTP/MSTP, alle Ports auf gleichem ASIC-Chip.

CONFIG: BGP EVPN

# ===== eBGP EVPN zu direkten Nachbarn (auf jedem Switch) =====
# Eigene AS 65001, Nachbar-AS 65002 bzw. 65003
/routing bgp connection add \
  name=evpn-sw2 \
  remote.address=10.1.0.2 remote.as=65000 \
  local.role=ebgp \
  address-families=ip,l2vpn-evpn   # Underlay + EVPN in einer Session

/routing bgp connection add \
  name=evpn-sw3 \
  remote.address=10.1.0.6 remote.as=65000 \
  local.role=ebgp \
  address-families=ip,l2vpn-evpn

# ===== EVPN INSTANCE an VXLAN binden =====
/routing evpn instance add \
  name=evpn1 vxlan=vxlan1 \
  rd=10.0.1.1:10006 \
  route-target.import=65000:10006 \
  route-target.export=65000:10006 \
  auto-discovery=yes arp-proxy=yes

Route Target = der Kleber: alle VTEPs die VNI 10006 teilen müssen denselben RT importieren/exportieren. Bei eBGP leitet jeder Nachbar empfangene EVPN-Routen an seine anderen Peers weiter — Routenverteilung ergibt sich aus der Mesh-Topologie, kein expliziter Reflektor nötig.

VTEP-FREIHEIT: ZERO-TOUCH SCALE-OUT

Abteilungsswitches wissen nichts von VXLAN. Neuer CRS/CRS309 im Mesh: eBGP-Sessions zu direkten Nachbarn konfigurieren, fertig.

ZERO-TOUCH

N neue Nodes → eBGP-Sessions zu direkten Nachbarn. Jeder Peer leitet EVPN-Routen automatisch weiter.

ARP-SUPPRESSION

EVPN Type-2 enthält IP-Bindung. arp-proxy=yes: lokaler VTEP beantwortet ARP aus BGP-Cache — kein BUM-Flood für bekannte Hosts.

TRUNK AN ABTEILUNGSSWITCH

Abteilungsswitch am Downlink-Port. Bekommt 802.1Q-Trunk — sieht VLANs aus dem gesamten EVPN-Mesh.

# Port ether10 am CRS326-RM (VTEP-A)
/interface bridge port add \
  bridge=br-overlay \
  interface=ether10 \
  frame-types=admit-all pvid=1

/interface bridge vlan set \
  [find vlan-ids=6] \
  tagged=ether10,vxlan1   # Telefon

/interface bridge vlan set \
  [find vlan-ids=29] \
  tagged=ether10,vxlan1  # Office

/interface bridge vlan set \
  [find vlan-ids=30] \
  tagged=ether10,vxlan1  # Werkstatt

/interface bridge vlan set \
  [find vlan-ids=99] \
  tagged=ether10,vxlan1  # Mgmt

# /interface bridge port print detail
# → hw=yes bei ether10

MTU: Underlay ≥ Overlay + 50 Byte VXLAN-Overhead. Empfehlung: Underlay 9000, Overlay 8950.

CONFIG: VLAN-SWITCH (SW-J)

Abteilungsswitch ohne VXLAN-Wissen. Uplink zu VTEP-C als 802.1Q-Trunk — sieht VLANs aus dem EVPN-Mesh.

# SW-J — L2-Abteilungsswitch (CRS326 oder Cisco SG)
# kein VXLAN, kein BGP — nur 802.1Q

/interface bridge add \
  name=br-vlans vlan-filtering=yes \
  protocol-mode=none

# Uplink zu VTEP-C: ether1 — tagged Trunk
/interface bridge port add \
  bridge=br-vlans interface=ether1 \
  frame-types=admit-all

# Access-Ports (untagged je VLAN)
/interface bridge port add bridge=br-vlans \
  interface=ether2 pvid=6  frame-types=admit-only-untagged-and-priority-tagged
/interface bridge port add bridge=br-vlans \
  interface=ether3 pvid=29 frame-types=admit-only-untagged-and-priority-tagged
/interface bridge port add bridge=br-vlans \
  interface=ether4 pvid=30 frame-types=admit-only-untagged-and-priority-tagged

# VLAN-Map: tagged auf Uplink, untagged auf Access
/interface bridge vlan add bridge=br-vlans \
  vlan-ids=6  tagged=ether1 untagged=ether2   # Telefon
/interface bridge vlan add bridge=br-vlans \
  vlan-ids=29 tagged=ether1 untagged=ether3  # Office
/interface bridge vlan add bridge=br-vlans \
  vlan-ids=30 tagged=ether1 untagged=ether4  # Werkstatt
/interface bridge vlan add bridge=br-vlans \
  vlan-ids=99 tagged=ether1                   # Mgmt (nur tagged)

TOPOLOGIE SW-J

Hängt an VTEP-C (CRS312 · AS 65003)
Verbindung: ether10 am VTEP-C → ether1 am SW-J
VTEP-C übergibt 802.1Q-Trunk mit VLANs 6, 29, 30, 99
SW-J braucht keine VXLAN-Config — EVPN-Transparenz

VLAN-ÜBERSICHT SW-J

VLAN	Port	Zweck
6	ether2	Telefon
29	ether3	Office
30	ether4	Werkstatt
99	tagged	Mgmt

HW-Offload: Nur wenn VTEP-C (CRS312) ASIC-fähig — auf SW-J irrelevant, er macht nur L2-Switching.

VERIFY

# BGP Sessions
/routing bgp session print
# → State: established

# EVPN MACs via BGP
/routing evpn mac print

# VTEPs bekannt?
/interface vxlan vtep print

# HW-Offload aktiv?
/interface bridge port print detail
# → hw=yes für alle Ports

# Bridge FDB (MAC-Table)
/interface bridge host print

# Overlay Ping
/tool flood-ping address=10.0.1.2 \
  count=100 interval=1ms

FALLSTRICKE

hw=no: keine IP auf Bridge, kein RSTP/MSTP, alle Ports auf gleichem ASIC. Explizit: set vxlan1 hw-offload=yes
BGP AF fehlt: address-families=l2vpn-evpn explizit setzen
RT-Mismatch: route-target auf allen VTEPs für gleichen VNI identisch
Loopback nicht in eBGP announced: VTEP-IP unerreichbar → Tunnel baut nicht auf
CRS326 falsches Modell: ohne RM → alter ASIC → kein HW-Offload
MTU zu klein: Underlay-MTU ≥ Overlay + 50 Byte
ROS-Version: VXLAN HW-Offload erst ab 7.18. BGP/EVPN stabil ab 7.6+

HARDWARE-GRENZEN

HW-OFFLOAD: JA

Modell	ASIC
CRS309-1G-8S+	98DX8208
CRS312-4C+8XG	98DX8212
CRS317-1G-16S+	98DX8216
CRS326-24S+2Q+	98DX8332
CRS354-48G-4S+2Q+	98DX8548
CRS326-24G-2S+RM	98DX8xxx

HW-OFFLOAD: NEIN

CRS326-24G-2S+ ohne RM → 98DX3xxx
CRS224S, CRS226S, CRS2528, CRS3236
alle 98DX3xxx / 98DX2xxx ASICs
ROS < 7.18

KONFIGURATIONS-FALLEN

IP auf Overlay-Bridge → hw=no
Management-IP auf Loopback, nie auf br-overlay
RSTP/MSTP aktiv → hw=no
RT-Mismatch → kein Fehler, nur Stille
route-target auf allen VTEPs pro VNI identisch
Loopback nicht announced → VTEP unerreichbar, kein Tunnel
MTU zu klein → Black-Hole bei großen Frames
PMTUD oft kaputt; Underlay ≥ Overlay + 50 B
BGP AF fehlt → kein EVPN-Exchange
address-families=l2vpn-evpn explizit setzen
Ports auf versch. ASICs → kein gemeinsames HW-Offload

ZUSAMMENFASSUNG

GEWONNEN

L2-Segmente beliebig über L3-Mesh
Neue VTEPs: eBGP zu direkten Nachbarn
Abt-Switches: reine 802.1Q-Welt
Linerate durch ASIC-Offload
ARP-Suppression reduziert BUM
CRS309: passiv, lüfterlos, VXLAN-fähig

DREI SCHICHTEN

UNDERLAY: eBGP, Loopbacks, L3-Uplinks
CONTROL: BGP EVPN AFI25/SAFI70, eBGP Mesh
DATA: VXLAN HW-offloaded im ASIC

AUFBAUREIHENFOLGE

Underlay routen, Loopbacks pingen
eBGP zu Nachbarn (ip + l2vpn-evpn AF)
VXLAN + Bridge + VLAN-Map
EVPN Instance binden (RD+RT)
hw=yes verifizieren
Trunk zu Abt-Switch freischalten

HARDWARE-OFFLOADEDVXLAN & EVPN/BGP