OPNSense mit pci_passthroug für Proxmox bei Hetzner

  • Hallo zusammen,

    Vielleicht könnte mich jemand gezielt unterstützen:

    Es soll mein Proxmox vollständig hinter OPNsense als VM Router gestellt sein.

    Hetzner ist der Provider.

    Könnte mir jemand behilflich sein bei der Erstellung der Routes für pfSense / OPNsense ?


    Routing für Hetzner mit OPNsense habe ich noch nicht gelöst bekommen.


    Wenn Ich OPNsense starte, bekomme ich keinen Zugriff auf das WAN.


    Mit freundlichen Grüßen


    JoeB

  • Hallo und vielen Dank für die Rückmeldung


    " Was genau hast du vor (Proxmox Node intern hinter die FW?)?"

    Richtig. Proxmox selbst soll in die DMZ der Firewall.

    OPNsense über nimmt pe pci_passthrough die NIC. Und verteilt dann.


    IN Proxmox:

    /etc/network/interfaces
    auto lo
    iface lo inet loopback
    auto vmbr0
    iface vmbr0 inet manual
    ovs_type OVSBridge
    ovs_ports int0

    allow-vmbr0 int0
    iface int0 inet static
    address 10.0.0.2
    netmask 255.255.255.0
    gateway 10.0.0.1
    ovs_type OVSIntPort
    ovs_bridge vmbr0


    /etc/hosts
    127.0.0.1 localhost
    10.0.0.1 pve .....


    In OPN:
    WAN: igb0, Haupt-IP von Hetzner mit Gw etc. ( 5.9.xxx136/27, 5.9.xxx.129): MAc-Adresse stimmt.
    LAN: vtnet0, 10.0.0.1


    Ping :
    10.0.0.1 funktioniert
    5.9.xxx.136 funktioniert ( Haupt-IP)
    5.9.xxx.129 -- HOST is down
    8.8.8.8 -- HOST is down
    zur Info:
    das GW antwortet auf ICMP ( wenn Routing für WAN stimmt; nachgeprüft mit Prox Netzwerkgrundkonfig)


    Nach Konfiguration von OPN mit den Daten von Hetzner erstellt OPN folgende route ( netstat -rn)

    erstellt OPN automatisch die routing table:

    Destination Gateway Flags Netif Expire
    default 5.9.xxx.129 UGS igb0
    5.9.xxx.128/27 link#1 U igb0

    5.9.xxx.129 34:xx:f6:xx:54:xx UHS igb0
    5.9.xxx.136 link#1 U lo0


    Funktioniert aber "native" auf der Netzwerkkarte nicht.


    Bei Proxmox entsteht bei einer funktionierenden WAN-Verbindung folgende route:


    Ziel Router Genmask Flags MSS Fenster irtt Iface
    0.0.0.0 5.9.xxx.129 0.0.0.0 UG 0 0 0 enp5s0

    5.9.xxx.128 0.0.0.0 255.255.255.224 U 0 0 0 vmbr0
    5.9.xxx.129 0.0.0.0 255.255.255.255 UH 0 0 0 enp5s0



    Da die beiden routing tables sich unterscheiden ( alo nicht wegen vmbr )

    gehe ich davon aus, dass dir routing table in OPN anders sein müsste.


    Wie, das habe ich noch nicht herausgefunden.


    Ich habe mir die Videos angeschaut, das Problem ist meiner Ansicht nach hier HETZNER.

    Ich habe die Konfiguration hier lokal mit eigenem Adressen ( 192.. ) nachgebaut, hier funktioniert es. aber ich kann auch die seltsame Host-Route von Hetzner hier nicht simulieren.


    mfg


    JoeB


    P.S: Thema Gegenleistung: was kann ich tun ? "Spenden"?

  • Mit pfSense habe ich begonnen.

    OPNsense ist zwar nur ein "Fork" von pfsense, aber es funktioniert wenigstens viel besser.

    pfSense übernimmt keine Einstellungen von Konsole ( keyboard layout, serial etc. ). Beim Reboot sind alle wieder weg. Wen man aber nur noch serial auf die VM Zugriff hat. ist das schon lästig. pfctl -d soll WebGui auf WAN ermöglichen. Soll bei pfsense. tag es bei mri nie.

    Für mich leicht sperrig. Fast schon wie ein Computer - der tut auch was er will :)

    Aber naja, hier sitzt der Fehler wohl eher vor dem Computer.

    mit OPNsense nur noch bedingt.


    Joe

    • Offizieller Beitrag

    Wenn es bei dir lokal funktioniert und hier der Verdacht schon von mehreren Seiten aufi Hetzner geschoben wird, versuch doch einfach mal ein Ticket über den Robot zu öffnen.


    Wir selber sind mit mehreren Root Servern auch bei Hetzner Kunde und hatten vor einiger Zeit auch Probleme mit dem Routing unserer IP Adressen. Hatten dann ein Ticket geöffnet in dem uns ein super Netter Mitarbeiter super schnell eine super Hilfe geleistet hat. ;)



    Gruß,

    Vakarian

  • Wo ist der nette Mitarbeiter bei HETZNER ?

    Vielleicht drücke ich mich da falsch aus. Ich habe das schon versucht.


    Text aus meinem EMAIL:


    > Können sie mir die GW Einstellungen für OPNsense / pfSense für meine

    > > Haupt IP in OPN/pfsense bei direkter Durchleitung auf den Router

    > > verraten ? (pic_passthrough; Router hat die Netzwerkkarte ).

    > > WAN: 5.9.xxx.136

    > > Netmask: 255.255.255.224 (/27) oder 255.255.255.255 (/32)

    > > GW: 5.9.xxx.129

    > > ich komme mit dem WAN in OPNsense nicht ins Internet bzw. bis zum

    > > Gateway: "no route to host"


    Antwort:

    > leider können wir Ihnen bei der Konfiguration nicht behilflich sein.

    >

    > Hier sind Ihre Netzdaten:

    >

    > -----------------%<-----------------

    > IP: 5.9.xxx.136

    > NM: /27 (255.255.255.224)

    > GW: 5.9.xxx.129

    >

    > NS1: 213.133.98.98

    > NS2: 213.133.99.99

    > NS3: 213.133.100.100

    > -----------------%<-----------------



    Gute Antwort, nicht ?

    Hätte ich so ja nicht gewusst .... meine Netzdaten.


    :putz::br:<X


    Vakarian, verrate wie Du das gemacht hast und ich zahl dir'n Bier bei Gelegenheit.


    P.S:

    Wobei "tieferes" Routing noch gar nicht auf der Tagesordnung steht.


    Vielleicht sollte ich noch einen Server mieten. Oder noch 3 Server. Vielleicht nimmt Hetzner es dann ernst.


    Gruß

    Joe

  • pfSense übernimmt keine Einstellungen von Konsole

    Wie meinst du das? Klar werden die Einstellungen übernommen; wieso auch nicht :)?

    Vielleicht solltest du auch mal wen anders als Hetzner in Betracht ziehen :D

  • Hallo erstmal


    Neuer Tag neues Glück.

    Ich habe die Nacht verwendet, um den Fehler zu suchen.

    Ob ich ihn gefunden habe, bin ich mir nicht sichre.


    Ich habe gedacht - jetzt ist es egal. Ich installiere OPNsense direkt auf der MAschine. das müsste doch schliesslich gehen.

    Also habe ich eine KVM beantragt und das ISO eingebunden und mit dem OPNsense image gebootet.

    Jetzt gibt es ja die Möglichkeit, vom Live system aus OPN zu "betreiben".

    Es geschah merkwürdiges.

    1. OPNsense hat vom DHCP eine Adresse zugewiesen bekommen -> das gab es als VM mit PCI Passthrough noch nie.

    2. es funktionierte - Ich hatte Zugriff auf OPNsense.


    Na, dachte ich, vielleicht haben die von Hetzner mich ja erhört und etwas geändert in Ihrer Router Konfiguratiion.

    Also wieder mit Proxmox gebootet und VM PCI "durchgereicht" - und nichts funktionierte mehr.


    Eines fiel mir aber auf: ( aus der Erinnerung vielleicht nicht sauber wieder gegeben );

    Während OPN-solo im Live mode gebootet hat, meldete plötzlich der Netzwerk-Adapter: "Going down".

    Jetzt könnte das ja normal sein, aber eine derartiege HArdware - Response Meldung bekam ich im VM Modus nie.


    Natürlich habe ich die Routen zwischen VM Mode und Live - Mode verglichen. Die waren jetzt wirklich identisch ( bis auf die route zu den DENS Servern )

    Im Life Mode konnte ich von OPN das Gateway pingen, im VM Mode erschien: HOST is down:


    Ich nehme die Meldung jetzt einfach mal ernst: HOST is DOWN: Bedeutet für mich: HOST ist ausgeschaltet. Ist er natürlich nicht, was nur heißen kann, die NIC meldet dies an

    OPN so weiter bzw. mangels wirklicher Antwort von der NIC sit für OPN der hsot wirklich down.


    Das kann ja sein, wenn die NIC nicht sauber durchgereicht wird ( IRQ share etc. ).


    Hat jemand Erfahrung mit PCI Passthrough und

    05:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)

    Subsystem: ASUSTeK Computer Inc. I210 Gigabit Network Connection

    Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-

    Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-

    Latency: 0, Cache Line Size: 64 bytes

    Interrupt: pin A routed to IRQ 16


    auf proxmox ?

    Offensichtlich reicht die Anleitung von Proxmox für diese Thema (Konfiguration ) nicht aus.

    da steht nämlich nichts von so Dingen wie

    /etc/modprobe.d/vfio.conf
    options vfio-pci ids=8006:1553
    /etc/initramfs-tools/modules
    vfio
    vfio_iommu_type1
    vfio_virqfd
    vfio_pci ids=8086:1533

    /etc/modprobe.d/igb.conf
    blacklist igb


    Ich glaube, da fehlt etwas in der Konfiguration von PVE, damit die NIC sauber und fehlerfrei durchgereicht werden kann.


    Leider bin heute morgen um 6.00 Uhr dann mit dem Kopf auf der Tastatur aufgeschlagen ...

    Nein, Hetzner brauchte die KVM wohl wieder und ich hatte von dieser Session ja erst mal genug.


    Ich dachte auch, muss da mal in Ruhe drüber nachdenken und ein bisschen Erfahrungen austauschen ....

    #


    Gruß Joe:s-saug::!:



    Bin bisher ja von Howtos bei Proxmox und OPNsense ausgegangen. da stand nirgends etwas von "Treiber ausschliessen, initramfs neu generieren" und sowas.


    Habe das jetzt jetzt aber auf dem Testserver den gleichen Aufbau versucht.

    Auch hier konnte OPNsense die PIC Karte nicht wirklich richtig ansprechen.

    Dann habe ich vfio_pci mit der richtigen id geladen ( in modules ), den Treiber für die NIC aus der initramfs ausgeschlossen ( blacklist <NIC Driver> ), initrafs neu erstellt, grub upgedatet, reboot et voilá -- Kaum ist es richtig, schon funktioniert's -- auf dem Testserver.

    Jetzt noch ein paar Einstellungen in OPNsense lernen und dann werde ich das ganze auf dem Produktivserver installieren.


    Passsst scho .....

    :thumbsup::!::saint:

    2 Mal editiert, zuletzt von JoeB () aus folgendem Grund: weiterer Test: