Hallo erstmal
Neuer Tag neues Glück.
Ich habe die Nacht verwendet, um den Fehler zu suchen.
Ob ich ihn gefunden habe, bin ich mir nicht sichre.
Ich habe gedacht - jetzt ist es egal. Ich installiere OPNsense direkt auf der MAschine. das müsste doch schliesslich gehen.
Also habe ich eine KVM beantragt und das ISO eingebunden und mit dem OPNsense image gebootet.
Jetzt gibt es ja die Möglichkeit, vom Live system aus OPN zu "betreiben".
Es geschah merkwürdiges.
1. OPNsense hat vom DHCP eine Adresse zugewiesen bekommen -> das gab es als VM mit PCI Passthrough noch nie.
2. es funktionierte - Ich hatte Zugriff auf OPNsense.
Na, dachte ich, vielleicht haben die von Hetzner mich ja erhört und etwas geändert in Ihrer Router Konfiguratiion.
Also wieder mit Proxmox gebootet und VM PCI "durchgereicht" - und nichts funktionierte mehr.
Eines fiel mir aber auf: ( aus der Erinnerung vielleicht nicht sauber wieder gegeben );
Während OPN-solo im Live mode gebootet hat, meldete plötzlich der Netzwerk-Adapter: "Going down".
Jetzt könnte das ja normal sein, aber eine derartiege HArdware - Response Meldung bekam ich im VM Modus nie.
Natürlich habe ich die Routen zwischen VM Mode und Live - Mode verglichen. Die waren jetzt wirklich identisch ( bis auf die route zu den DENS Servern )
Im Life Mode konnte ich von OPN das Gateway pingen, im VM Mode erschien: HOST is down:
Ich nehme die Meldung jetzt einfach mal ernst: HOST is DOWN: Bedeutet für mich: HOST ist ausgeschaltet. Ist er natürlich nicht, was nur heißen kann, die NIC meldet dies an
OPN so weiter bzw. mangels wirklicher Antwort von der NIC sit für OPN der hsot wirklich down.
Das kann ja sein, wenn die NIC nicht sauber durchgereicht wird ( IRQ share etc. ).
Hat jemand Erfahrung mit PCI Passthrough und
05:00.0 Ethernet controller: Intel Corporation I210 Gigabit Network Connection (rev 03)
Subsystem: ASUSTeK Computer Inc. I210 Gigabit Network Connection
Control: I/O+ Mem+ BusMaster+ SpecCycle- MemWINV- VGASnoop- ParErr- Stepping- SERR- FastB2B- DisINTx-
Status: Cap+ 66MHz- UDF- FastB2B- ParErr- DEVSEL=fast >TAbort- <TAbort- <MAbort- >SERR- <PERR- INTx-
Latency: 0, Cache Line Size: 64 bytes
Interrupt: pin A routed to IRQ 16
auf proxmox ?
Offensichtlich reicht die Anleitung von Proxmox für diese Thema (Konfiguration ) nicht aus.
da steht nämlich nichts von so Dingen wie
| /etc/modprobe.d/vfio.conf options vfio-pci ids=8006:1553 |
| /etc/initramfs-tools/modules vfio vfio_iommu_type1 vfio_virqfd vfio_pci ids=8086:1533 |
| /etc/modprobe.d/igb.conf blacklist igb |
Ich glaube, da fehlt etwas in der Konfiguration von PVE, damit die NIC sauber und fehlerfrei durchgereicht werden kann.
Leider bin heute morgen um 6.00 Uhr dann mit dem Kopf auf der Tastatur aufgeschlagen ...
Nein, Hetzner brauchte die KVM wohl wieder und ich hatte von dieser Session ja erst mal genug.
Ich dachte auch, muss da mal in Ruhe drüber nachdenken und ein bisschen Erfahrungen austauschen ....
#
Gruß Joe
Bin bisher ja von Howtos bei Proxmox und OPNsense ausgegangen. da stand nirgends etwas von "Treiber ausschliessen, initramfs neu generieren" und sowas.
Habe das jetzt jetzt aber auf dem Testserver den gleichen Aufbau versucht.
Auch hier konnte OPNsense die PIC Karte nicht wirklich richtig ansprechen.
Dann habe ich vfio_pci mit der richtigen id geladen ( in modules ), den Treiber für die NIC aus der initramfs ausgeschlossen ( blacklist <NIC Driver> ), initrafs neu erstellt, grub upgedatet, reboot et voilá -- Kaum ist es richtig, schon funktioniert's -- auf dem Testserver.
Jetzt noch ein paar Einstellungen in OPNsense lernen und dann werde ich das ganze auf dem Produktivserver installieren.
Passsst scho .....
