Also es scheint da ein Problem mit der Firmware für die Wireless Chips Broadcom/Cypress 802.11 zu geben, kann man hier nachlesen: rpi4 buster bluetooth and wlan conflict · Issue #8 · RPi-Distro/firmware-nonfree · GitHub
Wenn man das WLAN des RPIs ausschaltet bleibt die Bluetooth Verbindung stabil.
Um den Fehler zu beheben habe ich ein Downgrade der Firmware durchgeführt, folgendermaßen:
Per SSH einloggen
cd ~
sudo dpkg -i ./firmware-brcm80211_20190114-2+rpt4_all.deb
sudo reboot
Hatte verschiedene Firmwareversionen probiert, diese ist die, die in älteren Versionen von VanPi OS lief und funktioniert hat.
Weitere Versionen findet ihr hier: Index of /debian/pool/main/f/firmware-nonfree
Damit scheinen wieder Bluetoothverbindungen und WLAN gleichzeitig und stabil zu funktionieren.