Eu já tive bastante problemas desse tipo com uma placa específica, a 5700XT. No meu caso isso acontecia tanto com Windows quanto no Linux.
Eu imaginei que fossem os drivers podres da AMD ou que minha placa tava zoada mesmo. No fim acabei trocando de placa (outra AMD) e nunca mais tive problemas.
I'm currently using a ryzen 5600u mini-pc, which is more than enough for what I do. Although it'd be cool to have something more server-like. The thing is: those notebook cpus are very efficient and low energy consumption is a priority for me.