Achei a solução

cria esse arquivo: touch ~/.config/pipewire/pipewire-pulse.conf.d/pipewire-pulse-rules.conf

e adiciona os apps que você não quer que modifique seu áudio:

pulse.rules = [
    {
        # Disable mic auto gain for some applications
        matches = [
             { application.process.binary = "chrome" }
             { application.process.binary = "Discord" }
             { application.process.binary = "teams" }
             { application.process.binary = "skypeforlinux" }
        ]
        actions = { quirks = [ block-source-volume ] }
    }
]