Esse artigo explica quase tudo que há pra saber sobre os registros SRV. Principal segredo é esse, na minha opinião:
Os registros SRV devem apontar para um registro A (em IPv4) ou um registro AAAA (em IPv6). O nome do servidor listado por eles não pode ser um CNAME. Assim, "server.example.com" deve levar diretamente a um registro A ou AAAA com esse nome.
Show! Fico feliz em ter ajudado :)