Один из возможных вариантов.

Удаляем текущее правило:

# firewall-cmd --zone=public --remove-service=ssh --permanent

Добавляем нужный IP в список доверенных и открываем для него все порты:

#firewall-cmd --permanent --zone=public --add-rich-rule='rule family="ipv4" source address="xx.xx.xx.xx" accept'

Или ограничиваемся конкретным сервисом:

#firewall-cmd --permanent --zone=public --add-rich-rule='rule family="ipv4" source address="xx.xx.xx.xx" service name="ssh" accept'