Em alguns casos, e isso depende do seu provedor de internet, a conexão com o console SSH ou SFTP é muito lenta, e depois de alguns segundos dá o erro Could not connect to server – Connection timed out.
A causa mais comum é porque o servidor SSH tenta resolver o nome reverso (DNS) da máquina que acessa o servidor, para gravar log e aplicar filtros de conexão (pouco usados).
Para solucionar isso edite o arquivo: /etc/ssh/sshd_config e adicione a seguinte linha ao final:
UseDNS no
Em seguida reinicie o SSH, o FTP e o Fail2Ban:
> /etc/init.d/ssh restart
> /etc/init.d/pure-ftpd-mysql restart
> /etc/init.d/fail2ban restart