Há várias discussões sobre Varnish e de como implementá-lo corretamente. Alguns operadores de sistema acreditam até mesmo que a configuração de cache com Varnish poderá dobrar ou até mesmo, em comparações absurdas, fazer com que as páginas sejam servidas 10X mais rápidas.
Recentemente um cliente solicitou uma pesquisa sobre o assunto, estou somente repassando o link do artigo que pode ser lido e discutido diretamente com o autor, que já usa Varnish por um bom tempo, mas afirmando que NginX + FastCGI + PHP-FPM + Memcached é uma melhor opção. Lembrando que esta já é a configuração que apresentamos na instalação do servidor Debian aqui no site.
Se você ainda usa Apache pode até ser que fazer proxy com Varnish seja uma boa opção, mas na minha opinião colocar ele com NginX (configurado com nosso tutorial aqui no Fator Binário) seria perda de tempo e poderia criar uma camada a mais para se preocupar quando houver problemas nos sites.
Segue o link do artigo: https://deliciousbrains.com/page-caching-varnish-vs-nginx-fastcgi-cache/