Holas, yo creo que lo más fácil es que desde la N-IV te desvíes por la M-45 sentido Oeste (N-401, N-V, ...), ésta desemboca en la M-40 justo antes de la N-V, continúas por la M-40 hasta el km.38, donde coges el desvío a "A Coruña"(A-6) por la M-503, la cual desemboca en la M-50, continúas por ésta hasta el cruce con la M-505, cogiendo ésta sentido "El Escorial", subes el puerto de Galapagar y sigues to tieso hacia Ávila, ya verás los carteles de la "Cruz Verde", si no cuando veas que la carretera se retuerce es que has llegado.
Nota: mas o menos entre Galapagar y El Escorial, en una rotonda verás una indicación a la "Cruz Verde" por la izquierda, es una ruta más turística, la carretera es un poco peor y llegas a los restaurantes del puerto por otro sitio que no es el "típico motero". Si continúas por la Nacional hacia El Escorial, pasando justo al lado de éste y siguiendo hacia Ávila subirás el puerto por el sitio típico.
¡Vaya tela! Acabo de leer mis explicaciones y te aseguro que es más fácil e intuitivo de lo que parece ;D
Saludos y que te diviertas, pero cuidadín, que las curvas en este tiempo puden estar "frías"

.
PD: Por supuesto que hay más rutas, pero aunque parezca mentira creo que esta sería la menos liosa si no conoces la zona.