Nacido en el humilde barrio de Casal Ventoso en Lisboa, Joao Pereira consiguió labrarse el futuro gracias al fútbol, formándose en el club Domingos Sálvio hasta ingresar a los 10 años en las categorías inferiores del SL Benfica. Debutó con el primer equipo el 17 de agosto de 2003, contra el Boavista, y terminó jugando 31 partidos, principalmente como centrocampista, en los que anotó 4 goles. En su segunda temporada comenzó a retrasar su posición hacia el lateral derecho en la zona defensiva, con amplio recorrido y una buena capacidad ofensiva, formando parte del equipo que logró proclamarse campeón de Liga en 2005, habiendo participado en 35 encuentros y haber marcado un gol. La temporada siguiente, la llegada de Ronald Koeman al banquillo le relegó a la suplencia, y tras participar únicamente en 9 encuentros, marchó cedido al Gil Vicente en el mercado de invierno, siendo finalmente vendido a este equipo en el verano de 2006, coincidiendo con el descenso del club a Segunda.

En la temporada 2007-2008, ya totalmente reconvertido como lateral derecho y tras haber completado una gran campaña en la segunda categoría portuguesa, fichó por el Braga, donde completó dos temporadas y media fantásticas en las que participó en 86 partidos aportando 2 goles. El 22 de diciembre de 2009, durante el mercado de invierno, el Sporting de Lisboa fichó a Pereira por 3 millones de euros. En el club verdiblanco, Joao encontró rápidamente la titularidad, completando un total de 84 partidos oficiales en los que anotó 4 goles, destacando como uno de los mejores laterales de la Liga lusa. El 24 de mayo de 2012 fichó por el Valencia CF a cambio de 3,6 millones de euros, firmando un contrato de 3 años.

A Pereira le costó poco tiempo hacerse con el puesto de titular y ganarse a la afición valencianista. Aquí se mostró como un jugador rápido, con capacidad para desbordar y poner buenos centros al área. Además, su alto nivel de compromiso y espíritu de sacrificio contagiaba a la grada, gustosa de ver jugadores implicados con el escudo en el terreno de juego. El futbolista completó 75 partidos oficiales entre 2012 y 2014. Sin embargo, la llegada de Nuno en el verano de 2014 cambió radicalmente su destino. Titular indiscutible durante dos campañas y con un año más de contrato, el técnico portugués decidió descartarlo y el club le buscó una salida ante la sorpresa general de los aficionados. El 29 de enero de 2015 se hizo oficial la rescisión de su contrato, y Joao firmó por el Hannover 96 de la Bundesliga, donde jugó 5 partidos en la segunda parte de la temporada para regresar, en el verano de 2015, al Sporting de Lisboa.