José Antonio Tercero nació en Madrid y comenzó su formación futbolística en la Agrupación Deportiva Plus Ultra de Ciudad Lineal, equipo que desapareció en 1972 para convertirse en el Castilla, filial del Real Madrid. Allí debutó en Segunda División a los 19 años, un 20 de enero de 1951 contra el Mallorca, en un partido en el que marcó un gol. Sin embargo, no tuvo mucha suerte, ya que únicamente jugó ocho partidos en dos temporadas, en los que marcó tres goles. Finalizado el curso del 52 ya había decidido prácticamente abandonar el fútbol profesional, y estuvo jugando dos temporadas con la Unión Deportiva Girod, club amateur que solía participar en encuentros de entrenamiento contra el Real Madrid y el Atlético de Madrid.

Fue durante estos partidos de preparación cuando llamó la atención de los ojeadores colchoneros, que le propusieron incorporarse a su primera plantilla. El futbolista no desaprovechó la oportunidad que se le presentaba, y firmó un contrato por una temporada. Jugó sólo dos partidos con el conjunto rojiblanco, pero logró estrenarse como goleador en Primera contra la Real Sociedad. La temporada siguiente marchó al Málaga, donde hizo 5 goles en 24 partidos en Segunda. En 1956 fichó por el Real Murcia, donde se asentó ya como titular indiscutible, participando en 67 partidos de la categoría de plata, marcando 18 goles.

En el verano de 1958, Tercero tenía 27 años y muchas tablas. Su experiencia era un grado y los técnicos del Valencia vieron en él un jugador de largo recorrido, incansable, y cuya visión de juego era dinamita en la zona de ataque. Jacinto Quincoces vio en él muchas posibilidades y le dio la alternativa en la segunda jornada de Liga contra su ex-equipo, el Atlético de Madrid. Sorprendentemente, el jugador se echó el equipo a la espalda y se convirtió en uno de los pulmones del conjunto de Mestalla. Su progresión fue meteórica, y antes de finalizar la temporada Manuel Meana ya le había convocado con la selección española para un partido contra Italia. No llegó a debutar, pero para él fue todo un logro personal.

Con el Valencia completó tres temporadas a un gran nivel. Jugó 63 partidos de Liga entre 1958 y 1961, en los que marcó 10 goles. Su último año no fue tan bueno. Con Domingo Balmanya en el banquillo, jugó sólo tres partidos oficiales, por lo que a mediados de 1962 llegó a un acuerdo con el club para rescindir su contrato. Tercero optó por abandonar definitivamente el fútbol y marchó a Villanueva de los Infantes, donde se dedicó a cuidar de sus tierras. Allí falleció el 1 de enero de 2014, a los 82 años de edad.