Joachim Björklund nació en Växjö, una pequeña ciudad situada en el sur de Suecia, en la provincia histórica de Smaland. Allí comenzó a jugar al fútbol en el Östers IF, un modesto club de su ciudad natal, en el que ingresó a los 18 años. En 1990 fichó por el Brann de Bergen, club de la Primera División Noruega, donde su padre era técnico, y en el que tras 56 partidos en dos temporadas se convirtió en el referente del centro de la zaga. En 1993 fue traspasado al IFK Göteborg, uno de los clubes más importantes de la liga sueca. Allí permaneció hasta 1995, disputó 46 partidos y fue convocado con Suecia para disputar el mundial de USA 1994.

En el verano de 1995, Björklund dio el salto al Calcio italiano y firmó un contrato con el Vicenza, donde sólo estuvo una temporada en la que disputó 33 partidos de la Serie A. La temporada siguiente emigró a Escocia para jugar con el Glasgow Rangers, conquistando el título de Liga en su primera campaña. Completó un total de 59 partidos en la Scottish Premiership. Se trataba de un jugador que no escatimaba sacrificios. Era un central fuerte, expeditivo en el juego raseado y que dominaba el juego aéreo en la zona defensiva.

Llegó al Valencia de Ranieri a los 27 años, en el momento culminante de su carrera, preparado para aportar su experiencia y solvencia defensiva a un equipo preparado para afrontar retos históricos. Durante las tres temporadas que estuvo en el club de Mestalla, entró y salió de las alineaciones sin una palabra más alta que otra y con una profesionalidad intachable. Cúper lo relegó a un segundo plano tras la llegada de su compatriota Pellegrino, pero Björklund permaneció como recambio de garantía, desplazado al lateral izquierdo en algún compromiso importante. Se integró perfectamente a la ciudad de Valencia, pero finalmente, en verano de 2001, fue traspasado al Venezia italiano, y posteriormente firmó por el Sunderland, donde disputó 54 partidos desde 2002 hasta 2004 en la Premier League.

En julio de 2004, Joachim firmó por el Wolverhampton Wanderers, que acababa de perder la categoría en la Premier League. Sin embargo, no tuvo fortuna ya que esa temporada pasó un verdadero calvario a causa de las lesiones, por lo que apenas pudo jugar cinco partidos. Al finalizar la campaña, decidió abandonar el club y colgar las botas de forma definitiva.