Arie Haan a joué pour les clubs suivants: Ajax (1969 à 1975), RSC Anderlecht (1975 à 1981), Standard de Liège (1981 à 1983) et PSV Eindhoven (1983/1984). En tant que libéro, il inscrivait régulièrement des buts, surtout des frappes de loin. Son surnom était d'ailleurs 'Arie Bombarie'.

Il disputa un total de 264 rencontres et marqua 47 buts. Il trouva le chemin des filets à 35 reprises avec le maillot mauve et blanc. En 1971, il marquait aussi un but avec l'Ajax lors de la finale de la Coupe des Champions contre Panathinaikos.

En 35 matchs avec son équipe nationale, il marqua à 6 reprises. Ses meilleurs matchs furent sans hésiter ceux contre l'Italie et l'Allemagne de l'Ouest pendant la Coupe du Monde 1978.

Il fut encore plus célèbre en tant qu'entraîneur. Pas tellement pour ses prestations sportives, mais surtout à cause de sa très mauvaise entente avec la famille Vanden Stock et Pär Zetterberg. Le Néerlandais exigeait 250.000 euros pour atteinte à sa personne, son image et son intégrité en tant qu'entraîneur. Les tensions allaient atteindre le point de non-retour lorsque le club se retrouvait avant-dernier lors de la saison 1998-1999. Après son départ, le niveau d'Anderlecht s'améliora sensiblement. A la fin de la saison, Vanden Stock et Zetterberg dénoncèrent tout. Leurs déclarations provoquèrent un procès que Haan perdit.

Comme entraîneur, il travailla pour: Antwerp FC, RSC Anderlecht, Standard de Liège, VfB Stuttgart, 1. FC Nürnberg, PAOK Saloniki, Feyenoord, Paniliakos, Omonia Nicosia et Austria de Vienne. Il entraîna aussi la Chine et le FC Persepolis en Iran.