Arie Haan heeft gespeeld voor de voetbalclubs Ajax (1969 tot 1975), RSC Anderlecht (1975 - 1981), Standard Luik (1981 tot 1983) en PSV Eindhoven (1983/1984). Als libero scoorde hij geregeld goals, vooral met fantastische afstandsschoten. Hij kreeg daarom ook de bijnaam Arie Bombarie. Hij werd ook wel eens Sluwe Arie genoemd vanwege zijn uitstekend spelinzicht.

Hij speelde in totaal 264 wedstrijden en scoorde daarin 47 doelpunten. 35 daarvan maakte hij in het paars-witte shirt. In 1971 scoorde hij voor Ajax in de Europacup I-finale tegen Panathinaikos.

In de 35 interlands die hij speelde, maakte hij 6 goals. Zijn beste matchen speelde hij op het WK 1978 tegen West-Duitsland en Italië.

Nog beroemder werd hij als trainer. Niet zo zeer om zijn sportieve prestaties, maar omwille van zijn vete met de familie Vanden Stock en Pär Zetterberg.
De Nederlander eiste 250.000 euro wegens de schending van zijn naam, imago en integriteit als trainer. De bal ging aan het rollen in het seizoen 1998-'99, toen Anderlecht op de voorlaatste plaats verzeilde. Na zijn vertrek, beterde het spelniveau bij Anderlecht. Aan het einde van het seizoen, openden Vanden Stock en Zetterberg hun mond. Hun uitspraken schoten Haan in het verkeerde keelgat en hij spande een rechtzaak aan, die hij verloor.

Als trainer werkte hij voor: Antwerp FC, RSC Anderlecht, Standard Luik, VfB Stuttgart, 1. FC Nürnberg, PAOK Saloniki, Feyenoord, Paniliakos, Omonia Nicosia en Austria Wien. Hij was ook bondscoach van China en trainer van Persepolis FC in Iran.