Issu d'un famille modeste d'origine danoise, Niels Arestrup grandit en banlieue parisienne et s'inscrit après le lycée au cours de Tania Balachova. Il débute sa carrière au théâtre avant d'apparaître pour la première fois au cinéma dans Miss O'Gynie et les hommes fleurs de Samy Pavel en 1973 puis dans Stavisky d'Alain Resnais (1974).Sans jamais abandonner le théâtre, il construit une carrière atypique faite de seconds rôles et de personnages ambigüs (La Dérobade de Daniel Duval, La Femme flic d'Yves Boisset), tourne dans des longs métrages suisses, et n'hésite pas à endosser des rôles de salauds (La Rumba, 1986; Les Loups entre eux, 1985). Au mileu des années 80, des réalisateurs lui confient enfin des rôles principaux: il est ainsi l'amant d'un couple à trois dans Le Futur est femme de Marco Ferreri (1984), un chef d'orchestre hongrois aux prises avec l'Opéra de Paris dans La Tentation de Venus (1991), un violoncelliste célèbre et malheureux dans Le Pique-nique de Lulu Kreutz en 2000, ou encore un mari vieilissant qui se sépare de sa femme dans Parlez-moi d'amour de Sophie Marceau en 2002.
En 2005 et 2009, Niels Arestrup trouve deux de ses rôles les plus forts en tournant pour Jacques Audiard, deux prestations pour lesquelles il reçoit le César du Meilleur Acteur (dans un second rôle) en 2006 et 2010 : on le voit ainsi camper le père, agent immobilier peu scrupuleux, de Romain Duris dans De battre, mon coeur s'est arrêté, et un terrifiant parrain de la pègre corse dans Un prophète, Grand Prix au Festival de Cannes 2009 et également récompensé par 9 César en 2010. Entre-temps, il s'essaie pour la première fois à la réalisation en dirigeant Yvan Attal dans le drame politique Le Candidat (2006) et s'intègre au riche casting du film de Julian Schnabel, Le Scaphandre et le papillon où il côtoie entre autres Mathieu Amalric, Emmanuelle Seigner, Patrick Chesnais, Marina Hands et même Max von Sydow.
Il apparaît ensuite dans L'Affaire Farewell (2009), un thriller d'espionnage avec Guillaume Canet et Emir Kusturica, puis dans L'Homme qui voulait vivre sa vie (2010), un drame existentiel où il donne la réplique à Romain Duris. Sa prestation lui vaut d'ailleurs d'être nommé une nouvelle fois au César du Meilleur second rôle. En 2011, on le retrouve en tête d'affiche dans Je n'ai rien oublié aux côtés de Gérard Depardieu puis dans Tu seras mon fils où il joue un charismatique viticulteur. Il rejoint parallèlement le casting de Cheval de guerre, retour à la réalisation de Steven Spielberg.
En 2012, trois ans après Un prophète, Niels Arestrup retrouve Tahar Rahim dans À perdre la raison, une libre adaptation de l'affaire Geneviève Lhermitte, du nom de cette mère ayant assassiné ses cinq enfants en 2007. Présenté au festival de Cannes en 2012 dans la catégorie "Un certain regard", le film remporte le prix d'interprétation féminine grâce à la performance saisissante d'Emilie Dequenne. A nouveau dans la peau d'un être immonde et manipulateur, l'acteur livre une prestation intense dont lui seul a le secret.
L'année 2014 est particulièrement dense pour Niels Arestrup : il remporte tout d'abord le César du meilleur acteur dans un second rôle pour Quai d'Orsay de Bertrand Tavernier, où il interprète Claude Maupas, un chef de cabinet ministériel. L'acteur reste ensuite dans le domaine politique avec Diplomatie où il se livre à un face-à-face tendu avec André Dussollier. L'interprétation des deux hommes dans ce duel historique est unanimement saluée. Enfin, après avoir joué un redoutable criminel qui s'évade de prison et séquestre Gérard Lanvin dans 96 heures, il campe, dans La Dune, un inspecteur spécialisé dans les disparitions tentant de définir l'identité d'un sans-papiers qui reste mystérieusement muet.
En 2015, dans Papa Lumière, Niels Arestrup se glisse dans la peau d'un père bourru et distant tentant d'apprendre à connaître sa fille, lorsque tous deux sont rapatriés d'urgence d'Abidjan vers un centre d'accueil niçois.
