Fils d'un militaire et d'une institutrice, le jeune Woods passe la majeure partie de son enfance sur les routes avant de s'installer à Warwich, Long Island. A l'école il se découvre une passion pour le théâtre. Etudiant brillant, il décroche une bourse au prestigieux Massachusetts Institute of Technology. Mais bien qu'il obtienne un diplôme en science politique, il décide de partir tenter sa chance à New York. Très vite, James Woods se fait remarquer au théâtre et reçoit un Obie Award et le Clarence Derwen Award de l'acteur le plus prometteur pour sa prestation dans Saved de Alan Schneider. En 1972, il obtient son premier rôle au cinéma dans Les Visiteurs d'Elia Kazan. En 1977, il tourne avec Robert Aldrich dans Bande de flics. Sa performance inaugure une série de rôles de méchants dans lesquels sera longtemps cantonné. Mais c'est dans la série Holocaust et surtout le film Tueur de flics de Harold Becker en 1979 qu'il est révélé au public. Une de ses performances les plus remarquables est sans doute son rôle de gangster dans Il etait une fois en Amerique de Sergio Leone en 1984. La véritable consécration arrive en 1986 lorsqu'il est nommé pour l'Oscar du meilleur acteur pour sa performance dans Salvador d'Oliver Stone, qu'il retrouve en 1995 pour Nixon. Il travaille ensuite avec les plus grands dont Martin Scorsese (Casino, 1985) ou encore John Carpenter (Vampires, 1997). Boulimique, il multiplie les rôles et les films les plus divers : père de famille dans The Virgin suicides de Sofia Coppola (1999), rédacteur en chef d'un journal dans Juge coupable de Clint Eastwood (1998), prêtre loufoque dans Scary movie 2 (2001). Il a également prêté sa voix pour des dessins animés et des films d'animation : La Cour de récré : vive les vacances ! de Chuck Sheetz, Final fantasy, les créatures de l'esprit de Hironobu Sakaguchi (2001) et Hercule de John Musker (1997).
Ses apparitions au cinéma se raréfient et deviennent moins marquantes, l'acteur se contentant de seconds rôles, comme avec Chiens de paille (2012), White House Down (2013) ou encore Jobs (id.), biopic sur le fondateur d'Apple porté par Ashton Kutcher