Issu d'une famille d'émigrants juifs installée à Chicago qui disposait d'une grande influence sur l'activité théâtrale de la ville, Bob Balaban a baigné très jeune dans le milieu du spectacle. Son oncle a été le président de Paramount Pictures et son grand-père fut à la tête durant plusieurs années des productions MGM.
Après des études d'art dramatique à New-York, il joue dans plusieurs productions théâtrales pendant deux ans puis enchaîne des petits rôles au cinéma notamment dans Catch 22 (1970) de Mike Nichols avant de se faire remarquer dans le film fantastique Rencontres du 3ème type (1977) de Steven Spielberg. En restant dans le registre de la science-fiction, il collabore avec Ken Russell dans Au-delà du réel (1980) et avec Peter Hyams dans 2010 (1984).
Acteur éclectique, il multiplie les genres aussi à l'aise dans des films policiers comme Le Prince de New York de Sidney Lumet que comme les comédies dramatiques de Woody Allen avec qui il collabore à deux reprises avec Alice et Harry dans tous ses états. Le réalisateur Christopher Guest lui permet d'exploiter son potentiel comique à travers trois comédies Waiting for Guffman (1996), Bêtes de scène (2000), A mighty wind (2002). Il passe derrière la caméra en 1989 pour sa première réalisation Parents, une comédie fantastique puis réitère son expérience en 1993 avec My Boyfriend's Back, en 1994 avec The Last Good Time sans se cantonner à un genre particulier.
En 2002, il est à la fois le scénariste, le producteur et un des interprètes de Gosford Park de Robert Altman, film nommé 7 fois aux Oscars. Il rejoint ensuite Philip Seymour Hoffman dans Truman Capote (2005) de Bennett Miller, la biographie du célèbre écrivain. Il tourne pour la première fois avec Night Shyamalan qui le sort quelque peu de ses personnages habituels, dans La jeune fille de l'eau (2006).
. Il retrouve Bill Murray sur le tournage de Moonrise Kingdom de Wes Anderson, où sa voix de narrateur est grandement appréciée et tourne encore avec l'acteur américain dans Monuments Men de George Clooney, son rôle y est nettement plus conséquent puisqu'il est l'un des sept soldats improvisés du film.
