Harry Carey Jr., de son vrai nom Harry Henry G. Carey, est né dans un ranch en Californie. Il grandit au milieu des bêtes et apprend à parler Navajo dès son plus jeune âge. Ses parents sont tous deux acteurs de cinéma. Son père, Harry Carey, est une superstar du muet, tandis que sa mère, Olive Carey, est une actrice de télévision et de cinéma qui s'illustre essentiellement dans des westerns.
Avec un patrimoine comme celui-ci, pas étonnant qu'Harry Carey Jr. emprunte lui aussi la voie du cinéma. Après avoir fait ses études à l'Institut militaire de Black Foxe d'Hollywood, il part à New-York étudier le chant. Contrairement à son père, célèbre héros de westerns, il rêve de devenir chanteur classique et de jouer dans des comédies musicales, à l'image de son idole, Lawrence Tibbett (Le chant du bandit). Mais lors de la déclaration de guerre, il s'engage dans la Marine Nationale en 1941, où il est transféré dans l'unité de service de John Ford, engagé lui aussi. Ce dernier, très proche du père de Carey, offre à son compagnon d'armes des perspectives toutes tracées. Après quelques réticences, Carey démarre donc sa carrière d'acteur.
Le comédien débute dans Rolling Home en 1946 avant d'obtenir un petit rôle dans La Vallée de la peur de Raoul Walsh en 1947. Il partage même l'affiche avec son père en 1948 dans La Rivière rouge, film qui marque le début d'une longue collaboration avec Howard Hawks d'une part (quatre films) et John Wayne de l'autre. Au total, Carey et Wayne tourneront dix films ensemble.
Après la mort de Harry Carey, Harry Carey Jr. lui rend hommage en tournant sous la direction de John Ford dans Le Fils du désert en 1948, remake d'un film muet dont son père tenait la vedette.
Connu pour ses rôles de cow-boys intègres, il devient une figure très respectée d'Hollywood et s'impose comme l'un des acteurs fétiches de John Ford. Il intègre même "The John Ford Stock Company", nom communément donné au cercle d'acteurs avec lesquels le cinéaste a travaillé à plusieurs reprises. On le voit ainsi dans La Charge héroïque en 1949, Rio Grande et Le Convoi des braves en 1950, Ce n'est qu'un au revoir en 1955, La Prisonnière du désert en 1956 ou encore Les Deux Cavaliers en 1961. Au sujet de cette longue amitié professionnelle qui a duré pendant presque vingt ans, Harry Carey Jr. publie un livre en 1994 intitulé "Company of Heroes: My Life as an Actor in the John Ford Stock Company".
Au total, Harry Carey Jr. a tourné dans près d'une centaine de films. Très marqué par le cinéma du grand ouest et des grands espaces, il réalise deux documentaires, John Ford's America (TV) en 1989, et Legends of the West en 1992.
Parallèlement à sa carrière cinématographique, l'acteur participe également à de nombreuses séries télévisées, comme The Adventures of Spin and Marty en 1956, Have Gun - Will Travel, ou encore Tombstone Territory en 1957. Pour sa contribution à l'univers de la télévision, Harry Carey Jr. obtient son étoile sur le fameux Hollywood Walk of Fame, et, pour l'ensemble de sa carrière, tous médias confondus, il est inscrit en 2003 au registre des Western Performers Hall of Fame au National Cowboy & Western Heritage Museum d'Oklahoma.
Plus récemment, en 1990, Harry Carey Jr. fait une brève apparition dans Retour vers le futur III, toujours dans la peau d'un cowboy puisque sa scène se situe en 1885. La même année, on peut le voir dans L' Exorciste, la suite. En 1993, il tourne dans Tombstone aux côtés de Kurt Russell et Val Kilmer, tandis que dans les années 2000, il se fait de plus en plus discret sur les écrans, et ses apparitions se raréfient.