Алексей Юрьевич Герман родился 20 июля 1938 года в Ленинграде. Отцом его был советский писатель Юрий Герман. С детства Алексей Герман хотел стать врачом, но, уступив отцу, поступил в Ленинградский театральный институт имени Островского (сейчас - Санкт-Петербургская государственная академия театрального искусства).
Он окончил институт в 1960 году, после чего работал в Смоленском драмтеатре и сотрудничал с Георгием Товстоноговым в Ленинградском Большом драматическом театре имени Горького.
С 1964 года стал работать на студии «Ленфильм», был вторым режиссером на съемках фильма «Рабочий поселок» Владимира Венгерова. В работе над фильмом «Седьмой спутник» он уже был сорежиссером, он снял этот фильм совместно с Григорием Ароновым.
Первая самостоятельная режиссерская работа Алексея Германа - картина «Операция «С Новым годом» с Роланом Быковым, снятая в 1971 году – вышла на экран под измененным названием «Проверка на дорогах» только в 1985 году. Это фильм о попавшем в плен советском солдате, который сначала перешел на сторону немцев, а затем раскаялся и сдался партизанам, чтобы снова воевать на стороне СССР.
Данная лента так долго лежала на полке из-за того, что чиновники Госкино СССР усмотрели в ней нападки на советские фильмы о Великой Отечественной войне.
Следующим фильмом Алексея Германа стала картина «Двадцать дней без войны» с Юрием Никулиным и Людмилой Гурченко, которая была снята в 1976 году по повести Константина Симонова.
За фильм «Мой друг Иван Лапшин» 1984 года Герман-старший через два года получил Государственную премию РСФСР, а также призы кинофестивалей в Локарно и Роттердаме.
В 1985 году Герман-старший стал секретарем Союза кинематографистов СССР.
В 1990 году Алексей Герман-старший организовал «Киностудию ПиЭФ» (Киностудию первого и экспериментального фильма).
В 1998 году вышел фильм «Хрусталев, машину!», который критики сначала освистали, а потом стали хвалить. В том же году Герман-старший стал вести режиссерскую мастерскую на Высших курсах сценаристов и режиссеров.
В 2000 году Алексей Герман-старший начал работу над картиной по повести братьев Стругацких «Трудно быть богом». Было утверждено название «История Арканарской резни». Работа над фильмом серьезно затянулась из-за проблем с финансированием и трудностей с озвучиванием. А потом у режиссера пошатнулось здоровье. На сегодняшний день картина все еще не вышла на экраны.
Алексей Герман-старший был женат. Его вдова - сценарист Светлана Кармалита, сын - режиссер Алексей Герман - младший.
В ноябре 2012 года Алексей Герман-старший после падения попал в реанимацию. Он перенес операцию по удалению травматической гематомы головы. 20 февраля 2013 года стало известно, что состояние режиссера, находящегося в реанимации, ухудшилось.
21 февраля 2013 года Алексей Герман-старший скончался на 75-м году жизни.