Анатолий Эдуардович Сердюков родился 8 января 1962 году в поселке Холмский в Краснодарском крае. Прошёл срочную службу в армии, окончил Ленинградский институт советской торговли и юридический факультет Санкт-Петербургского государственного университета. Кандидат экономических наук.
С 1991 году стал генеральным директором ОАО «Санкт-Петербургская промышленная компания», где работал с 1985 года.
1993 — заместитель директора, а затем генеральный директор АО «Мебель-Маркет».
С октября 2000 — замруководителя Межрайонной инспекции № 1 Министерства по налогам и сборам (МНС РФ) по работе с крупнейшими налогоплательщиками г. Санкт-Петербурга.
С ноября 2001 — руководитель Управления МНС РФ по Санкт-Петербургу. С середины февраля 2004 — руководитель Управления МНС РФ по Москве.
В 2004 году назначен замминистра РФ по налогам и сборам, затем и.о. министра по налогам и сборам.
В июле 2004 года стал руководителем Федеральной налоговой службы (ФНС) Министерства финансов РФ.
В сентябре 2007 подал в отставку в связи назначением на пост главы правительства Михаила Зубкова, зятем которого является. Отставку Зубков не принял.