Начал заниматься биатлоном под руководством тренера Интарса Беркулиса. В 2005 году принял участие в своём первом международном соревновании — чемпионате мира среди юниоров. С 2008 года выступает за взрослую сборную Латвии. Дебютировал в кубке мира в сезоне 2009/10.
Первые очки кубка мира набрал в сезоне 2010/2011, на 4-й этапе в Оберхофе, где в спринтерской гонке занял 40-е место. В сезоне 2012/2013 годов 15 декабря на 3-м этапе в словенской Поклюке в гонке преследования занял 10-е место, при этом ходом он был лучшим на трассе. Лучшими результатами Расторгуева были 4-е места в Сочи (сезон 2012/2013) и в гонке преследования в немецком Оберхофе (сезон 2013/2014)[3].
На Олимпийских игр 2014 года в Сочи занял 17-е место в спринте, а затем поднялся на 9-е место в гонке преследования с одним промахом, первый и пока единственный раз в карьере попав в 10-ку лучших на Олимпийских играх.
В масс-старте на этапе Кубка мира в Хольменколлене в сезоне 2016/2017 впервые поднялся на подиум, заняв второе место[4]. В сезоне 2017/2018 на 7-м этапе кубка мира в Контиолахти во второй раз занял второе место в спринтерской гонке, при этом отстрелял без промахов.
На чемпионате мира 2019 года в Эстерсунде занял 14-е место в спринте с одним промахом, а затем смог подняться на шестое место в гонке преследования с одним промахом, впервые попав в 10-ку лучших на чемпионатах мира. В индивидуальной гонке Андрей прошёл без промаха три первых рубежа и реально претендовал в случае успешной стрельбы на 4-м рубеже как минимум на второе место. Однако на последнем рубеже Расторгуев допустил два промаха, что в итоге отбросило его на 13-е место. От второго места отстал на 1 минуту и 17 секунд.
В марте 2021 года Расторгуев был дисквалифицирован на 18 месяцев за несоблюдение правила об обязательном уведомлении допинг-офицеров о своем местонахождении, а 1 сентября 2022 года Спортивный арбитражный суд отклонил его апелляцию[5]. Спортсмен был лишён золотой медали чемпионата Европы 2021 года в индивидуальной гонке[5]. Из-за этого пропустил Олимпийские игры 2022 года.
18 февраля 2024 года в возрасте 35 лет завоевал свою первую медаль чемпионата мира — серебро в масс-старте. Это был 11-й чемпионат мира в карьере Расторгуева. На том же чемпионате мира в Нове-Место занял 4-е место в индивидуальной гонке.
Инд — индивидуальная гонка Пр — гонка преследования Спр — спринт МС — масс-старт Эст — эстафета См — смешанная эстафета Сусм — одиночная смешанная эстафета DNS — спортсмен был заявлен, но не стартовал DNF — спортсмен стартовал, но не финишировал DSQ — спортсмен финишировал, но дисквалифицирован LAP — спортсмен по ходу гонки (для гонок преследования и масс-стартов) отстал от лидера более чем на круг и был снят с трассы — — спортсмен не участвовал в этой гонке