Начал заниматься фигурным катанием в 4-летнем возрасте. В 11 лет переехал в Санкт-Петербург для занятий в тренерской школе Алексея Мишина, однако после неудачного выступления на чемпионате мира среди юниоров 2002 года (14-е место) оставил школу и вернулся в Пермь, решив прекратить профессиональные занятия спортом. Спустя несколько месяцев (по совету, как сообщалось, Алексея Ягудина, своего бывшего товарища по тренировкам у Мишина) Грязев вернулся к тренировкам уже в США под руководством Татьяны Тарасовой, в результате чего в 2004 году стал чемпионом мира среди юниоров и бронзовым призёром чемпионата России. Последнее достижение дало ему право на участие в чемпионатах мира и Европы 2004 года, где он занял 8-е и 12-е места соответственно. В 2005 году Грязеву удалось несколько улучшить эти результаты, заняв 2-е место в чемпионате России, 5-е на чемпионате Европы и 11-е на чемпионате мира.
В 2006 году Грязев стал тренироваться под руководством Елены Буяновой (Водорезовой) и в начале сезона занял третье место в престижных соревнованиях на Кубок Китая, однако затем выступал крайне неровно, из-за чего пропустил и чемпионат Европы, и Олимпийские игры. В последний момент был включен в состав сборной команды для участия в чемпионате мира, где неудачно выступил в квалификации и короткой программе, сумев, однако, реабилитироваться в произвольной.
Следующий сезон 2006—2007 начался для Грязева не самым лучшим образом: два седьмых места на этапах серии Гран-при и два третьих на этапах Кубка России. В январе за этим последовала блестящая победа главном национальном старте — чемпионате России. Однако, на чемпионате Европы того же года Андрей занял только 16—е место и не принял участие в чемпионате мира.
В сезоне 2007—2008 годов Грязев занимает третье место на этапе серии Гран-При Cup of Russia и седьмое на NHK Trophy. На чемпионате России 2008 года он занял только третье место, а так как у России не было трёх представителей в мужском одиночном катании на чемпионатах Европы и мира, то участия в этих турнирах Андрей не принял.
В сезоне 2008—2009 пропустил серию Гран-при из-за травмы. На чемпионате страны стал только пятым. По окончании сезона 2008—2009, по информации опубликованной в июньском номере немецкого журнала о фигурном катании «Pirouette», Андрей Грязев завершил свою соревновательную карьеру.