Происходил из дворянского рода, правнук профессора Московского университета и известного деятеля масонства Ивана Григорьевича Шварца.
Отец — Николай Павлович Шварц (1816—1848), майор Корпуса инженеров путей сообщения.
Мать — урождённая Красовская.
Жена — Мария Дмитриевна, урождённая Корсакова.
Дочери — Анастасия, Ольга, Наталия, Нина.
Учился в пансионе в Петербурге. Окончил первую московскую гимназию (1864; с серебряной медалью), историко-филологический факультет Московского университета (1868; кандидатская работа: «О синтаксическом употреблении родительного падежа в древних языках»). Магистр греческой словесности (1875; тема диссертации: «Речь Гиперида за Евксениппа»). Доктор греческой словесности (1891; тема диссертации: «О государстве Афинском. Сочинение неизвестного автора V в. до Р. Х.»).
В 1868—1869 — учитель французского и немецкого языков в Александровском военном училище. В 1869—1874 — учитель латинского языка в Лазаревском институте восточных языков.
С 1875 — доцент Московского университета по кафедре греческой словесности.
С 1884 — экстраординарный профессор Московского университета по кафедре теории и истории искусств.
С 1887 — экстраординарный профессор Московского университета по кафедре классической филологии.
В 1892—1900 — ординарный профессор по этой же кафедре.
Читал лекции по истории греческой литературы, впоследствии вышедшие отдельной книгой в литографированном виде. Читал лекции о Демосфене, Еврипиде и Лисии, комментировал их труды. Автор комментированного издания «Олинфийских речей» Демосфена (М., 1873), а также ряда статей, в основном посвящённых интерпретации Гиперида, Демосфена, Лисия, «Политики» Аристотеля и комедий Аристофана. Также публиковал работы по античному искусству.
Одновременно преподавал в средних учебных заведениях:
В 1872—1884 — преподаватель древних языков в частной гимназии Креймана.
В 1885—1887 директор первой московской прогимназии
В 1887—1897 — директор пятой московской гимназии.
В 1897—1900, одновременно с преподаванием в университете, был директором Константиновского межевого института. В 1900 был представителем России по учебному делу на Парижской всемирной выставке.
С 14 февраля 1900 — попечитель Рижского учебного округа. В одном из частных писем так характеризовал свою деятельность в этот период: «Дел у меня здесь много. Приходится сражаться с немцами и с латышами».
С 30 мая 1902 — попечитель Варшавского учебного округа. С 6 сентября 1905 — попечитель Московского учебного округа. В условиях революционных событий консервативный попечитель смог продержаться на своём посту только два месяца.
С 16 ноября 1905 — сенатор, с 6 декабря 1906 — член Государственного совета. После окончания революционных потрясений был приглашён П. А. Столыпиным в состав правительства для того, чтобы нормализовать ситуацию в учебных заведениях.
С 1 января 1908 — министр народного просвещения. Выступал за деполитизацию средней и высшей школы, против создания в них молодёжных организаций как революционной и либеральной, так и монархической направленности. Считал, что университетский диплом не должен давать особых прав для занятия должностей на государственной службе, так как задачей высших учебных заведений, по его мнению, должна была стать подготовка учёных, а не облегчение карьеры для выпускников. Был сторонником строгого соблюдения действовавших ограничительных законов, в том числе касавшихся возможности получения женщинами высшего образования, «процентной нормы» для лиц иудейского вероисповедования и др. В связи с этим не был популярен среди общественности, с чем соглашался и сам в частном письме:
Ужасное это министерство. И всё делается для того, чтобы поскорее и решительнее меня столкнуть. Пресса, Дума, университеты — все против. Я, однако, не унываю. Будь что будет, а кое-что я всё-таки проведу.
Стремление А. Н. Шварца защитить свою самостоятельность в качестве министра привели к разногласиям с П. А. Столыпиным. 25 сентября 1910 он был уволен в отставку с производством в чин действительного тайного советника и оставлением членом Государственного совета, где входил во внепартийную группу.
Труды
Речь Гиперида за Евксениппа. М., 1875.
О государстве Афинском. Сочинение неизвестного автора V в. до Р. Х. М., 1891.
Новые отрывки речей Гиперида. М., 1892.
Гермес Пракситель на монете Анхиала. М., 1893.
XXII речь Лисия и ее новое толкование // Филологическое обозрение. 1894. Т. 6. № 1.
К вопросу о времени написания «Политики» Аристотеля // Там же. 1895. Т. 8. № 2.
Из наблюдений над «Политикой» Аристотеля // Сборник статей в честь Ф. Е. Корша. М., 1896.
Моя переписка со Столыпиным. Мои воспоминания о Государе. М., 1994.