В 1960—1973 — работал на Сумском регенераторном заводе: инженер, старший мастер, главный механик, главный инженер, директор (с 1967).
1973—1978 — второй секретарь Сумского горкома партии.
1978—1983 — секретарь, второй секретарь Сумского обкома партии.
1980—1981 — находился в Афганистане.
1983—1986 — заместитель заведующего отделом химической промышленности ЦК КПСС.
1986—1989 — министр по производству минеральных удобрений СССР.
1989—1992 — председатель правления Всесоюзной Государственной агрохимической ассоциации «Агрохим».
С 1992 года — президент Российской агропромышленной компании «Росагрохим».
С 1997 года — президент Союза российских производителей минеральных удобрений.
С 1998 года — председатель совета директоров ОАО «Минудобрения».
В декабре 1999 года избран в Государственную Думу от Павловского одномандатного округа и оставался депутатом в течение трех созывов подряд.
С 2011 года — член Совета Федерации ФС РФ от Воронежской области, выдвинут региональным политсоветом партии «Единая Россия».
Как писа ла пресса, через цепочку оффшорных компаний Ольшанский владел кипрской компанией Yaibera Holdings Ltd, которой, в свою очередь, принадлежало россошанское ОАО «Минудобрения». В 2011 году миллиардер А. Ротенберг приобрёл завод, по разным оценкам, за 1,3 — 1,5 млрд долларов.
Состояние
Состояние Ольшанского оценивается в 750 млн долларов США. Занимает 132-е место в рейтинге богатейших бизнесменов России. В 2012 году с задекларированным семейным доходом 574 млн рублей занял 13-е место в рейтинге доходов российских чиновников, составленном журналом Forbes.
Награды и премии
орден «За заслуги перед Отечеством» IV степени
два ордена Трудового Красного Знамени
Орден «Знак Почета»
медали
Почетный химик Российской Федерации
Почетного гражданина города Россоши.
Лауреат национальной премии бизнес-репутации «Дарин» Российской Академии бизнеса и предпринимательства в 2005 г.