На военной службе с 1918 года. Окончил пулеметную школу (1920), курсы «Выстрел» (1927 и 1930), академические курсы при Высшей военной академии (ныне Военная академия Генштаба; 1949).
Участник Гражданской войны: красноармеец, помощник командира взвода. После войны командовал взводом, ротой, батальоном, был помощником командира стрелкового полка и начальником 1-й части штаба стрелковой дивизии.
С 1936 года – командир стрелкового полка, с 1937 года — стрелковой дивизии, с 1939 года – помощник командира стрелкового корпуса, с 1940 года – начальник Владивостокского пехотного училища, с марта 1941 года – командир стрелкового корпуса на Дальнем Востоке.
В Великую Отечественную войну с ноября 1941 года командовал 64-й отдельной стрелковой бригадой на Западном фронте. С января 1942 года — 8-й гвардейской стрелковой дивизией, с апреля – 2-м гвардейским стрелковым корпусом на Калининском фронте.
В сентябре 1942 года назначен командующим 1-й гвардейской Армией, а с октября 1942 года и до конца войны командовал 21-й армией (с апреля 1943 года – 6-й гвардейской Армией). Воевал на Донском, Воронежском, 2-м и 1-м Прибалтийском и Ленинградском фронтах.
Войска под командованием И.М.Чистякова участвовали в битве под Москвой, Сталинградской и Курской битвах, разгроме невельской группировки противника, в Белорусской, Шяуляйской, Рижской, Мемельской операциях и ликвидации курляндской группировки врага.
За умелое командование армией и проявленны е при этом мужество и отвагу И.М.Чистякову присвоено звание Героя Советского Союза. С июня 1945 года он – командующий 25-й армией Приморской группы войск (с 5.августа 1945 года – 1-й Дальневосточный фронт), принимавшей участие в советско-японской войне 1945 года.
С февраля 1947 года командовал 5-й армией Приморского Военного Округа, затем – 28-й армией Белорусского Военного Округа (1948–1949 годы) и 8-й гвардейской армией группы советских войск в Германии (1949–1953 годы). С 1954 года стал 1-м заместителем командующего войсками Закавказского Военного Округа. С 1957 года – в генеральной инспекции Сухопутных войск Главной инспекции МО.
С 1968 года в отставке.
Депутат Верховного Совета СССР II и IV созывов.
Награждён двумя орденами Ленина, пятью орденами Красного Знамени, двумя орденами Суворова I степени, двумя орденами Кутузова I степени, орден Суворова II степени, медалями, а также иностранными орденами.