Родился 6 ноября 1881 в префектуре Нагано.
Получив военное образование в Токио, успешно продвигался по службе:
В ноябре 1902 года окончил Японскую императорскую военную академию и получил звание младшего лейтенанта.
В июне 1903 года, проходя службу в 3-м кавалерийском полку, получил звание второго лейтенанта. В феврале 1905 года получил звание лейтенанта, назначен на должность инструктора Военного колледжа сухопутных войск.
В сентябре 1912 года получил звание капитана.
В ноябре 1912 года окончил элитный Армейский военный университет, подготовивший многих военных деятелей милитаристской Японии.
В июне 1918 года получил звание майора.
В 1925 году получил звание полковника и был назначен командиром 26-го кавалерийского полка.
В 1926 году — начальник штаба армии японских оккупационных сил в Корее.
С июля 1927 по 1930 год служил в управлении связи 3-го бюро Генерального штаба Императорских вооружённых сил.
В августе 1930 года произведён в звание генерал-майора и назначен начальником кавалерийской школы.
В августе 1931 года был возвращён в войска и до 1933 года командовал 4-й кавалерийской бригадой.
С августа 1933 года — начальник 3-го бюро Генерального штаба Императорских вооружённых сил.
В августе 1934 году получил звание генерал-лейтенанта и до 1937 года занимал ряд административных должностей, в том числе возглавлял Японскую императорскую военную академию.
С марте 1937 года, с началом второй Японо-китайской войны, Оцудзо Ямада принял командование 12-й пехотной дивизией, базировавшейся в Маньчжурии.
В январе 1938 года назначен командующим 3-ей армии, в декабре — командующим Центральной экспедиционной армии в Китае.
В 1940 году получил звание генерала армии и был переведён в Японию с назначением на должность Главного инспектора военной подготовки, которую занимал до 1944 года, являясь всё это время членом Высшего военного совета страны.
18 июля 1944 года Ямада вернулся в Маньчжурию в качестве последнего главнокомандующего Квантунской армии.
Готовясь к неизбежному вооружённому столкновению с Советским Союзом и осознавая, что помощи из истощённой Второй мировой войной Японии не последует, Ямада пытался усилить свои войска доступными ему средствами, сформировав 8 новых пехотных дивизий и 7 пехотных бригад из слабоподготовленных призывников и добровольцев.
В ходе начавшейся 9 августа 1945 года Маньчжурской операции советские войска, обходя хорошо укреплённые районы и уничтожая японские подразделения, не имевшие достаточной поддержки танков и артиллерии, за несколько дней нанесли огромные потери и полностью разгромили оборону противника.
После ряда неудачных контратак и оставшегося без ответа предложения о перемирии, 20 августа 1945 года главнокомандующий был вынужден отдать приказ о капитуляции Квантунской армии.
В числе около 600 тысяч японских военнослужащих Оцудзо Яма да попал в плен, а затем был доставлен в Хабаровск.
В результате проходившего с 25 по 30 декабря 1949 года судебного процесса над 12 бывшими военнослужащими Квантунской армии, военным судом Приморского военного округа Оцудзо Ямада был признан виновными в создании и применении бактериологического оружия (см. «Отряд 731») и осуждён к 25 годам лишения свободы.
В июле 1950 года по запросу правительства Китайской Народной Республики Ямада и другие бывшие японские военнослужащие были выданы Советским Союзом для привлечения к ответственности за военные преступления, совершённые на территории Китая.
Ямада признал, что осознаёт свою ответственность за преступления, совершённые его подчинёнными, и более 5 лет содержался под стражей в городе Фушунь.
В июне 1956 года после объявления амнистии Оцудзо Ямада был освобождён от отбывания наказания и репатриирован в Японию.
Умер 18 июля 1965 года в возрасте 83 лет.