Родился в семье Сергея Михайловича Голицына, представителя древнего княжеского рода, инженера-топографа и писателя. Мама — Клавдия Михайловна (в девичестве — Бавыкина) была седьмым ребёнком в семье кондуктора железной дороги. Имел младшего брата — Михаила.
В мае 1941 года с матерью переехал во Владимирскую область, в деревню Погост, где находилась изыскательская партия отца, затем в село Любец. Мать работала кладовщиком.