Родился 8 марта (по новому стилю) 1906 года в г. Минске. Отец — Моисей Борисович работал в Русско-азиатском банке, мать — Софья Абрамовна была пианисткой-любительницей и давала уроки музыки. В семье было трое детей — Александр, Цецилия и Борис. Перед Первой мировой войной семья переехала в Орёл, где её постигло большое горе: умер от диабета старший сын Александр, а вскоре после этого умерла Софья Абрамовна.
Борис Моисеевич начал играть на рояле в четырёхлетнем возрасте, подбирая по слуху и импровизируя. Первым учителем Берлина, причём не только музыки, но и других предметов, был М. М. Клечковский. Какое-то время Берлин учился и в гимназии.