Hoàng Ngọc Sơn là con trai cả của ông Hoàng Tuấn Trường và bà Hoàng Thị Hoan. Do bố mẹ đều là bộ đội đang công tác ở Thái Nguyên nên Sơn được sinh ra và lớn lên ở Kho K9/CKT/Qkhu 1. đóng tại xã Cù Vân Huyện Đại Từ, tỉnh Thái Nguyên. Tuổi thơ của Sơn gắn liền với các hoạt động của các chú bộ đội Kho. Lớn lên, sau khi tốt nghiệp THPT học cao đẳng CNTT, sau khi tốt nghiệp đã tham gia Quân đội tháng 3/2015.

Hoàng Ngọc Sơn kết hôn cùng Phạm Thanh Huyền, vào ngày 17/3/2019 tức ngày 12/2/Kỷ Hợi. Phạm Thanh Huyền là chiến sỹ Công an Nhân dân. là con gái cả của ông Phạm Duy Hưng và bà Kiều Thị Thu Thủy, ông Hưng quê Tân Cương, Thành phố Thái Nguyên, hiện cư trú tại Phường CHùa Hang, Thành Phố Thái Nguyên.

21/11/2019 Vợ chồng Sơn Huyền sinh hạ bé gái tên là Hoàng Xuân An. An có ngày sinh trung với ngày sinh của bố.