İvan Aleksandroviç Gonçarov 1812 yılında Volga’nın doğu kıyısında, o zamanlar küçük bir kasaba olan Simbirsk’te (bugünkü Ulyanov) dört çocuklu tüccar bir ailenin ikinci çocuğu olarak dünyaya geldi. Babası Aleksandr İvanoviç’in toplam sermayesi beş bin rublenin altında olduğu için üçüncü sınıf tüccar statüsüne sahipti. Ancak ailenin soylu kimliği sadece tüccar sınıfına dahil olmaktan değil, orduda yüzbaşı olan dedesinin 1743 yılında elde ettiği imtiyazdan da kaynaklanıyordu. Aile aynı zamanda toprak sahibiydi, kendilerine ait köyleri ve serfleri vardı. Gonçarov soyadı “çömlekçi” anlamına gelen gonçar sözcüğünden gelmektedir; ailenin uzak geçmişte bu tür bir zanaatla uğraşmış olması muhtemeldir.