Hannibal urodził się na Litwie, w roku 1933 jako syn hrabiego Lectera i jego żony Simonetty pochodzącej z rodu Sforzów. Miał siostrę o imieniu Misza. W czasie II wojny światowej podczas operacji Barbarossa ośmioletni Hannibal, jego rodzina oraz służba zostali zmuszeni do opuszczenia zamku, w którym mieszkali, by przenieść się do małego, ukrytego w okolicznych lasach domu.
