李密的祖父李光，曾任朱提太守。李密從小境遇不佳，出生六個月就死了父親，四歲時舅父又強迫母親何氏改嫁。