Иван Андреевич родился 2 (13) февраля 1769 года в Москве, в семье бедного армейского офицера А. П. Крылова. Во время Пугачевского восстания отец Крылова служил армейским капитаном в Яицкой крепости. Когда в 1774 году крепость попала в окружение, жену капитана Марию Алексеевну с маленьким сыном Иваном отправили в Оренбург, который, однако, также вскоре был осаждён. Поскольку мать и сын Крыловы числились в пугачевских списках приговорёнными к повешению, им пришлось скрываться.
