Личность Ивана Ивановича овеяна тайнами.
Родоначальник династии очень быстро стал богатым, и среди московских жителей появились легенды и слухи. Кто-то говорил, будто бы Хлудов, еще живя в деревне, держал у себя в подвале беглого каторжника, с которым наладил выпуск фальшивых денег. Другие слухи гласят, что когда Иван Иванович сидел и скучал, «жарился на солнце», мимо шла бабушка с «погорелья» и несла какие-то бумажки. Читать она будто бы не умела, а вот Хлудов разглядел, что это были листы одного из банков. И, выменяв у нее бумаги за рубль, стал богатым и успешным. Ни то, ни другое не является правдой: финансово ему помогал дядя жены.