原来韩信父亲早逝，自小和母亲相依为命，因为贫穷常去别人家里蹭吃蹭喝，人们大多都讨厌他。后来母亲去世，穷得无钱来办丧事，只能寻找又一块宽阔的荒山野岭草草埋葬。人们就笑他没有本事，他却说道，将来我必闻达，找这么宽敞的地方，就是为了坟地四周能安顿下一万户人家为我母亲守坟。
母亲去世后，由于再无亲人，生计无着落，按秦法，须由官府出粮食，让地亭长找一户人家收养，直至成年。由于无人原意收养，只能天天到亭长家吃饭，接连数月。亭长的妻子厌恶他，一早偷偷把饭煮好吃完。到了吃饭时间，韩信只能吃剩下的饭食。韩信一怒之下，最终四处流浪乞讨不再回来。
一年冬天，大雪纷飞。饥寒交迫的韩信在一家破庙里见到一个生病的老人，使将讨来的饭菜分给他吃。在韩信的精心照顾下，老人家病好了，又活了过来。老人见韩信聪明伶俐，便留在破庙，用自己带来的钱买了粮食，天天教韩信读书认字，后来又教韩信兵法。三年后，韩信也长大了，老人家才告辞道：“这个天下马上要大乱了。你已经学有所成，须要找到一个明主并辅佐他，这样才是天下百姓的福气。为师盘缠用尽，你我师徒的缘分也没有了！师傅身无长物，只剩下这把铜剑相赠。”老人家就这样离开了，韩信连师父的名字都不知道。
后来韩信回到淮阴县，人们见他一身破烂，还带着一把剑了就取笑他。因为在这个年代只有读书人和士大夫才有会配剑。
淮阴这个地方有个屠夫，身强体壮。韩信因为没有钱，经常在傍晚找屠夫赊没有卖掉的猪下水来煮野菜，刚开始屠夫觉得反正卖不出去，丢了可惜便赊给他，日子久了，也不见韩信给钱。每次看韩信一身破烂还腰悬一把剑就生气。一天他看见韩信又来赊猪下水，便挑衅道：“韩信，你今天有种就一剑刺死我，没种就留下佩剑抵账！”
旁边的人听了，都过来围观。韩信抱紧宝剑，默不作声。他们都起哄笑韩信是个胆小鬼。屠夫见韩信仍不作声，也不交出佩剑，便走到韩信身边，侮辱他说：“韩信，你不敢刺我，也不愿意留下宝剑，今天你从我这胯下爬过去，我就让你离开，你欠我的账也一笔勾消，如何？”说着便叉开双腿，用手指点着，让韩信爬。
韩信咬紧牙，使劲握着剑柄，上下仔细打量了这个年轻屠夫一番，结果，还是从他胯下爬了过去。从此，韩信懦夫加胆小鬼的名声就传开了。
赊不到猪下水，韩信又得饿肚子，只好到城下钓鱼，经常一整天都没有钓到鱼