开运四年（公元947年），契丹攻灭大梁，后晋灭亡，整个中原处于一片混乱之中。当时，后晋诸藩镇被迫上表称臣，刘知远也派遣使者到开封，向契丹表示庆贺，却并不称臣。耶律德光心里不满，但忌惮于河东兵马强盛，也不好说些什么。使者回到晋阳后，向刘知远报告说，契丹兵蛮横残暴，在中原烧杀抢掠，很不得民心。许多地方的百姓自发组织反抗，各镇节度使也多是口服心不服。刘知远听了使者的报告后，认为有机可乘，决定兴兵自立。是年二月，刘知远在晋阳称帝，仍沿用后晋“天福”年号，以此笼络人心。
史家点评：
他以严刑治国，任用大批酷吏草菅人命，成为五代中最严酷的君主。
——赵剑敏
刘知远称帝后，各地的藩镇多不服其管辖，而河北、河南地区则完全被契丹占有，形势十分不利。针对这种局面，刘知远没有急着出兵，而是积极整军，修缮器械，等待着有利的时机。三月，耶律德光见中原人民反抗不断，引兵北回。四月，耶律德光病死，部下诸将忙于争夺皇位，无暇南顾。河南、河北的兵马也是人心惶惶，日夜难安。刘知远审时度势，采纳了手下大将郭威的建议，南下攻打契丹占据的河北、河南地区，很快就攻陷了洛阳、开封等地，契丹兵北遁，各地的后晋官员纷纷投降。六月，刘知远进入开封，改国号为汉，仍用天福年号，以开封为都城，史称后汉。他同时下令，凡契丹任命的节度使以及各级官吏均留任原职，不再变更。于是各地藩镇打消疑虑，陆续上表称臣。