隋朝大业初年，隋炀帝由于横征暴敛、穷兵黩武而使得民不聊生，全国各地的老百姓怨声载道，纷纷起义。首先是礼部尚书杨玄感起兵造反，接着全国各地的义军便蜂拥而起。这时候，李渊奉命镇守弘化镇，并兼管关右各郡军事。
李渊乃是名门之后，世袭唐国公，他和杨广其实是姨表兄弟。李渊历经地方和中央高官，向来喜欢结交天下豪杰，很多人也都诚心归附于他，这就引起了杨广对他的猜疑。
当时在民间流传着“杨花落，李花开;桃李子，有天下”的民谣，此时天下沸腾，海内骚然，听到这样的民谣，杨广幵始担心自己的江山要被姓李的取代。因为这个民谣，他还下令砍光李树以绝不祥之兆。有些小人便伺机诬告右骁卫大将军李浑企图谋反，说什么民谣中的“李花开”指的可能就是李浑，结果杨广就先发制人，不管事情真假就将李浑宗族的32人全部处死。
李渊也姓李，因此，杨广也对其产生了怀疑。李渊这个人虽然表面上看起来不事张扬，但其实私下里很有人缘，手下有众多良将贤士。或许也正是由于这一点，引发了杨广对他的猜忌。有一次，杨广要召见李渊，李渊说自己生病了不能来，结果杨广就勃然大怒。李渊当时有一个姓王的外甥在后宫办事，杨广就去问他的外甥：“你舅舅为什么不来?”他的外甥就回答说他生病了不能前来。杨广又问道：“是不是会死呢?”后来，李渊听说此事之后十分担心，感到自己快要大难临头了，为了掩饰自己，以便使杨广放松对他的朁惕，李渊便整天纵酒作乐，假装沉湎酒色、委靡不振的样子。
后来，天下盗贼四起，兵部尚书樊子盖不分青红皂白地就烧毁r汾水以北的村庄，而当那些作乱的人前来自首投降的时候，杨广就挖一个大坑把他们集体烧死在里面。为此，老百姓极为愤怒，便成群结队地以偷盗抢劫为生。整个社会动荡不安。
大业十三年(617)，李渊被任命为太原留守，同时，杨广还任命王威、高君雅为副留守。其实杨广所任命的这两个人的作用乃是在于监视李渊的一举一动。此时，杨广对于李渊巳经相当不信任了。在如此乱世，李渊拥有强大的实力而身为皇帝的杨广却不得人心，要说李渊没有一点儿反叛之心那是不可能的。但是，他自己明白，如果要成功就一定要等待，等到时机成熟方可一举成功。而自己手下的王威、高君雅和自己也是貌合神离，而他也知道杨广派他们两人来的用意。因此李渊干脆就继续实行韬晦之计，静观其变。
李渊虽然表面上极力不露声色，但实际上他对所有劝他反隋的人都有好感，因此总是有人接连不断地推动他起兵反隋。他的部将许世绪还鼓动李渊举起义旗，利用当时民间正在流传的李氏得天下的流言成就一番大业。当时，李渊虽然没有直接表态，但是，从他和许世绪越来越亲密的关系上，便可以看出这一点。李渊这个人十分宽厚，他对待投诚的人也都十分宽容，让他们留在自己左右，听说这件事之后，很多人便来到太原投奔于他，前前后后大概有几万人。李渊深知人心向背的重要性，因此他经常开仓济民，来他这儿当兵的人也越来越多。当时天下形势混乱，很多人也都和他一样蠢蠢欲动时他却隐忍不发，并在暗中继续积蓄力量。李渊在积极准备、不断发展自己的势力上可谓是处心积虑。在大业十一年(615)，李渊镇压敬盘陀起义军的时候仅仅诱降的起义军就达数万人，这些人全都加入到他的队伍当中。隋朝大将长孙顺德、刘弘基等人因反对征辽而触犯了隋朝的法律，被迫逃匿到太原，最后也都被李渊收留，这都为他日后赢取大业奠定了一定的人力基础。
