嘉靖帝赶走吕芳的原因有多方面，主要是出于政治和个人层面的考虑。

1.第一，政治原因。吕芳是明朝初期的功臣之一，曾参与朱棣（即嘉靖帝）的南征北战，并有一定战功。然而，吕芳曾支持太子朱厚照继位，且与朱厚照关系密切。朱厚照在位期间与吕芳结下梁子，嘉靖帝登基后，其实是在对付吕芳这个政治对手。赶走吕芳可以进一步巩固自己的权力，避免潜在的政治威胁。

2.第二，个人原因。嘉靖帝性格倔强，有着非常强烈的个人意志。他曾多次与朝臣发生冲突，并以其权威和决断力著称。吕芳作为一个有一定声望和影响力的朝臣，与嘉靖帝相处并不融洽，嘉靖帝对吕芳的性格和意见产生了不满和厌倦。因此，赶走吕芳也是嘉靖帝个人决策的结果。

3.第三，利益考量。嘉靖帝希望以自己的亲信官僚取而代之，以更好地推行自己的政策和政治理念。吕芳作为一位有着独立思想和行动能力的官员，可能对嘉靖帝的政策产生不利的影响。赶走吕芳有利于嘉靖帝进一步掌控朝廷，实现自己的统治目标。

综上所述，嘉靖帝赶走吕芳的原因主要是出于政治和个人层面的考虑。在政治上，赶走吕芳可以巩固自己的权力，避免潜在的政治威胁；在个人上，赶走吕芳是嘉靖帝个人意志的体现，对吕芳的性格和意见产生了不满和厌倦；利益上，嘉靖帝希望以亲信取代吕芳，更好地实施自己的政策和政治理念。这些原因共同促成了嘉靖帝对吕芳的驱逐。