“太尉”之名最早见于《吕氏春秋》，太尉设置始于秦朝时期。很多人知道太尉这个官称是从水浒中，里面太尉出现的次数比较多，而且反派之一的高俅号称高太尉。

秦始皇设三公九卿，三公即为丞相、御史大夫、太尉，分别为辅政，监察、治军领兵。但秦朝为中央集权制，并没有人担任过太尉，形同虚设。

此后太尉一职的设置和军事关系比较密切。太尉旧在太保之下，自五代以来则提升至次于太师而在太傅之上。

宋初三师三公（太师、太傅、太保为三师，太尉、司徒、司空为三公）只是作为升迁资序所用，并无执掌。也通常以“太尉”来尊称枢密院文长官，因为宋代就以文臣制军。而且太尉也多是下级军官对高级武官的尊称。

小说《水浒传》中太尉的称谓比较多。比如高太尉、宿太尉之类未必就是太尉阶，即实任太尉。

比如高俅的“殿帅府太尉”，殿帅乃殿前都指挥使的尊称，如同侍卫马、步军都指挥使称“马帅”、“步帅”。

“殿帅府”即殿前都指挥使司的俗称，宋徽宗政和时，规定三衙长官侍卫马、步军都指挥使为正五品，而殿前都指挥使为从二品，且资序在节度使之上。所以殿帅府太尉是对高俅的尊称。

总之，宋代“太尉”既可指官阶，亦可为尊称，但不是职务。

在宋徽宗政和年间重定武官制度后，太尉成为武阶官之首，为武官五十二阶的最高阶，正二品，并非“三公”的太尉（三师为三公），也非实职。而司徒司空则被三少（少师、少傅、少保）所代替。

宋时其他武官，比如岳飞也曾被称为太尉。