嵩陽書院原有三棵“將軍柏”（現只有兩棵），最小的稱為“大將軍”。最大的稱“二將軍”、“三將軍”。將軍柏名實不符，級職不相稱，因為來源于一段傳說：

公元前110年，漢武帝劉徹登游嵩山，來到嵩陽書院游覽，他一進頭道門，看見一棵柏樹身材高大，枝葉茂密，不禁贊嘆不已，遂信口賜封它為“大將軍”。

封罷大將軍，漢武帝在群臣的呼擁下，朝院內走去。來到正中院，迎面又看見一棵大柏樹，這棵柏樹，要比“大將軍”大幾倍，漢武帝心中頗為懊悔。但金口已開，沒法更改。最后，他拿定主意，指著面前的大柏樹說道：“朕封你為二將軍”。

群臣簇擁著皇帝，繼續往前走，來到藏書樓前，又見到一棵更大的柏樹，漢武帝此時雖有猶豫，但改口已是萬萬不能的了，只能按先來后到次序加封。武帝面對柏樹說：“再大你也是三將軍了”。

三棵受封的大柏樹，都感到不是滋味。三將軍柏認為自己是嵩山地區最大的柏樹，封為三將軍太不合理，一氣之下，一命嗚呼！現在游人已看不到它了。二將軍柏把肚皮氣炸了，現在該樹干下部，還有裂跡。大將軍柏深感受之有愧，沒臉抬頭見人，慢慢地變成了現在這樣的彎腰樹。