儿子孔鲤和弟子颜回先后死去，让孔子异常悲痛，身心受到沉重打击。他本想辅佐诸侯恢复周礼，建立一个统一强盛富庶的周王朝，但他的政治宏愿最终也没能实现。临终前，他让弟子子贡弹琴，自己和着琴声低吟：
泰山其颓乎（巍峨的泰山啊，将要崩颓）
梁木其坏乎（粗壮的梁柱啊，将要被毁）
哲人其萎乎（ 一代哲人啊，像草木一样枯萎）
孔子的声音渐渐低弱，当歌声停止时，他正襟危坐，闭上了眼睛。这一天，是公元前479年2月11日。
孔子死后，弟子们为了表达对老师的哀思和怀念，就决定在孔子墓旁栽上一些树。子贡说：“老师很喜欢松柏，子曰‘岁寒然后知松柏之后凋也’，可暗喻老师锲而不舍、奋发上进、不畏严寒、坚强刚直的品格。”于是，在孔子的墓地旁，弟子们就栽下了许多松柏。
尽管孔子的弟子很多，但远没有达到在墓地植树成林的程度。自汉高祖刘邦于公元前195年农历12月以太牢（猪、牛、羊各一头）之礼祭祀孔子之后，历代封建皇帝竟相仿效，才使孔子的身价和名气不断提高。到了东汉，整个孔氏家族的墓地还不过一顷，还没有被称为林。
东汉后，历代统治者一再下令扩修孔子墓地，不断地植树志哀。宋文帝元嘉19年（公元442年），一次就为孔子墓地“栽松柏六百株”。到了唐代，唐太宗贞观11年（公元637年），为了表示皇上尊孔重儒，保护好这片树林，便下令拨给孔氏家族“户二十，奉守林庙”。这是历史上最早称孔氏墓地为“林”的记载。不过，此时所称的“林”，似乎不指墓地，而是说的墓地上的树林而言。后来到宋代大宗祥符元年（公元1008年），宋真宗东封泰山过曲阜，专门前往孔子墓地，一改过去的称谓，正式以“林”代称墓地。从此，孔氏家族的墓地称为“孔林”，亦叫“至圣林”。