1921年7月，中共一大召开时，全国只有50多名党员。人员少，事务少，所以中央只设了由3人组成的中央局，负责人称为“书记”。

中共二大、三大时，称呼有所改变。中共二大、三大，虽然选举了中央执行委员会，但中央机构仍是中央局，负责人则改称“委员长”。到中共四大时，又改称“总书记”。

1927年4月，中共五大召开时，中国共产党已发展到有党员5万多人。中央机关仅有中央局已不足以有效地领导全党。在五大上，第一次选举了中央政治局委员、政治局常委、总书记，第一次将决策机关与负责日常工作的机关分为两个机构。

1933年初，党中央迁入江西苏区。当时全国苏区发展到十几块，红军达30万人，党员也达30万人。仅设一个总书记已难以领导这样一个大党，中央书记处应运而生。书记处负责党中央的日常工作。既然书记处不止一个人，那么，应有一个总负责人或总书记，遵义会议前是博古，遵义会议后是张闻天。1943年3月，中央机构调整，决定在两次中央委员会之间，由中央政治局担负领导整个党的工作责任，有权决定一切重大问题，政治局选举毛泽东为主席；书记处则成为根据政治局决定的方针处理日常工作的办事机关，书记处由毛泽东、刘少奇、任弼时组成，毛泽东为主席，没有用总书记这个称谓。这是中共中央第一次用“主席”的称谓。