从汉代设立太学以后，历代王朝都设立最高学府，称为国学。西晋时除太学外，又建立了专门招收官员子弟的国子学。南北朝时，南朝宋、齐的国学，一度包括儒学、玄学、文学和史学四个馆，已有综合大学的特征。从隋朝起，国子监成为中央教育行政机构，它本身又是最高学府。唐朝的国子监统辖国子学、太学、四门学、书学、律学、算学等六学，其中前三学都是儒学，分别招收不同品级的官员子弟，四门学招收部分平民子弟，还接受周边各国的留学生。地方官学的优秀学生可以保送到四门学读书。后三学是专门学校，分别学习书法、法律和数学。北宋时先后三次兴学，国学的体制大为健全。明清时，国子监的学生有四种来源：一是由地方各级学校推荐学生（清代统称贡生），二是官员或功臣子弟，三是举人会试落榜者，四是交纳钱财获得监生身份者。国子监生有做官的资格，但仕途不如科举优越。
中国于汉、唐盛世之时，文化曾居于世界领先地位，更是东亚的文化中心。东汉时，就有匈奴等周边民族派遣学生到太学学习。唐朝首都长安经常有朝鲜、日本、东南亚各国和北方游牧民族来求学者，古代的日本政府请求派遣留学生到长安学习，以便能长期留在中国学习，这就是“留学生”这个词汇的由来。古代中国只有外国留学生来华，中国从不派人出国学习。这一局面到鸦片战争后才开始转变。
自文翁兴学得到汉武帝提倡以后，地方办学就兴盛起来。东汉时，岭南直至交趾（今越南北部）都有办学的记载。地方官学主要目的是作为一方文教中心来推广教化。地方官学既要通过培养贤才在本地起模范作用，又要通过演习礼乐等移风易俗的社会教育活动，来改善本地社会风尚。早期的地方官学兴办完全取决于地方长官的意愿，自行办理，所以并不普遍，兴废无常，良莠不一。宋代起，由朝廷向各地官学委派教官，教官拥有学校管理的自主权，地方当局不得随意干预学校事务。元代以后，所有的地方各级行政单位都建立了学校。明清时期，只有地方官学的生员（俗称“秀才”）才有参加科举乡试的资格。未入学的读书人，无论学业高低、年龄大小，都称童生，童生的入学考试成为科举之途的第一次拼搏。
汉代官方率先办学的不是中央政府，而是汉景帝时的蜀郡太守文翁。当时蜀郡还是未开化的地方，文翁先从郡吏中选派聪慧者十余人到长安，跟随博士官学习。当时博士还没有培养弟子的职责，文翁每年都用私人经费购买一些土产馈赠给博士，以表示酬劳和谢意。数年后，这些人学成归来。于是文翁在成都立学，招收属县子弟入学，学成者都给予重用，或者推荐到朝廷做官。文翁在公堂处理政务时，常让学生参与；外出视察时，随从人员中也常有学生，让他们代表郡府发号施令，官吏民众见了都羡慕不已。蜀郡于是学风大盛，有些富人家情愿出钱以求子弟能够入学。到汉武帝时，将文翁兴学的经验加以推广，下令“天下郡国皆立学校官”。文翁不仅是蜀地教化的开拓者，也是办理地方学校的先驱。文翁兴学后来成为千古美谈，后人以“文翁化蜀”这一典故来称颂地方官重视和推广教化。
书院本是藏书之处，唐代集贤殿书院就是宫廷图书馆。发明印刷术，使过去必须逐字抄写的书籍可以整版地印出来，为藏书提供了便利的条件，民间学者也将自己的藏书和读书场所称为书院。后来，书院就逐渐发展成以藏书为基础、教学和学术研究活动的机构。这种书院出现在唐末五代时期。宋代统治者鼓励民间兴办书院，皇帝赐匾额，朝廷赐图书，地方当局给予房地产资助，使书院兴盛起来。著名学者举办的书院，往往是一方学术中心，吸引各地读书人前来求学，在教学、学术研究以及学校管理方面有许多建树和创意，在古代学校中具有一枝独秀的地位。
汉代独尊儒学，儒家经典就成为教育的主体内容。在儒学之外，古代还举办过多种专业学校。公元二世纪末，汉灵帝喜好辞藻文采，办起了世界上第一所学习辞赋、小说、绘画、书法的文艺专科学校──鸿都门学。出自皇帝个人喜好而举办的专业学校还有唐玄宗办的《老子》学和宋徽宗办的画学。天文学因为是确定历法所需，而且古人有观天象测人事的传统，所以历代都很重视，由专门机构司天监培养天文生。医学也是历代都有的，唐代在府、州两级均设立医学，还举办过兽医学。明清两代还办过培养翻译人才的外语学校，包括周边国家的各个语种。此类专业学校，都是培养在政府中专门机构供职的专业官吏，而不是可以自由择业的专业技术人员。数学、法律、军事等领域的专门人才培养，有的朝代设有专业学校，有的朝代则将其列入普通学校的学习内容。中国是世界上最早开设专业学校的国家，门类也最多。
在多民族聚居的中华大地上，曾出现过一些少数民族政权。早期的少数民族因文化发展程度低，尚无自己的学校教育，十六国时期的后秦以及后来的北魏，曾仿效中原汉族办学。到女真族建立金朝，首次为本民族子弟办起女真国子学和地方女真学，但学习内容仍是中原的儒学。蒙古族建立的元朝疆域空前辽阔，在维持传统的中央和地方官学的同时，举办了蒙古国子学和地方上的蒙古字学，传授蒙古语言文字，还举办了传授西域波斯语言文字的回回国子学。清朝的江山是以满族为主体，联合蒙古族和关外汉族（称为汉军）组成的八旗劲旅打下来的，建国后举办了各类八旗子弟学校，满语（或蒙古语）和骑射是八旗学校共同的基础课程，为的是维护本民族文化传统和尚武精神。
中国古代除了宫廷贵族学校和个别朝代（例如北宋）在地方办过小学外，官方一般不举办初等教育。有条件的家庭由家长为子弟作启蒙教育，而没有条件接受家庭教育的儿童，则可以到从事启蒙教育的私学（统称蒙学）学习。例如东汉著名思想家王充，就是从“书馆”开始他的学习生涯。古代的蒙学，有家族或宗族举办的族学，有乡里举办的乡学，也有教师自己开设的私塾。低层次的蒙学，教会儿童认识日常用字即可；高层次的蒙学，则要完成基本学业，达到可以报考官学当秀才的程度，由此开始科举之途。蒙学的教学注重多认、多看和多写，诗文都要求熟读到背诵流畅的程度。蒙学教师对学生要求严厉，盛行体罚。虽然有呆板苛刻的弊病，但在基本功和行为常规训练上有可取之处。
《礼记‧学记》中记载学校应有“夏楚二物，收其威也”。“夏楚”就是责打学生用的篦板之类的器具，设置的目的是威慑学生，倒不是一定要用上。但由于古人提倡严师如严父，“教不严，师之惰”（《三字经》），体罚就是严加管教的体现。古代学校盛行体罚，尤其是对蒙学的儿童。东汉著名思想家王充回忆他8岁上“书馆”时，一共四十多个学生，几乎都挨过老师的教鞭抽打，只有他品学兼优，从未挨过打。蒙学的体罚种类多样，常用有罚站、罚跪、罚功课（将功课重做若干遍）、罚劳役，以及打手心、笞臀等。
鸦片战争后，中国无力抵御西方国家的步步入侵，清政府为了应付日益加剧的社会危机，不得不仿效西方制度进行某些改革，教育改革是其中的重点。1862年，第一所官办的近代新式学堂京师同文馆建立，此后各类专业技术学校和普通学校陆续在各地办起来。1901年，清政府下令将所有的书院全部改为学堂，其中设在省城的大书院改为高等学堂，设在府城的大书院改为中学堂，其余书院以及八旗学校都改为小学堂。1904年，清政府颁布学制，普通教育系统有大学堂、高等学堂、中学堂、高等小学堂、初等小学堂和蒙养院，与普通教育平行设立的有各级实业学堂和师范学堂，从而建立起现代学校体系。1905年，清政府废除科举制度，官学也随之消失。此后各类私塾经过政府改良，转变为小学。绵延两千多年的古代学校教育就此退出历史舞台。