辞职的时候，他年约三十岁。他说：“和我同举孝廉的人，有年已五十的，看来也不算老，我就再等二十年，也不过和他一样，又何妨暂时隐居呢？”于是他就回到他的本乡谯县，在城东五十里，造了一所精舍（精舍是比较讲究的屋子。汉时的读书人，往往是住在精舍里的），想秋夏读书，冬春射猎，以待时之清。这可见得他的志趣，很为高尚，并不是什么热中于富贵利达的人；而他在隐居之时，还注意于文武兼修，又可见得他是个有志之士。
后来他被征为都尉，又升迁做典军校尉，这是武职了。他说：“我在这时候，又希望替国家立功，将来在墓道上立一块碑，题为汉征西将军曹侯之墓。”
不想朝政昏乱，并不能给他以立功的机会，而且还酿成了董卓之乱。他在这时候，就兴起义兵，去讨伐董卓。他说：“我要合兵，是能够多得的，然而我不愿意多，因为怕兵多意盛，和强敌争衡，反而成为祸始。所以和董卓打仗时，兵不过数千；后来到扬州募兵，也以三千为限。”
后来在兖州破降黄巾三十万，这是他生平做大事业之始。他又叙述他破平袁术、袁绍、刘表的经过，说：“设使国家无有孤，不知当几人称帝？几人称王？”这句话，我们也不能不承认他是实话。
