最早关于獬豸的记载，是在《墨子·明鬼下》中。书中说：“见人斗则触不直者，闻人论则咋不正者。”意思是说獬豸看到人动手打架，就会用角去顶理亏的那一方；听到人开口争论，就会去咬说话不公的那一方。
书中没有描写獬豸的外形，只把它描述成一种能分辨对错的“忠直之兽”，与尧、舜、禹这些圣君并列，被视作“鬼神显灵、主持公正”的体现。或许在古人眼里，人间的是非有时难断，便寄望于这样一只神兽，能越过人的偏见，直抵对错的本质。
到了汉代，獬豸的形象渐渐清晰，许慎在《说文解字·豸部》里写道：“獬豸，兽也，似山羊而一角。古者决讼，令触不直者。”就是说獬豸是一种野兽，外形像山羊，长着一只角。古代人审理官司时，会让它去触碰理亏的人。
山东嘉祥的武氏祠里，留存着一方汉代画像石，上面刻着“皋陶治狱”的场景。画面中央，皋陶头戴高冠，端坐在案前，手里握着一卷竹简，神色庄重。他身旁立着一只羊，羊的头顶竖着一根独角，昂首挺胸，正对着面前跪伏的人——那人双手被绑，低垂着头，像是认罪的模样。这只独角羊，就是典籍里的獬豸。
《后汉书·舆服志下》里记载：“法冠，一曰柱后，高五寸，以纚为展筒，铁柱卷，执法者服之，侍御史、廷尉正监平也。或谓之獬豸冠。獬豸，神羊，能别曲直，楚王尝获之，故以为冠。”
法冠，又叫柱后冠，高五寸，用细麻布做帽筒，里面有铁柱支撑，负责执法的官员会戴这种冠，比如侍御史、廷尉正监平这类官职。有人也把它叫做獬豸冠。獬豸是能分辨是非的神羊，楚王曾经遇见过獬豸，所以用它的样子来制作冠冕。
后来秦灭了楚，把这顶冠赐给了执法的官员。那时的官员戴着獬豸冠上朝、断案，冠上的独角仿佛是一种提醒，也像是一种象征。
应劭在《风俗通义·祀典》里还提过：“能触邪佞，辨曲直。”獬豸能触碰品行不端的小人，分辨是非对错。
《瑞应图》则首次提出了不同的形态描述：“獬豸者，仁兽也，状如鹿而一角，音如人啼，知人有罪，能触不直。”意思是说獬豸是一种有仁德的野兽，外形像鹿，长着一只角，叫声像人的啼哭，能知道人是否有罪，会用角去触碰理亏的人。
唐代的獬豸，渐渐有了麒麟的影子。陕西西安出土过一块唐代獬豸纹砖雕，砖上的獬豸头部像麒麟，独角粗壮，身躯上覆着细小的鳞片，四肢如兽，尾巴带着鳍状的纹路。它不再是温顺的羊或鹿的形象，多了几分威严。
宋代的獬豸，在官方和民间有了不同的模样。《宋史·舆服志》记载，御史台官员的补服上，獬豸“独角直立，双目炯炯，身似狮而有鳞”。官员补服上的獬豸一只角直立着，双眼明亮有神，身体像狮子，身上覆盖着鳞片。
而在民间的话本里，獬豸开始和“清官”绑在一起。元代的《三遂平妖传》里，有个这样的故事：
楚州有个叫徐能的知府，为官十年，清正廉明，百姓都叫他“徐青天”。当时楚州有个叫张谦的粮商，惯会囤积粮食哄抬市价，徐能便查封了他的粮仓，罚他把粮食分给受灾的百姓，张谦自此便怀恨在心。
这年春天，张谦买通了徐能身边一个贪财的小吏，偷走了府衙官印，又让他把一枚刻着徐能名字的私章与官印一起，偷偷藏进了城外的废庙里。接着，张谦又拉上几个与他同流合污的乡绅，一起到巡按衙门告状，说徐能“监守自盗”，把官印藏起来，是想私吞官府的库银。
巡按是个刚到任的官员，没细查就派人把徐能抓了起来。大堂上，徐能反复说自己没偷官印，可小吏抱着从废庙搜出的私章和官印作证，乡绅们也一口咬定“亲眼见徐知府和陌生人在废庙私会”。徐能想找百姓来作证，可张谦早放出话，说谁替徐能说话，