剛出道的時候，狄仁杰也和其他官員一樣，是從基層任職開始的，但是很快就顯示出他非凡的才干和品質，經常創造些政壇紀錄出來。他還是個低級官員的時候同事就稱贊他說︰「狄公之賢，北斗以南，一人而已。」ぃ意思是狄仁杰這樣的賢能之士，北斗星以南，就此一人而已。為什麼強調「北斗以南」呢？因為古人認為，紫微星是皇帝的象征，而北斗七星是諸侯大臣的象征。《甘石星經》說︰「北斗星謂之七政，天之諸侯。」也就是說，狄仁杰的同事們認為他是天下臣子中最賢能的，要知道此時狄仁杰只是個七品官，他的同事們已經把他推舉到這樣一個高度了，不得不說他的同事們眼光獨到。
狄仁杰非常善于斷案。上元二年（675），他被召入長安，當了大理寺丞，不久就創造了一個紀錄，一年斷案17800起。這個數字很驚人的，這意味著一年不休息的話，平均每天要斷案49起。那是審理卷宗，不是看小說，我敢擔保多數讀者看小說的速度都沒這麼快。一年下來，上級來考核政績，宰相看狄仁杰是個新來的，隨便給了個低等級。狄仁杰的上級大理寺卿張文瓘趕緊找宰相說︰「這不行啊，你給狄仁杰這個成績不公平。」宰相問︰「他很能干嗎？一年審了多少案子？」張文瓘說︰「一萬七千八百。」宰相大驚失色，可見這個數字多驚人。結果他把狄仁杰的成績改為上下等。一個新手能達到上下等，可謂出類拔萃。
後來狄仁杰那個神探的美名，就與他在地方和大理寺善于斷案有關系。不過可惜的是，這些案子在史籍中基本都沒有留下細節。
這里順便要說一句，唐代的司法程序和今天的有類似的地方，一般刑事案件（當然，也包括部分民事案件，我國古代歷來「刑民不分」）都是先交由事發地方政府審理（古代政府就是司法機關），然後上報中央各個司法機關，其中狄仁杰所在的大理寺一般負責審理京師判處「徒」（唐代刑罰分笞、杖、徒、流、死五個等級）以上案件，以及金吾衛查辦的案件，還有就是地方移送的死刑案件。唐代官場有個好傳統，就是並不諱言政府辦案會有冤假錯案，官員如果能糾正冤假錯案，往往會被當做政績加以宣傳，而不是出于官官相護的目的而加以掩飾。所以您要是翻開《舊唐書》、《新唐書》中很多官員的傳記，都會看到他們「為民申冤」的事跡，其中就包括狄仁杰。唐代司法機關也有辦事效率低下的弊端，據說很多案犯因為案件遲遲得不到審理，在環境惡劣的監獄里輾轉哀號，度日如年，天長日久案件越積越多，被稱為「滯獄」。
所以說，狄仁杰以極快的速度審案，本身就是一種德政，他的到來大大提高了大理寺的工作效率，減少了「滯獄」現象，他因此獲得了廣泛的贊譽。