刀削面已經流傳了幾百年了。據說蒙古韃靼人占領了中原，建立了元朝。為了防止百姓造反，統治者沒收了各家各戶的金屬器皿，並做出相關規定:十戶壹把菜刀。切菜和做飯輪流使用，然後還給韃靼人保管。
壹天中午，壹個老大爺的老伴把面條做成面團，讓他去拿菜刀。結果刀被收走了，老人只好回家等著。誰知老人剛出韃靼門，就被什麽東西觸動了。他低頭壹看，發現那是壹塊薄薄的鐵，於是他悄悄地把它撿起來，放在懷裏。回家後鍋壹直響，全家等著吃面條，刀卻沒拿回來，老人急了。
突然，他想起了懷裏的鐵片，拿出來說:“用這個鐵片切飛機！”"我老婆壹看，鐵片又薄又軟，就嘟噥道:"這麽軟的東西怎麽能削面呢？”老人生氣地說，“動不了就砍。“‘剁’字讓我老婆想起了她把面團放在木板上揉的情景。她左手拿起，右手拿著鐵片，站在鍋邊把面條“剁”進開水鍋裏。壹塊塊面條掉進鍋裏，煮熟，撈出來放到碗裏，澆上鹵水給老人吃。老人壹邊吃壹邊誇。就這樣，壹傳十，十傳百，傳遍了三晉大地，受到了人們的青睞。
後來“鳳陽”朱元璋統壹了中國，建立了明朝。這種“刀削面”在商販中流傳，幾經改良，成為今天風味獨特的刀削面。
刀小面用刀切，刀切出來的葉子中等粗細。鋒利的邊緣，形狀像柳葉；入口軟而不粘，越嚼越香，深受面食愛好者的喜愛。它與北京的打鹵面、山東的逸夫面、河南的烤魚面、四川的擔擔面並稱為五大著名面食，久負盛名。