Рассказы из цикла выходили в 1923–1924 годах, сначала в одесской газете «Известия», а потом в московских литературных журналах «Леф» и «Красная новь». В 1926-м они были собраны в книгу. Позже Бабель дополнял и дорабатывал свой цикл, последними он написал рассказы «Аргамак» и «Поцелуй».

      «Конармии» с самого начала сопутствовал читательский успех. Кроме Горького, Маяковского и главного редактора «Красной нови» Александра Воронского, которые высоко ценили, публиковали и всячески поддерживали Бабеля, новеллы хорошо приняли и пролетарские критики: например, один из руководителей Всероссийской ассоциации пролетарских писателей Г. Лелевич в журнале «На посту» писал, что в бабелевских рассказах имеются «все признаки огромного таланта и мастерства: изумительный лаконизм, умение немногими словами дать законченный, навсегда врезывающийся в память образ, яркая оригинальность, полное неразрывное соответствие между содержанием и формой, несравненный, красочный, сочный, выразительный народный язык…» Правда, такая оценка не помешала разгореться скандалу. Рассказами были оскорблены командиры 1-й Конной Будённый и Ворошилов. И хотя едва ли Будённый действительно сам читал книгу, в журнале «Октябрь» вышла заметка от его имени под заголовком «Бабизм Бабеля в "Красной нови"», где Бабель назван «дегенератом от литературы», а его тексты – клеветой и безответственными небылицами. Главным защитником Бабеля стал Горький, вступивший в публичную полемику с Будённым. Он утверждал, что рассказы возбуждают любовь и уважение к бойцам 1-й Конной, показывают их героями, которые «глубоко чувствуют величие своей борьбы». Горький также сравнил конармейцев Бабеля с запорожцами Гоголя и предложил товарищу Будённому «не судить о литературе с высоты своего коня». Скандал сошёл на нет, но разгорелся снова в 1928 году, после выхода книги. Впрочем, к тому моменту Бабель уже стал литературной знаменитостью – и успеху «Конармии» ничто не помешало.

      Бабель постоянно дорабатывал «Конармию», книга выдержала несколько переизданий – последнее прижизненное издание вышло в 1933 году, хотя последние рассказы цикла были написаны в 1937-м. В 1939 году Бабеля арестовали, в 1940-м – расстреляли по ложному обвинению в шпионаже.