В центре повести — унылый флигель городской больницы и палата №6, где содержатся пять «умалишённых». Описание местообитания — ржавый домик с полуразрушенной трубой, запущенный двор, железные решётки на окнах, удушливые запахи и грязные койки — задаёт тон всему рассказу: учреждение больше похоже на тюрьму, чем на лечебницу.

Главные действующие лица палаты — сторож Никита, грубый, любящий порядок через побои; Мойсейка, простой еврейский «дурочек», свободно гуляющий по городу; паралитик; толстый апатичный обжора; бывший сортировщик с мечтами об орденах; и, главное, Иван Дмитрич Громов — когда‑то служащий из благородного рода, теперь помешанный, страдающий манией преследования и мучительно мыслящий человек. Через ретроспективу читатель узнаёт о гибели семьи Громовых, экономическом падении Ивана, его университетских наклонностях, нравственной чистоте и последующем нервном срыве, вызванном страхом перед несправедливостью суда и произволом.

В больнице появляется доктор Андрей Ефимыч Рагин — образованный, мягкий, несколько апатичный человек, разочарованный в медицине и в обществе. Он цинично рассуждает о бессмысленности многих врачебных усилий, но одновременно любит ум и живую беседу. Впервые он всерьёз вступает в диалог с Иваном Дмитричем; их разговоры становятся центром произведения: здесь пересекаются философские споры о смысле страдания, достоинстве, уразумении жизни и роли интеллекта. Между ними завязывается сложная связь — сочувствие, восхищение и взаимное обнажение уязвимостей.

Во флигеле появляются и другие фигуры: молодой амбициозный врач Хоботов, почтмейстер Михаил Аверьяныч, бытовые мелочи и сплетни городка. Рагин, в поисках смысла, временно меняет привычную жизнь, ездит с почтмейстером, возвращается обедневшим и в конце концов сам оказывается помещённым в палату №6 — как жертва той же системы, которую он критиковал. Его унижают, бьют; под давлением и стыдом у него случается апоплексический удар — он умирает в больничной часовне. На похоронах — только немногие: Михаил и служанка Дарьюшка.

Повесть исследует тему нравственной грязи социальных институтов, хрупкости интеллекта и сострадания, противостояния теории и жизни. Автор показывает, как «ум» и благие намерения беспомощны перед рутинной жестокостью и безразличием, а также как легко человек, даже образованный, может попасть под власть общественного механизма, превращающего заботу в унижение.