В 1871 году «медицинский» период истории карелинского дома закончился. Больница переехала, а на ее месте разместили тюрьму – арестный дом. Тесновато в нем было арестантам, которые старались пересидеть голодное зимнее время на казенных харчах. На содержание таких сидельцев казна отпускала по гривеннику в день. Да еще и выдавали одежду.
Для сравнения: поденному рабочему платили по 15-20 копеек в день, но тем надо было самим тратиться и на ночлег, и на одежонку. Порядки в арестном доме были довольно вольными, и случалось, надзиратели и заключенные вместе ходили в местный кабак.
В 1903 году тюрьму перевели отсюда в новопостроенный арестный дом на Ново-Покровской. В карелинский дом въехали квартиранты. Во время I мировой войны столь много повидавшие стены приняли военный госпиталь.