Когда-то здесь был мужской монастырь, основанный в XVI в. и получивший свое название от основателя и первого настоятеля монастыря - Адриана. Долгое время монастырь служил убежищем для беглых крестьян. В1764 году он был упразднен, а монастырских крестьян отписали Государственной коллегии экономии. Древняя церковь была подмыта и разрушена Окой. По рассказам местных жителей села Пустынь, последние остатки монастырских пещер обрушились в 40-50-х годах XX столетия. Раньше в них можно было найти человеческие останки. Легенда утверждает, что из пещер существовал многокилометровый подземный ход к Касимову.

Пустынь - небольшой монастырь в лесу, в малолюдной, пустынной округе. Место жительство отшельника. Первоначально - одинокая обитель.

Мурзаев Э. Словарь народн. геогр. терминов. - М., 1984. - С. 467.

Предания, в которых фигурируют пещеры и многокилометровые подземные ходы встречаются в Рязанской области в: Захаровском р-не (смотри место Большие Камушки у с. Троицкое), Кадомском р-не (смотри п. г. т. Кадом, родник Паника у п. г. т. Кадома), Михайловском р-не (смотри с. Печерники), Рыбновском (смотри с. Пощупово, с. Ходынино), Спасском р-не (смотри с. Троица), Скопинском р-не (смотри гора Дмитриева у с. Дмитриево).