В «Списках населенных мест Российской империи» за 1862 год деревня упоминается в качестве сельца с двойным названием - Натальино (Киселевка) при речке Хупте.

Списки нас. мест Ряз. губ. - СПб., 1862. - Т. 35. - С. 106

Киселевка образовалась в XVIII в. переселенцами из с. Глебское. Приютилась в междуречье Хупты и двух ее притоках-речушках, берега ихние илом киселились. Да и чернозем здешний после дождей кисельной массой оборачивался. Видать, потому и название хутору дано - Киселевка.

Душкин В. Крик Журавушки. //Авангард. (Ряжск). - 1991. -31 октября

Некогда здесь обосновал свой хутор некто Киселев. Со временем к нему поселилось еше несколько семей, и образовалась деревня Киселевка.

Дмитриевский Н. Н. ГАРО Ф. Р - 5039. Оп. 1. Д. 251, Л. 154

Название селения по фамилии землевладельца Киселева.

Журкин И., Катагощин Б. ГАРО Ф. Р - 5039. Оп. 1. Д. 455. Л. 44

Киселевка - ж. деревянный крюк, мутовка, коею мешают кипящий кисель. Кисель, киселина - ж. жидель, вязелица. топкая грязь.

Название достаточно широко распространено и в разных вариантах неоднократно встречается во многих областях страны. В Вологодской области - Киселево; в Хабаровском крае. Ростовской, Смоленской - Киселевка; в Кировской и Псковской - Кисели; в Ленинградской - Кисельня.

Атлас автомобильных дорог России. - М., 1998 г.