Kiseleff toimi vapaana arkkitehtina vuoteen 1869 asti,  jolloin hänet nimitettiin yleisten rakennusten ylihallituksen arkkitehdiksi.  Hän toimi mm. Mikkelin lääninrakennuskonttorin esimiehenä.  Vuodesta 1875 vuoteen 1886 Kiseleff toimi ylihallituksen ensimmäisenä arkkitehtina. Hän suunnitteli Jyväskylän ohella myös Uudenkaarlepyyn ja Sortavalan seminaarin rakennukset sekä Kuopion lääninhallituksen tilat.

Sittemmin Kiseleff siirtyi yksityiseksi arkkitehdiksi Heikel & Kiseleff -toimistoon, joka oli  Suomen ensimmäinen varsinainen rakennusliike.  Hänet tunnetaan myös monista uusrenessanssirakennuksista Helsingissä.