Прибыв в Москву, Стевен проводит несколько недель у известного ботаника Стефана. Вмести со Стефаном они предпринимают длительное путешествие вниз по Волге и Тереку, по окончании которого прибывают в Кизляр. За время путешествия ими были собраны значительные ботанические и энтомологические коллекции.В августе они продолжают путешествие по Кавказу. Прибыв в Георгиевск, они встречаются с графом Мусиным-Пушкиным, который отправился на Кавказ для исследования минеральных источников. Они приняли участие в обследовании сернистых источников в Константиногорске и источника Нарзан. Путешествие проводилось при сильном конвое, эти места не посещались учёными с момента пребывания здесь Палласа в 1793.Позже, с 1826 по 1851 годы, Стевен служил в инспекции шелководства на Кавказе. Он много путешествовал по Кавказу. Поселился вКрыму, флору которого он изучал много лет. В Симферополе Стевен жил и работал в 1820—1863 годах.До недавнего времени сохранялся в Симферополе одноэтажный дом X. X. Стевена, в котором ученый жил и работал в 1820— 1863 гг. Здание состояло на государственном учете, его арендатором была школа УВД. И тем не менее — разрушено, самовольно снесено в 1977 г. На месте дома в 1997 году установлен памятник Стевенам.В 1815 г. X. X. Стевен ходатайствовал о создании в Симферополе сада, «из которого распространялись бы в стране плодовые деревья всевозможных сортов, как это уже имеется в Никитском саду», однако проект не был поддержан. В 1846 г. X. X. Стевен выдвинул идею использовать Днепр для орошения крымских земель. «Высокозамечательно не только в экономическом, но и в общественном отношении»,— писал Стевену его современник академик П.И. Кеппен. И этот проект для царской России был фантастичен.Последние годы жизни Стевен жил и работал в Судаке.Умер в Симферополе в ночь с 17 на 18 апреля 1863 г.[1]