Николай Николаевич Кармалин происходит из дворян Рязанской губернии; родился 25 мая 1824 года; первоначальное воспитание получил в 1-м Московском кадетском корпусе, а высшее образование в Николаевской академии генерального штаба, где кончил полный курс наук по 1 разряду. В службу вступил прапорщиком лейб-гвардии в Московский полк в 1842 году августа 8, а 22 того же месяца 1844 года был произведен в подпоручики. В 1847 году 25 августа поступил в Николаевскую академию генерального штаба и 6 декабря того же года произведен в поручики; в 1849 году по окончании курса наук выпущен из академии и 19 июня причислен к генеральному штабу. За отличные успехи в науках в Николаевской академии генерального штаба произведен в штабс-капитаны в 1849 году июня 28. В том же году во время войны против мятежных венгров за оказанную храбрость и понесенные труды Н. Н. Кармалину 13 августа объявлено Высочайшее благоволение. Рескриптом Его Величества Императора Австрийского к генерал-адъютанту Граббе Николай Николаевич удостоился получить 18 сентября 1849 г. живейшую признательность Его Величества на строгий порядок и неутолимые труды в Венгрии. За усмирение Венгрии и Трансильвании награжден был серебряной медалью. В 1850 г. 30 января Н. Н. Кармалин был причислен к гвардейскому штабу и в следующем назначен старшим адъютантом в штаб гвардейского пехотного корпуса по части генерального штаба. В 1852 г. за усердную службу удостоился получить 5 января благодарность Его Высочества Наследника Цесаревича и в том же году произведен в капитаны и назначен состоять при штабе Его Императорского Высочества Наследника Цесаревича, главнокомандовавшего гвардейским и гренадерскими корпусами. За усердную службу в том же году 22 декабря удостоился получить благодарность Его Императорского Высочества Наследника Цесаревича. В 1853 г. за отличное исполнение поручений по предмету чтения лекций тактики для старших офицеров гвардейского и гренадерского корпусов вновь удостоился получить благодарность Его Высочества и был назначен 28 октября исправляющим должность адъюнкт-профессора тактики в Николаевской академии генерального штаба. В 1854 г. во время войны с англо-французами находился в составе войск, охранявших прибрежье С. – Петербургской губернии, исполняя обязанности дивизионного квартирмейстера 1 легкой гвардейской кавалерийской дивизии. В 1855 году Н. Н. Кармалин произведен в полковники и 19 февраля при вступлении на престол Государя Императора Александра Николаевича ему объявлено, в числе прочих, Высочайшее благоволение. Высочайшим приказом, состоявшимся 14 января 1856 года, назначен исправляющим должность обер-квартирмейстера гвардейского пехотного корпуса и в том же году 26 августа за отлично-усердную и ревностную службу Всемилостивейше награжден орденом св. Станислава 2 ст. и пожалован бронзовой медалью в память войны 1853–1856 гг.; кроме того, за смотры, маневры, ученья и парады в присутствии Государя Императора в том же году Н. Н. Кармалину объявлено Именное Высочайшее благоволение.
В 1857 году 1 января Высочайшим приказом он назначен начальником штаба 2-й гвардейской пехотной дивизии и в том же году за отлично-усердную и ревностную службу Всемилостивейше награжден орденом св. Станислава 2 ст. с Императорской короной. В 1858 году за смотры и парады объявлено именное Высочайшее благоволение. Высочайшим приказом 24 января 1859 года назначен исправляющим должность начальника штаба 3-го армейского корпуса с переводом в генеральный штаб и 22 августа того же года награжден знаком отличия беспорочной службы за XV лет.