По воспоминаниям Лидии Осиповой, в роковой день 26 января 1932 года состоялось заседание бюро райкома партии, обсуждавшее вопрос коллективизации. Мадат выступив на заседании, раскритиковал стремление ретивых местных чинуш незамедлительно, посреди зимы, загнать крестьян в колхозы, что было равносильно обречению их на голодную смерть. Разгорелся спор, дошедший до личных оскорблений. Руководство райкома, спешащее отрапортовать о завершении коллективизации, припомнило Осипову его «национализм», навесив на него еще и ярлык троцкиста. В тот же день на пути из районного центра домой он встретил свой смертный час возле родника в селе Карачинар. Годы спустя, в 1960-х, сельский врач Арутюн Авакян расскажет Карлу Осипову, что был одним из первых, кто видел Мадата после гибели — неподвижно сидящего на земле под гигантским орешником с наганом в правой руке и пулевым отверстием у левого виска. Застрелиться подобным образом невозможно, но страх вынудил врача промолчать.
Ярлык националиста и троцкиста еще долго преследовал имя Мадата Осипова. Его старший сын Мурад, участник Великой Отечественной, учась после войны в Московском государственном университете, намеревался в 1947 году вступить в партию. Секретарь первичной партийной организации факультета после долгих откладываний рассмотрения его заявления, сообщил ему, что по информации, полученной из ЦК Компартии Азербайджана, его отец Мадат Осипов был националистом и троцкистом, поэтому путь в партию для его сыновей закрыт. Действия Мурада в сложившейся ситуации были неожиданными, неординарными и отчаянными. С просьбой о принятии в партию он обращается в письме лично к Сталину, излагая вышеприведенные обстоятельства и подробную биографию своего отца. В письмо была вложена и групповая фотография начала 1920-х годов, на которой среди прочих запечатлены Сталин и М. Осипов. Через некоторое время Мурад неожиданно для себя удостоился высочайшей аудиенции, оказавшей неоценимое влияние на его судьбу и судьбу его братьев. Через несколько дней после посещения кабинета Сталина Мурада приняли в партию, тем самым сняв фамильное проклятие и с других потомков Мадата Осипова (
Еще один факт. В начале 1980-х годов по инициативе первого секретаря комитета партии Шаумяновского района Азербайджанской ССР Р. Мирзоева одну из улиц села Карачинар намеривались назвать именем Мадата Осипова. С целью сбора достоверных сведений о его жизни и деятельности в Баку, в архив Азербайджанского филиала Института марксизма-ленинизма был командирован внук Мадата — Владимир Михайлович Осипов, работавший в то время инструктором райкома. Директор филиала ИМЛ профессор Кулиев, узнав о цели командировки Владимира Осипова, заявил: «Этому не бывать, он был националистом» и не разрешил работать в архиве.