Главным конструктором самолета был назначен А.Н. Туполев. Сейчас это имя знакомо каждому, а тогда он построил лишь один самолет — деревянную авиетку АНТ-1, цельнометаллические одномоторные АНТ-2 и АНТ-3 только задумывались, и решение отдать такой заказ не имеющему практического опыта коллективу было рискованным. В Институте не было даже помещения, где можно было собрать отдельные агрегаты большого самолета, не говоря уже о его окончательной сборке. Для этого «национализировали» трактир неподалеку от самого ЦАГИ в центре Москвы.
Когда в 1923 году перечислили аванс, был установлен срок передачи бомбардировщика на испытания — девять месяцев. Но окончательно Заказчик смог определиться с требованиями к самолету лишь в 1926 году и все время, пока машина строилась, менял «условия задачи». Проектирование было начато 11 ноября 1923, года и в тот же день на верстаках появились первые заготовки — выполнение чертежей и строительство шли параллельно, конструктор часто брал в руки молоток, рабочий подсказывал ему, где удобнее пустить профиль или склепать листы металла.
Схема биплана пока обеспечивала наиболее высокие летные данные, но у нее были очевидные недостатки — дополнительное аэродинамическое сопротивление создавали многочисленные стойки и растяжки, которые придавали бипланной коробке прочность и жесткость. Это сопротивление вместе с лобовым сопротивлением самих крыльев, оперения, шасси, фюзеляжа и мотогондол составляет так называемое «вредное» сопротивление самолета. Но кроме него есть еще и индуктивное сопротивление, причиной которого является сама подъемная сила крыла — разность давлений над и под крылом стремится выровняться, что приводит к образованию вихревых течений, тормозя летящий самолет. Кроме того, было уже известно, что потоки воздуха, обтекающие все агрегаты, взаимодействуют, вызывая дополнительное сопротивление интерференции. Особенно значительный вклад в эту составляющую сопротивления могли вносить крылья биплана, если конструктор выберет неудачное их взаимное расположение.
Считалось, что главным является лобовое сопротивление, пренебрежение индуктивной составляющей стало причиной неудач со многими проектами той поры, например, с самолетом КОМТА. Теоретики ЦАГИ определили схему, которая должна была обеспечить самолету наивысшие летные данные: свободнонесущий (т. е. без поддерживающих крыло стоек, растяжек) низкоплан с расположением моторов на крыле. Каркас был ферменный из стальных и дюралюминиевых труб и гнутых профилей. Он воспринимал всю нагрузку от веса агрегатов, бомб, бензина и т. п., обшивка же, как считалось, лишь передавала на него распределенную по всему самолету силу давления воздуха в полете и была минимальной толщины. Полотняная обшивка «держала воздух» за счет натяжки, образующейся при высыхании аэролака, металл же для жесткости делали гофрированным, что почти вдвое увеличивало вес 1 м2 листа и его «смачиваемую поверхность», т. е. его реальную площадь с учетом гофра, которая определяла еще одну составляющую сопротивления самолета — сопротивление трения.
Строго по заданию 11 августа 1925 года все основные части АНТ-4 были готовы, Комиссия нашла их годными, и через разбитую стену при большом стечении зевак их спустили на улицу Радио и оттуда вывезли на Ходынку. Но пока агрегаты стыковали, устанавливали моторы (английские Нэпир «Лайон»), регулировали управление и ставили приборы, настала глубокая осень, и только 26 ноября летчик А.И. Томашевский поднял самолет в воздух. Именно эту дату можно считать настоящим днем рождения советской тяжелой авиации и конструкторского бюро Туполева, основного поставщика тяжелых бомбардировщиков для Красного Воздушного Флота.
Испытания первого самолета были закончены 10 июля 1926 года. Несмотря на общий успех, было решено строить второй опытный самолет и внести в него все изменения, желательность которых показали испытания первого. «Дублер» получил крыло меньших размеров, фюзеляж стал длиннее, а вместо моторов «Лайон» (англичане передумали их продавать) поставили новейшие немецкие BMW Viz, выпуск которых налаживался на заводе № 24 в Москве. Строительство «дублера» и отработка на нем усовершенствований было долгим и дорогим делом, но это позволяло решить многие проблемы до начала серийного производства и эксплуатации самолета, и в дальнейшем было принято в СССР безоговорочно. На «дублере» впервые поставили полный комплект вооружения (3 спаренных «Льюиса» (Levis), 730 кг бомб), аэрофотоаппарат и даже радиостанцию, редкость по тем временам. Экипаж Михаила Громова облетал его в начале 28 года. Государственные испытания самолета начались 15 августа 28-го и закончились 26 марта 29-го года. АНТ-4 был принят на снабжение ВВС РККА под наименованием «тяжелый бомбардировщик — первый», ТБ-1.