За основу аэродинамической компоновки самолета была взята схема истребителя F-102A. Кроме меньшего волнового сопротивления схема "бесхвостка" с дельта видным крылом позволяла снизить потери подъемной силы на балансировку в сверхзвуковом полете по сравнению с самолетом обычной схемы.[18]
Для того, чтобы еще больше "сгладить" влияние сдвига фокуса крыла на сверхзвуковой скорости, В-58 оборудовали системой автоматической перекачки части топлива в специальный хвостовой бак: перемещение центра тяжести отчасти компенсировало сдвиг фокуса назад. Передняя часть крыла, так же, как на F-102A, имела коническую крутку и угол стреловидности 60°.Заданную максимальную скорость полета должны были обеспечивать четыре новейшие турбореактивные двигателя Дженерал Электрик J-79. На начальной стадии проектирования самолета их планировали установить в двух сдвоенных гондолах под крылом, однако распределение поперечных сечений при такой схеме не соответствовало "правилу площадей". Поэтому в конце 1954 г. двигатели решили разместить по отдельности на четырех выдвинутых вперед пилонах. При этом удалось добиться компоновки, почти идеально отвечающей "правилу площадей".
Бомбардировщик делали в основном из обычных алюминиевых сплавов, но технология изготовления обшивки была новаторской. Обшивка имела слоеную конструкцию из тонких дюралевых листов, наклеенных на алюминиевый сотовый наполнитель, напоминающий пчелиные соты (в частях крыла, подверженных нагреву от реактивной струи двигателей, вместо алюминия применялась более жаропрочная нержавеющая сталь). Производство такой обшивки было трудоемким, но зато обеспечивало высокую жесткость и меньшую теплопроводность поверхности, а также снижало относительный вес конструкции планера самолета на 10—15%.
Управление элевонами и рулем направления осуществлялось с помощью необратимой гидравлической бустерной системы. Без этого пилотирование самолета было бы невозможно: при полете на максимальной скорости шарнирный момент элевона достигал 16500 кгм. Так же, как на F-102, система управления была в значительной степени автоматизирована и снабжена демпферами колебаний. Например, угол отклонения элевонов, необходимый для продольной балансировки самолета, мог устанавливаться автоматически. Наивыгоднейшую скорость захода на посадку, зависящую от веса аппарата, также определял бортовой вычислитель. Впервые в авиации приборы, управляющие полетом, были выполнены на основе полупроводников. Это позволило значительно уменьшить вес бортового оборудования.
Зауженный по условиям "правила площадей" фюзеляж, начиненный, к тому же, оборудованием и топливными баками, не оставлял места для бомбового отсека. Поэтому термоядерную бомбу весом около 3 т пришлось разместить в специальном контейнере под самолетом. Он имел длину 17,4 м и диаметр 1,5 м. Кроме бомбы контейнер мог вмещать более 10 т топлива. В полете топливо вырабатывалось, и бомба вместе с контейнером сбрасывалась на цель.
Экипаж включал трех человек: летчика, штурмана-бомбардира и оператора оборонительной системы, состоящей из хвостовой пушечной установки и средств для создания радиолокационных помех. Все они находились в отдельных герметичных кабинах. С 1962 г. вместо катапультируемых кресел кабины экипажа оборудовали индивидуальными спасательными капсулами, снабженными ракетными двигателями, амортизаторами, кислородной системой и надувными баллонами (на случай посадки на воду). Капсула обеспечивала покидание самолета на скоростях от 185 км/ч на нулевой высоте до 2100 км/ч на большой высоте. Первое испытание системы катапультирования на сверхзвуке прошло в марте 1962 г. Вместо человека в капсулу поместили медвежонка; он остался цел и невредим.
Из-за висящего под фюзеляжем "топливно-бомбового" контейнера шасси имело необычно большую высоту стоек. Колеса, наоборот, были очень маленькие, меньше, чем у легкового автомобиля — их диаметр составлял всего 0,56 м. Это было сделано для того, чтобы при уборке они могли уместиться в крыло, относительная толщина которого равнялась всего 3%. На каждую из боковых стоек крепилось по восемь колес, менее нагруженная передняя стойка несла два колеса.
Взлетный вес бомбардировщика составлял около 68 тонн, большая часть которого приходилась на топливо: 32500 кг — во внутренних баках, 12300 кг — в подвесном контейнере.