Что касается самих хазар, то письмо Иосифа содержит характерную легенду об их происхождении, основанную на библейской традиции. Иосиф относит хазар к сынам Иафета, потомству его сына Гомера, а именно к Тогарме (Фогарме): это отождествление имеет глубокие и даже «историчные» истоки не только потому, что народы Европы и кочевники Евразии традиционно относились к потомкам Иафета, но и потому, что имя Гомер восходит к наименованию киммерийцев, под Тогармой же традиционно понималась в древних источниках Армения. Боспор Киммерийский и Закавказье действительно были регионами первоначальной активности хазар. К сыновьям Тогармы Иосиф причисляет эпонимы: Авийор (Уюр, Агийор в краткой редакции письма), которого отождествляют с иверами-грузинами или угурами-огурами; Тудис (Тирас краткой редакции, традиционный библейский этникон); Аваз (Авар краткой редакции), эпоним аваров; Угуз — эпоним гузов (узов), Биз-л — предположительно
Списки народов, относящихся к потомству Тогармы, в двух источниках не совпадают; показательно при этом, что в Иосиппоне хазары возглавляют список, что, видимо, отражает представления об их господствующем положении, у Иосифа же, напротив, подчеркивается, что его предки были малочисленны и Хазар был лишь седьмым сыном Тогармы. Могущество их возросло после того, когда им удалось победить многочисленных врагов, названных В-н-т-р, которых хазары преследовали до реки «Дуна» — Дуная. Предполагают, что это имя относится к племенному объединению оногуров в Великой Болгарии, которое включало болгар Аспаруха, бежавших от хазар за Дунай. Тогда хазары овладели страной В-н-т-р, которой обладали до времени правления Иосифа.
Происхождение хазар царь Иосиф связывает, таким образом, с группой тюркских народов. Арабские географы сообщают, однако, что хазары отличались от тюрков: согласно автору X в. ал-Истахри, они делились на две группы — «кара-хазары» или черные хазары, смуглые, как индийцы, и белые хазары, отличающиеся красивой внешностью. Современные исследователи склонны усматривать в этих группах правящий слой — собственно хазар (белых хазар) — и зависимых «черных» людей; ал-Истахри под черными хазарами имеет в виду прежде всего рабов из страны хазар, оказывающихся на восточных рабских рынках: рабы принадлежат к язычникам, т. к. только язычники, но не находящиеся среди хазар иудеи и христиане, разрешают продажу детей и сородичей в рабство. Возможно, такое значение термина