В 1392 году великий князь литовский Витовт разбил крымских татар и угнал на север пленников – среди них были караимы. Их поселили в Троках (теперешний Тракай возле Вильнюса)‚ и в 1484 году руководители трокской общины попросили караимов Стамбула прислать учителя. Им написали в ответ: «Знайте, что такой человек не оставит свою семью и свой дом, чтобы отправиться в далекую страну… Присылайте к нам образованных юношей, умеющих читать книги, мы научим их Торе и мудрости… после этого они вернутся к вам и будут учить Торе Израиль…» Так оно и происходило: молодые люди учились в Стамбуле, затем возвращались обратно и привозили книги.
Караимы появились также в Луцке и Галиче‚ расселились по городам Волыни‚ Подолии и Литвы. В переписи населения города Луцка за 1552 год помечены «жидове‚ которые слывут караимове – Авраам Шмойлович‚ Богдан Мошеевич‚ Нисан Родкевич‚ Моисей Агронович‚ Иегуда Данков сын»; указаны и «жидове-рабанове – Шмойло‚ Герцко‚ Мордуш‚ Ицка‚ Мошко‚ Песля вдова» (25 караимских семей и 31 семья евреев-раввинистов).
В шестнадцатом веке Ицхак бен Авраам, врач-караим из Трок, написал книгу «Крепость веры», чтобы евреи могли обоснованно отвечать христианам во время дискуссий о вере. Книга разошлась в рукописях в еврейских общинах Европы и Африки, переводили ее и на европейские языки; в предисловии к ней рабби Ицхак написал: «В юности я был вхож в замки и дворы министров и высокопоставленных чиновников (христиан), насмотрелся на всякие ошибки и искажения в книгах, написанных ими. Наслушался я их, но не то говорят они, ибо приводят странные и безграмотные суждения, радостно множат слова без понимания…»
Моше Изгнанник написал сочинение, критикующее религиозный кодекс караимов, составленный ученым Аароном. Это вызвало ожесточенные споры, караимы «пришли в содрогание и очень этим огорчились», один из них написал в ответ: Моше – «человек, запутавшийся в сетях ума своего, надевший мантию лжи и вымыслов, возымел наглость подвергнуть критике нашего ученого, светило диаспоры, рабби Аарона… и я заострил свои стрелы, чтобы метнуть их в лисицу, напавшую на льва…»
Центром караимов в Крыму стал город Чуфут-Кале возле Бахчисарая‚ который они называли «Еврейская скала», (по-татарски «Еврейская крепость»); в отчетах русских посланников его именовали впоследствии «жидовским городком». Караимы составляли там большинство населения, в середине семнадцатого века турецкий дипломат сообщал: «Даже комендант крепости, команда, стража и привратники – всё это евреи… Воистину, ни в одной стране нет подобной крепости».
Отношения между караимами и прочими евреями часто бывали напряженными; караимы не заключали браки с раббанитами‚ по субботам не заходили в их дома, не ели их пищу. Но, несмотря на споры‚ судьба была поначалу одинаковой: и тех‚ и других изгнали из Литвы в 1495 году, и тех‚ и других грабили во время набегов донские и запорожские казаки. Сохранилась рукопись «Книги памяти», где рассказано о гибели караимов Украины во время восстания Хмельницкого. «Я запишу в память о душах членов нашей общины, погребенных в могилах города Деражное, которые жили там с давних пор; за многочисленные грехи наши убиты они, а остаток их рассеян проклятым Хмелем-злодеем…»
Йосеф бен Иешуа написал элегию о гибели общины Деражного:
В крымском городе Мангупе, на горном плато в районе Бахчисарая, была караимская община. В 1793 году, во время российского правления, караимов изгнали из Мангупа; они перенесли в Чуфут-Кале камни от своей кенассы (синагоги), построили из них новую, однако не забывали про свой город, надеясь туда вернуться. Известна с тех времен «Песня о Мангупе» на диалекте татарского языка, которую написал «страдающий Симха»: