Родился 26 января 1833 в г. Риге. Происходил из старинного немецкого рода. В 1853 окончил с золотой медалью Училище правоведения и был определен на службу в канцелярию 4-го департамента Сената младшим помощником секретаря с чином титулярного советника, затем старший помощник секретаря, секретарь. В 1857 назначен исправляющим должность астраханского губернского прокурора, спустя 2 года — директором Астраханского губернского комитета Общества попечительства о тюрьмах с пожалованием чина надворного советника. В 1860 вернулся в столицу.
Обстоятельства появления его в столице необычны. Однажды в вагоне 2-го класса он разговорился с незнакомым человеком в форменной фуражке Министерства юстиции: поведал попутчику о перипетиях провинциальной службы, высказал ряд соображений по лучшему устройству судебного ведомства. В конце разговора Фриш узнал, что беседовал с товарищем министра юстиции Д. Н. Замятиным, который и перевел его в Петербург обер-секретарем 2-го департамента Сената, а став министром юстиции (1862), назначил Фриша начальником 4-го отделения в департамент Министерства юстиции.
В 1863–1865 чиновник за обер-прокурорским столом в Межевом департаменте Сената, юрисконсульт министерства (с оставлением в прежней должности). Когда 4-е отделение было переименовано в законодательное (1865), Фриш стал его начальником и занимался всеми вопросами Судебной реформы, делами перестройки здания старого Арсенала, принадлежавшего ранее Военному министерству и переданного Министерству юстиции для новых столичных судебных установлений.
В 1865 действительный статский советник, член консультации при Министерстве юстиции. В 1866 назначен товарищем обер-прокурора Уголовного кассационного департамента Сената. Занимался непосредственно делами, связанными с введением в действие Судебных уставов и открытием новых судебных установлений в Петербурге и Москве. С 1867 временно исполнял должность обер-прокурора в Уголовном кассационном департаменте Сената вместо отсутствовавшего М. Е. Ковалевского, с 1870 — постоянно. В 1871 занял аналогичную должность в Общем собрании кассационных департаментов Сената.
О степени загруженности делами обер-прокуроров можно судить по такому факту: в 1871 Фриш и 4 его товарища (заместителя) дали более 2 тысяч заключений по делам.