Родился в Мюнхене 8 февраля 1880 в семье художника. Мечтал стать священником, но в 1900 обратился к искусству и до 1903 занимался в мюнхенской Академии художеств. Побывав в Париже (впервые в 1903), испытал влияние французского импрессионизма и постимпрессионизма.

В ранних вещах сохранял традиционную, более натуралистичную палитру, хотя стремился к ритмическим обобщениям форм в духе символизма; с 1908 лейтмотивом его живописи стал образ лошади на фоне пейзажа. Тогда же, к концу 1910-х годов, в переписке со своим другом, художником А.Макке, разработал собственную теорию цвета, где придавал каждому из основных цветов особый духовный смысл (синий воплощал для него «мужское» и «аскетическое» начало, желтый – «женское начало» и «радости жизни», красный – гнет «грубой и тяжелой» материи). В 1911 примкнул к «Новому мюнхенскому художественному объединению», где ведущую роль играл В.В.Кандинский. В том же году Марк и Кандинский вышли из объединения, основав группу «Синий всадник» и выпустив (в 1912) одноименный альманах, украшенный их гравюрами и рисунками.

Зрелые картины мастера посвящены животным, представленным как высшие, более чистые существа по отношению к человеку, который казался Марку слишком безобразным. Среди характерных картин этого рода, с их плавными ритмами и яркими и в то же время драматичными цветовыми контрастами, – Красные лошади (1910–1912, Музей Фолькванг, Эссен). Под влиянием итальянского футуризма художник начал разлагать формы на составные плоскости, делая свои образы более динамичными (Судьба животных, 1913, Художественный музей, Базель). Апокалиптические настроения, свойственные этим вещам, достигли апогея в последнем его большом анималистическом полотне Башня синих лошадей (1913; не сохранилось). Затем Марк перешел к абстрактной живописи, стремясь выразить основные мотивы своего творчества в композициях, комбинирующих чистые красочные и линеарные эффекты (1914).