Fils d'un tailleur de pierre d'Aix-la-Chapelle, le chemin menant au métier d'architecte lui semblait tout tracé, même s'il n'a jamais obtenu de diplôme officiel. Familiarisé très tôt avec le métier du bâtiment dans l'entreprise de son père, il parti pour Berlin à l'âge de 19 ans, où il travailla dans les bureaux de Paul et Peter Behrens, deux figures centrales du mouvement réformateur.
Mies a réussi à accéder à des cercles aisés et instruits, en partie des collectionneurs qui ont dirigé son attention sur l'art moderne. Au début des années 1920, il conçu ses premières créations pour des gratte-ciel. Suite à l'échec de son mariage, il se mit à vivre une vie de célibataire, renonçant aux « ornements triviaux » conformément au modernisme. Cependant, il n'abandonna jamais de lui-même ses plans révolutionnaires d'espaces ouverts, surtout dans les villas, venant contrecarer le schéma de la maison bourgeoise, dans lesquelles les espaces dédiés aux hommes et femmes étaient séparés et où le personnel était isolé.
Les meubles étaient des sous-produits de ses constructions. Les étapes décisives en termes de design sont les travaux pour le projet du Weißenhofsiedlung à Stuttgart (1927) dont il était en charge, son pavillon allemand pour l'exposition mondiale de Barcelone (1929) ainsi que la villa Tugendhat à Brno, en Moravie (1930).
Sa carrière mondiale débuta avec la chaise cantilever sans pieds arrière présentée à Stuttgart, un concept de Mart Stam auquel il a apporté des améliorations. Il a parlé du siège MR 9O pour l'exposition mondiale comme d'un « objet monumental ». L'élément de surprise fut l'utilisation de bandes d'acier qui, relativement lourdes, rendent possible la forme de ciseaux très convaincante. Bien que les meubles ne furent au début produits qu'en séries limitées, ils furent précurseurs d'un style, tout comme la table en verre avec piètement croisé visible et la chaise longue avec ses flancs parallèles. Le nombre de plagiats et la recommercialisation enfin prospère ne révèlent pas seulement leur importance, mais également la poursuite de ses idées avec des designs significatifs à l'instar de Franco Albini ou Poul Kjaerholm, mais aussi des anti-designers d'Archizoom.
Bien que Mies van der Rohe soit d'ordinaire associé au Bauhaus, il avait déjà développé l'essentiel de ses œuvres avant d'en devenir le directeur en 1930. Les tentatives pour s'arranger avec la dictature du régime nazi ont échoué. À la fin des années 1930, il émigra aux États-Unis où il dirigea le département d'architecture de l'Institut de technologie de l'Illinois. Il resta jusqu'à sa mort un architecte sollicité dans le monde entier et, avec Marcel Breuer et Walter Gropius, l'un des grands maîtres du Style international.
