Podczas gdy astrologia i chiromancja utrwaliły się od dawna w świadomości ludzi jako dziedziny wiedzy, za pomocą których można ocenić charakter człowieka, sztuka czytania z rysów twarzy jeszcze nie zyskała podobnej rangi. Wiadomo o jej starożytnym rodowodzie w Europie, gdzie sztuka ta po raz pierwszy rozwinęła się w starożytnej Grecji.
W Chinach zaś jej historia jest tak długa, że nikt nie wie, kiedy się zaczęła. Niektórzy ze specjalistów posługują się frenologią - badaniem ukształtowania czaszki - i chiromancją, aby bardziej wyczerpująco i szczegółowo czytać z twarzy. Połączenie tych trzech dziedzin wiedzy nazywa się kan xiang.
Chińczycy uważają, że całe ludzkie życie nie jest wystarczająco długim okresem, by dokonać odpowiednio pogłębionych studiów nad sztuką czytania z twarzy. W czasach, gdy sztuka czytania z twarzy została zdyskredytowana na Zachodzie, Chińczycy nadal ją pielęgnowali. Cieszyła się powszechnym szacunkiem nawet podczas rewolucji kulturalnej. Tradycyjną wiedzę pieczołowicie kultywowano i udoskonalano, zaś wybitni specjaliści w tej dziedzinie pracujący poza granicami Chin - np. Tan Sri Lee Siow Mong w Singapurze - zdołali przekazać tę wiedzę na Zachód, w okresie, kiedy Chiny pozostawały w izolacji. Zarówno na Wschodzie, jak i na Zachodzie przekonanie, że przez obserwację twarzy i, do pewnego stopnia ciała, można uzyskać wgląd w osobowość i przeznaczenie człowieka - wywodzi się z idei człowieka jako mikrokosmosu we wszechświecie. Najpełniej idea ta ukształtowała się w Grecji i w rezultacie przyczyniła się do rozwoju wiedzy okultystycznej. Podczas gdy w Chinach starożytne reguły, ustalone wiele wieków temu, były wciąż otaczane najwyższą czcią, na Zachodzie, szczególnie od XVI wieku, czyniono liczne próby rozwinięcia sztuki czytania z twarzy i wzmocnienia jej dowodami naukowymi.
Osiągnięto w tej dziedzinie pewne sukcesy, ale jednocześnie spowodowało to odrzucenie znacznej części tradycyjnej wiedzy. W Europie największe zasługi w sztuce czytania z twarzy należy przypisać Grekom. Chociaż zarówno filozof Empedokles (490-430 p. n.e.), jak i uczony Hipokrates (ok. 460-337 p. n.e.), zajmowali się studiami nad tą dziedziną wiedzy, pierwsze systematyczne opracowanie na ten temat wyszło spod pióra Arystotelesa (384-322 p. n.e.). Przyjrzał się on uważnie ludzkiemu ciału, zarówno męskiemu, jak i kobiecemu, oraz jego oczywistym związkom z istotą duszy, która się w nim znajdowała. Arystoteles dokonał również szczegółowego badania twarzy, sugerując na przykład, że ludzie o nosach jak kartofel charakteryzują się brakiem wrażliwości, a nawet skłonnością do nikczemnego postępowania, osoby o ostrych nosach są wybuchowe i łatwo je sprowokować, jednostki o dużych, okrągło zakończonych nosach przypominają lwy i odznaczają się wspaniałomyślnością, zaś cienki, haczykowaty nos świadczy o szlachetności, choć obdarzone nim osoby rzucają się na ofiarę niczym orły.
Arabowie wnieśli wkład do badań nad czytaniem z rysów twarzy dzięki dziełom Alego Ibn Abi ar-Ridżala, Ar-Raziego abu Bakra Muhammada ibn Zakarijji i Awerroesa. W XIII wieku uczeni - Albertus Magnus i Michael Scott - uczynili wiele, by przybliżyć tę sztukę Europie Zachodniej, a w XVI stuleciu pojawiło się mnóstwo książek na ten temat. Do najważniejszych prac zalicza się słynna rozprawa astrologa Girolama Cardana (1501-1576) "De Subtilitate rerum" (1551). Giambattista Della Porta (1541-1615), fizyk, założył Academia Secretorum Naturae w Neapolu, dokonał licznych badań nad fizjonomią, analizując całe ciało, i przedstawił swoją teorię na temat czytania z rysów twarzy w "Humana physiognomonia" (1586). Włoski filozof i dominikanin, ksiądz Tomasz Campanella (1568-1639) podkreślał, że zajął się sztuką czytania z twarzy, gdyż filozofia powinna być oparta na obserwacji świata przyrody.
W Chinach, na przestrzeni co najmniej dwóch tysięcy lat, rozwijał się inny system interpretacji rysów twarzy. Istnieją analogie pomiędzy systemem chińskim a metodą zachodnią, na przykład teoria Pięciu Żywiołów. W chińskim systemie liczy się Pięć Żywiołów - ogień, ziemia i woda odgrywają ważną rolę również w zachodnich systemach, chociaż nikt szczegółowo nie porównał obu tych systemów w czasach starożytnych. W XVI wieku wydano wiele książek w języku angielskim, niektóre autorów anonimowych, jak na przykład "A Pleasant Introduction to the Art. Of Chiromancie and Physiognomie, Contayning a Singular Discourse After the Art. Of Physiognomie", opublikowana w 1588 roku. Do najciekawszych prac na Zachodzie (w nieco nowszych czasach) można zaliczyć monografię autorstwa Johanna Kaspara Lavatera (1741-1801), szwajcarskiego pastora, który w niezwykle obszernej pracy na temat fizjonomii, opublikowanej w latach 70. XVIII wieku, podkreślał, że charakter mężczyzny lub kobiety można wyraźnie odczytać, obserwując charakterystyczne cechy ich fizjonomii.
O ile praca Lavatera była w pewnym sensie amatorska, o tyle wielki przyrodnik Karol Darwin (1809-1882) zbadał ten temat z naukowego punktu widzenia, podobnie jak Montegazza i Pideret. W minionym stuleciu nauka, w tym nawet psychiatria, traktowały czytanie z rysów twarzy - podobnie jak astrologię i chiromancję - co najmniej ze sceptycyzmem, a często nawet z pogardą, wynikłą z przekonania, że należy ignorować teorie powszechnie krytykowane.
