Właściwości igły magnetycznej odkryto w Chinach. Chińczycy używali jej w postaci tzw. łyżki magnetycznej do przepowiedni i wróżb. Igła magnetyczna miała zwykle kształt małej rybki pływającej w naczyniu z wodą. Później odkryto, że igła pozostawiona swobodnie zawsze ustawia się w linii północ-południe i zaczęto używać kompasu do nawigacji morskiej. Stało się to ok. IV wieku p.n.e. Igły magnetytowe miały najczęściej kształt figurek ryb bądź innych zwierząt.
Pierwsze udokumentowane wzmianka o kompasie pochodzi z czasów dynastii Han, m.in. z roku 83. W tym okresie zbieracze nefrytu posługiwali się „wskazywaczem południa” podczas przemieszczania się po bezdrożach.
Na właściwości magnetyczne magnetytu Chińczycy natknęli się nieco wcześniej – w Okresie Walczących Królestw (475–221 p.n.e.). Wykonali wtedy instrument, składający się z mającej właściwości magnetyczne łyżki oraz miedzianego talerza.
Dopiero w czasach dynastii Song (960-1279 n.e.) Chińczycy wykonali kompas, zasługujący na tą nazwę – posiadał bowiem praktyczną w użyciu płytę azymutalną. Do nawigacji morskiej Chińczycy zaadaptowali kompas w latach 850–1150.
Pierwsze kompasy wykonywano z magnetytu (naturalnie magnetyczna ruda żelaza). Później odkryto, że można też namagnesować kawałek żelaza pocierając go o magnetyt. Sama igła zyskała drewniany pływak i pływała w zbiorniku z wodą
Do Europy kompas przywędrował pod koniec XII wieku. Ponieważ pierwsze informacje o użyciu kompasu na Bliskim Wschodzie pochodzą dopiero z 1232 roku, uważa się że sekret kompasu przyniesiony został drogą lądową poprzez Jedwabny Szlak. Pierwszy europejski opis działania i posługiwania się kompasem pochodzi z roku 1190, pierwsze zaś wzmianki o jego użyciu pochodzą z Islandii z roku 1225.
Można łatwo dojść do wniosku, że w okolicach basenu Morza Śródziemnego kompas pojawił się w użyciu stosunkowo późno. Stało się tak dlatego, że w basenie Morza Czerwonego i Zatoki Perskiej oraz Oceanu Indyjskiego wystarczała nawigacja za pomocą gwiazd. W płytszych morzach stosowano także metody sondowania dna (np. na Bałtyku). Żegluga na Morzu Śródziemnym miała charakter sezonowy ze względu na niestałość pogody. Kompas po prostu nie był niezbędny do żeglugi. Potrafiono razić sobie na inne sposoby, choć oczywiście były to sposoby wielce niedoskonałe. Nikt też nie miał ambicji do samobójczych ekspedycji dalekomorskich. Dopiero bodziec ekonomiczny, chęć ominięcia arabskich pośredników, pchnęła kupców europejskich do szukania drogi do Indii i Chin metodą płynięcia na zachód.
Odkrycie kompasu pozwoliło admirałowi Zheng He 鄭和 (wczesna dynastia Ming 1368–1644) na podjęcie kilku wypraw dalekomorskich wzdłuż wybrzeży południowej Azji. Pojawienie się kompasu umożliwiło żeglugę pełnomorską także żeglarzom europejskim. Wielkie odkrycia geograficzne wieku XV i XVI byłyby bez kompasu niemożliwe.
Można dodać tu jako ciekawostkę, że Wikingowie posługiwali się metodą polaryzowania światłą za pomocą kryształu po to, aby ustalić pozycję słońca nawet przy pełnym zachmurzeniu. Dodać warto, że siatka geograficzna także została wynaleziona w Chinach – przez genialnego wynalazcę Cheng Henga w II w. n.e.