Dokumenty Soboru Nicejskiego II z 787 r. wspominają, że tradycja wykonywania ikon istniała od czasów apostolskich, nie ma jednak na to żadnych dowodów historycznych. Według tradycji, autorem pierwszych ikon był Łukasz Ewangelista.

Genezę ikony wywodzi się z portretowego malarstwa późnoantycznego. Informacje o istnieniu ikon Chrystusa, Marii, św. Piotra i Pawła oraz innych świętych znaleźć można po raz pierwszy w pismach Euzebiusza z Cezarei i Epifaniusza z Cypru w IV wieku. Przedmiotem kultu stały się ikony już w V w. (wg pism św. Augustyna). Hypatiusz z Efezu wspomina po raz pierwszy o pokłonie przed ikoną w połowie VI w.

W okresie kształtowania się sztuki chrześcijańskiej, słowem "ikona" określano na chrześcijańskim Wschodzie, w krajach pozostających pod wpływami Bizancjum, wszystkie przedstawienia Chrystusa, Matki Boskiej, aniołów, świętych, i scen historycznych z Pisma Świętego niezależnie od tego, w jakiej technice były wykonane. W czasach nowożytnych pojęciem tym zaczęto nazywać tylko obrazy przenośne (malowane, rzeźbione, wykonane w emalii lub mozaice), nie związane z architekturą. Istnieją przekazy z 2. poł. VI w. o cudach dokonywanych przez ikony. Były to zawsze ikony-portrety przenośne, mocy cudotwórczej nie przypisywano ikonom o treści historycznej. Najstarsze zachowane ikony pochodzą z VI wieku z klasztoru św. Katarzyny na Synaju.

Malarstwo ikonowe rozwijało się w Bizancjum aż do jego upadku w XV wieku oraz na terenach objętych wpływami kultury bizantyńskiej czyli w Grecji, Serbii, na Bałkanach, w średniowiecznych Włoszech oraz na Rusi. Najstarsze zachowane do naszych czasów ikony pochodzą z VI wieku. Najbardziej reprezentatywne dla tego okresu są zwłaszcza trzy dzieła przedstawiające: świętego Piotra, Chrystusa Pantokratora oraz Marię z aniołami i ze świętymi Teodorem i Jerzym.

Za najwybitniejszego rosyjskiego twórcę ikon uważany jest Andrzej Rublow.