最早出現的魚類是無頜魚類。顧名思義，它們還沒有上、下頜，只有壹個漏鬥式的口位於身體前端。這種口，不能主動攝食，只有靠水流把微小生物帶進口內。再者是它們沒有腹鰭，但有膜質的外骨骼，包裹在身體外邊。所以無頜魚類又有甲胄魚類之稱。由於這外骨骼的存在，曾引起有關學者的壹番爭論：到底是軟骨在先或硬骨在先？在脊椎動物胚胎發生過程中，總是先出現軟骨，然後由軟骨形成硬骨。壹般認為，個體發生反映系統發生。據此，在生物進化過程中，應該是軟骨在先，硬骨在後，可最早的脊椎動物先出現的卻是硬骨，這怎麽解釋？有人說，還是軟骨在先，只是軟骨不能保存為化石而已。到底怎樣，未有定論。
無頜魚類包括迥然不同兩大類：頭甲類和鰭甲類，每類又各有分支，有不同類型的形形色色代表，也曾繁盛壹時。但好景不長，到泥盆紀中期（距今約3億5千萬年前），它們絕大多數絕滅了。只因現生的七鰓鰻和盲鰻的某些特征與頭甲類的壹致，學者揣測，前者有可能是後者的現生代表。按此，頭甲類應還沒最後絕滅。可是，從頭甲類到七鰓鰻和盲鰻之間，從泥盆紀到現代3億多年裏，都沒發現它們的中間環節（圖14）。究竟這些營寄生生活的現代無頜魚類是如何從身披甲胄的祖先進化來的，還是壹樁懸案。鰭甲類無現生代表，被認為是壹絕滅的類別。但是，由於鰭甲類中的異甲類的某些特征與後期有頜魚類的近似，有人說，異甲類可能是有頜魚類的遠祖。是否這樣，尚需更多的論證。
最早的有頜魚類是盾皮魚類，它不僅已有上、下頜，並還有了偶鰭。這樣，它便有可能主動攝食了。盾皮魚類通常分節甲類和胴甲類，它們都披有甲，在泥盆紀晚期最為繁盛。前者可以尾骨魚為代表，後者可以溝鱗魚為代表。有人認為，盾皮魚類可能與現代鯊類有親緣關系，但另壹些人認為可能與硬骨魚類的關系更密切。
板鰓類也稱軟骨魚類，包括鯊類和全頭類。鯊類常被認為是比較原始的魚類，因為它們具軟骨骨骼。軟骨在先，硬骨在後。但也有人認為鯊類的軟骨是次生性的，是由硬骨“退化”來的，硬骨在先，軟骨在後。甲胄魚類和盾皮魚類不是都具硬骨嗎？最早的硬骨才是真正原始的。
最早的軟骨魚類出現於泥盆紀早期（距今3億8千萬年前），裂口鯊常被視為最原始代表之壹，並很可能是所有鯊類的祖先。它是壹種近於1米來長的鯊類，有壹個典型的鯊類體型——紡錘形，眼大，靠近吻端。兩個背鰭，第壹背鰭前有壹粗壯的背刺。胸鰭特別大，腹鰭小。尾鰭外形上、下葉對稱，內部構造上脊柱卻壹直伸到尾鰭上葉的末端，故仍為歪形尾。偶鰭基部寬，末端尖，為原始類型的鰭。牙齒“筆架”形，中央的齒尖高，兩側的低（圖15）。從裂口鯊這種近似軟骨魚類中心基幹出發，進化出後期的各種鯊類，包括典型的鯊類和身體扁平的鰩類。這些鯊類從中生代到現在壹直生活在海洋中，既沒有特別昌盛過，但也沒有被淘汰。
硬骨魚類是最進步的魚類，也是現今世界上水域中的“主人”。壹般認為，硬骨魚類是從棘魚進化來的。棘魚是早期有頜魚類，早誌留世（距今4億年前）便已出現，壹直延續到二疊紀（距今2億5千萬年前）。這是壹種小型魚類，曾被認為與盾皮魚類有關，與軟骨魚類有關，近年來通過對新材料的研究，才確定它與硬骨魚類有關。
硬骨魚類分兩大支，壹支叫輻鰭魚類，壹支叫肉鰭魚類。前者最早出現於距今約3億8千萬年前的泥盆紀中期，經過軟骨硬鱗類（部分軟骨、斜方鱗、明顯歪尾）、全骨魚類（部分軟骨、斜方鱗、輕歪尾）和真骨魚類（硬骨、圓鱗、正尾）三個進化階段而至現代魚類。肉鰭魚類包括總鰭魚和肺魚，而總鰭魚又分空棘魚類和扇鰭魚類。拉蒂邁魚是空棘魚類的唯壹的現生代表，而扇鰭魚類則全為化石種類。後者曾被認為是陸生四足動物的祖先，但近年被我國學者所否定。肺魚類從泥盆紀（3億6千萬年前）開始出現，直到現在還有澳洲肺魚、非洲肺魚和南美肺魚為代表。顧名思義，肺魚是可用肺呼吸的，這可是陸生脊椎動物的基本要求，再加上其它壹些特征，肺魚曾被認為可能是陸生四足動物的祖先。後來這“祖先”地位被“具有內鼻孔”的扇鰭魚所取代。 20世紀80年代，隨著扇鰭魚類內鼻孔的被否定，扇鰭魚類祖先說動搖了。於是有關學者又回到肺魚中去尋找陸生四足動物的祖先了