Первыми остров заселили карийцы, прибывшие из лежащей за морем Карии (Малая Азия). Затем здесь появились критяне-минойцы, а в 14 веке до н.э. – микенцы, впоследствии отправившие с Коса на троянскую войну 30 кораблей. Несколько веков спустя, сюда стали прибывать дорийцы, которые основали около 700 г. до н.э. город Кос, который вместе с родосскими городами Линдом, Камиром и Ялисом, а также Книдом и Галикарнасом (современный Бодрум) в Малой Азии входил в состав Дорийского Шестиградия.
В 5 веке до н.э. Кос захватили персы, а после их поражения в Греции остров вошел в состав Афинского морского союза (479 г. До н.э.) В 460 году до н.э. на Косе родился Гиппократ, отец медицины, известный ныне во всем мире тем, что основал первую медицинскую школу. После его смерти (357 г. До н.э.) косцы построили знаменитый Асклепион, который функционировал как больница, принимая тысячи больных со всего Средиземноморья, которые лечили в соответствии с методами, разработанными Гиппократом.
В 366 г. до н.э. город Кос был основан на его нынешнем месте, куда была перенесена старая столица острова Астипалея. Занимая выгодное положение между Востоком и Западом, новый город в 4 веке до н.э. достиг значительного процветания и вершины своего могущества, а общая численность жителей острова достигала 160.000 человек. В период расцвета Кос экспортировал вино, оливковое масло, фрукты, дерево и славился производством шелка, которым занимались главным образом римляне.
В 336 году до н.э. Кос захватил Александр Македонский, после смерти которого, он перешел к Птолемеям. В 283 году на Косе родился египетский царь Птолемей 2 – сын и наследник царя Птолемея 1 и Береники. В 102 году до н.э. Клеопатра (супруга Птолемея Эвергетеса) привезла на Кос своего внука Александра и за его защиту и воспитание подарила храму Асклепия существенные сокровища, которые вместе с Александром и сбережениями еврейских ростовщиков захватил персидский царь Митридат. Избавить Кос от персидской тирании смогли римляне в 82 году до н.э., которые владели им несколько столетий. В одном из своих миссионерских путешествий Кос посетил апостол Павел, образовав на нем первые христианские общины.
В 1204 году Кос, Родос и ряд других островов Додеканеса перешли под управление франков, у которых его отвоевал император Византийской Империи Михаил Палеолог. В византийскую эпоху здесь снова наблюдается расцвет, однако остров подвергался многочисленным нападениям врагов, наиболее опасными из которых были сарацины. Постепенно Византийская империя начала приходить в упадок и была вынуждена уступить Кос генуэзцам, которые были больше заинтересованные в торговых возможностях Родоса, поэтому вскоре продали Кос Великому Магистру ордена рыцарей Святого Иоанно Фульку де Виларету.
В 1314 году хозяевами острова стали рыцари ордена Святого Иоанна, которые приблизительно столетие спустя стали строить большую крепость, находящуюся у входа в современный порт, а также другие фортификационные сооружения, используя при этом камни и мрамор античных храмов и дворцов. Лучшие античные мозаики Коса рыцари также не обошли стороной – вывезли их на Родос и украсили ими пол Дворца Великого магистра в старом городе. Тем не менее, при сравнительно недавних раскопках в разных частях Коса были найдены не менее впечатляющие примеры мозаичного искусства.
С рыцарями вели борьбу турки, которые после своей победы на Родосе захватили в 1522 году и Кос. Турецкая оккупация на Косе, как и по всей Греции, была крайне жестокой. По словам Французского историка Пукевиля «во время турецкого ига смерть за веру и родину приняли 11 патриархов, 100 епископов и 6000 обычных священников». Турки удерживали Кос до 1912 года, когда их сменили итальянцы. Итальянская оккупация оказалась не менее обременительной, поскольку свободы греки так и не дождались. Режим Муссолини грезил о возрождении Великой Римской Империи и видел Грецию только как одну из своих провинций.
Кос еще раз подвергся разрушительному землетрясению в 1933 году, в результате которого многие средневековые памятники были разрушены, но зато из земных недр обнажились памятники античного периода, раскопки и ценные находки по которым, происходят по сей день. В 1943 году итальянцев ненадолго сменили немцы, а после Второй Мировой войны остров перешел под протекторат англичан. Воссоединение Коса с Грецией произошло в 1948 году, когда мэр Афин, пролетая над островом на самолете, символически сбросил национальный флаг Греции, хранящийся сегодня в кабинете мэра Коса.
