Tehén és tej szavunk óiráni eredete, valamint az andronovói műveltség leletei alapján az ősmagyar marhatartás korai, neolitikumi kezdeteire lehet következtetni. A marhatartás terminológiájának döntő része török nyelvekből került a magyarba (bika, ökör, borjú, tinó, tulok, ünő, barom). E szókészlet alapján – némi túlzással – azt is lehet mondani, hogy a szarvasmarhatartást a törökségtől tanulták a magyarok ősei még a honfoglalást megelőző évezred folyamán.
Kora Árpád-kori lelőhelyek csontanyagában a szarvasmarha mindenütt az első helyen áll, a teljes állatállomány 24–34%-át teszi ki. Összesítésben 31,8%-os a szarvasmarha részesedése, ami meghaladja Etelköz ligetes sztyeppéjének 8–9. századi ágazati arányát, de nem éri el a füves sztyeppe marhatartásáét. A marhaállomány a 9–10. században megelőzte a 20,5%-os részesedéssel második helyen álló lóállományt is. Az állomány 60–70%-a tehén, a többi bika vagy ökör. Ebben a korszakban a szarvasmarhák testnagysága a Kárpát-medencében mélyponton volt, soha kisebb egyedek nem éltek. Átlagos marmagasságuk mindössze 112 cm (Matolcsi J. 1968; 1982: 238).
Az 1960-as évekig tartotta magát az a kézenfekvő feltevés, miszerint a régi magyar marhatartás az „ősi” magyar fajtára volt alapozva. Tormay Béla, majd Hankó Béla is abból indult ki, hogy a nagy testű, nagy szarvú szürke marhafajtát (Bos taurus hortobagyensis Hankó) az őshazában tenyésztették ki és onnan hozták magukkal a Kárpát-medencébe. Hosszú ideig ezt a hipotézist fogadta el a néprajzi és a mezőgazdasági irodalom is (Györffy I., Gunda B., Tálasi I., Bocsor G., Éber E., Gaál L.).
Azonban a régészet által feltárt állatcsontok oszteológiai vizsgálata nem erősítette meg az előbbi felfogást. Bökönyi Sándor (1961, 1963) tízezernél több középkori szarvasmarhacsontot megvizsgálva sem talált a 14–15. századig egyetlen hosszú szarvú egyedet. Megállapította, hogy az Árpád-kori szarvasmarha a kistermetű, rövid szarvú primigenius csoportba tartozott, akárcsak az avar kori marhafajta. Ezért többen arra a feltevésre jutottak, hogy a nagy testű, táblás szarvú, „szürke magyar marhafajtát” a kunok hozták magukkal a 13. században (Györffy Gy. 1977: 411; Zimányi V. 1976: 130–131; Makkai L. 1982: 59–60). Mindkét esetben „keleti hozadék”-nak, Pontus-vidéki importnak minősülne ez a híres marhafajta.
Tény, hogy a 14. században már külön fajtaként emlegették az átlagostól igencsak különböző „nagy ökröket” (az esztergomi vámtarifa 1365-ben magni boust említ), s az is nyilvánvaló, hogy ezek kisebb testű rokona a Kárpátokon kívül élő podóliai, ukrán szürke marhafajta. Vannak érvek a szürke magyar marhafajta autochton, Kárpát-medencei kifejlődése mellett is. E tekintetben két, egymással vitázó nézet ismeretes. Az egyik az őstulok (Bos primigenius Bojan) Árpád-kori háziasítását tételezi fel (Hankó B. 1940: 37–44; Jankovich M. 1967: 422–427), a másik a fokozatos szelekció, az előnyös mutáció, a sikeres hibridizáció szerepét helyezi előtérbe (Matolcsi J. 1968; 1975: 138–141; 1982: 256–265). Matolcsi felteszi, hogy az ekés földművelés kiszélesedése a Kárpát-medencében nagy lökést adott ezen marhafajta kialakulásának és fokozatos terjedésének. A világos szőrszín és a címeres, táblás szarvforma kialakulását többen is klimatikus hatásnak tulajdonítják (Hankó B. 1936: 59–60; Belényesy M. 1956: 26). Később látni fogjuk, hogy a szarvállást a pásztorok és marhatartók mesterségesen is alakítgatták.
A híres szürke magyar marhafajta eredetének kérdése továbbra is nyitott. Bárhogyan is válaszolja meg a kérdést a későbbi kutatás, tény marad, hogy ez a fajta legalább a 14. század óta a magyar állattartó gazdaság legfőbb pillére, a magyar marhatartás jelképe, Európa közeli és távolabbi népei szemében pedig Magyarország egyik egzotikuma volt.
A második világháború után a gépesítés fejlődésével többé már nem volt szükség ökörre, ezért a létszám nagymértékben csökkent és az ötvenes évek végén, a hatvanas évek elején a mélypontra süllyedt. Ekkor hazánkban a vegyes hasznosítású magyartarka fajtát tenyésztették. A vegyes hasznosításban a magyar szürke nem volt versenyképes gyengébb tejtermelése miatt. At ötvenes évek végén a hivatalos irányzat keresztezésre itélte a fajtát, elsősorban a szovjet eredetű kosztromai fajtával kellett volna keresztezni. A keresztezést a Hortobágyi és a Hosszúháti Állami Gazdaság kezdte végezni. Ez a keresztezés sem bizonyult versenyképesnek már az akkori követelmények szerint sem. Ez a fajta volt viszont az első háziállatfajta, amely Magyarországon hivatalosan is védelem alá került.