Στην κορυφή της διοικητικής πυραμίδας του βυζαντινού κράτους βρισκόταν ο αυτοκράτορας, ο οποίος είχε τον έλεγχο του συνόλου της κρατικής μηχανής. Ενώ στη Ρωμαϊκή εποχή το κράτος διαιρούνταν σε μεγάλες περιφέρειες που διοικούνταν από τη σύγκλητο ή από αυτοκρατορικούς επιτρόπους, στη Πρώιμη Βυζαντινή εποχή, το κράτος είχε ελάχιστες διοικητικές περιφέρειες, τις επαρχότητες. Η επαρχιακή διοίκηση στην Πρώιμη βυζαντινή περίοδο ήταν χωρισμένη σε 120 επαρχίες που τον 4ο αιώνα ήταν ενταγμένες σε 15 διοικήσεις και αυτές πάλι σε τέσσερις μεγάλες διοικητικές ενότητες. Επικεφαλής κάθε διοικητικής ενότητας ήταν ο έπαρχος των πραιτωρίων, κάθε διοικήσεως ο βικάριος (αρχή που κατήργησε ο Ιουστινιανός) και κάθε επαρχίας ο άρχων. Όλοι ήταν ανώτεροι κρατικοί υπάλληλοι με αρμοδιότητες διοικητικές, δικαστικές, οικονομικές και νομικές.

Την κεντρική διοίκηση του κράτους ασκούσε συγκρότημα υπηρεσιών με επικεφαλής το μάγιστρο των οφφικίων (magister officiorum). Στο ίδιο πρόσωπο υπάγονταν και το αυτοκρατορικό ταχυδρομείο, η αυτοκρατορική φρουρά, η εποπτεία των αυλικών τελετών, η επικοινωνία με τις ξένες διπλωματικές αποστολές, αλλά και η εποπτεία των συνόρων, οι δημόσιες οδικές συγκοινωνίες και ο έλεγχος των διοικητών στις περιοχές των συνόρων. Επίσης ο ίδιος επέβλεπε τη διοίκηση τόσο του κέντρου όσο και των επαρχιών.

Ένας έμπειρος νομικός, ο κοιαίστωρ (quaestor sacri palatii), είχε το ρόλο ενός σημερινού υπουργού δικαιοσύνης, βοηθώντας τον αυτοκράτορα στα νομοθετικά και δικαστικά του καθήκοντα.
Επικεφαλής για τον τομέα των δημοσίων οικονομικών ήταν ο κόμης των λαργιτιόνων ή των θείων θησαυρών (comes sacrum largitionum). Υπεύθυνος για τα κτήματα του στέμματος ήταν ο κόμης των θείων πριβάτων (comes rerum privatarum). Σημαντικός αξιωματούχος που από τον E' αιώνα ανέβηκε ιεραρχικά πάνω από τους άλλους τέσσερις ήταν ο πραιπόσιτος του ιερού κουβουκλίου (praepositus sacri cubiculi), υπεύθυνος των αυλικών υπηρεσιών.

Η διοίκηση της Κωνσταντινούπολης είχε ανατεθεί στην αρμοδιότητα του επάρχου της πόλεως, θεσμός που προϋπήρχε στη Ρώμη. Οι αρμοδιότητες ήταν αντίστοιχες με ενός σημερινού δημάρχου. Στο πέρασμα του χρόνου αυξήθηκαν καθώς δικαστικά καθήκοντα αλλά και η εποπτεία του εμπορίου και των επαγγελματικών οργανώσεων προστέθηκαν στις αρμοδιότητές του επάρχου της πόλεως.

Χαρακτηριστικό της βυζαντινής διοίκησης ήταν η συγκέντρωση πολλών αρμοδιοτήτων στα χέρια λίγων ανθρώπων με την επακόλουθη δυσκολία παρακολούθησής τους. Για αυτό, τον 6ο αιώνα δημιουργήθηκαν πολλές αυτόνομες υπηρεσίες με περιορισμένες αρμοδιότητες η κάθε μια ενώ παράλληλα προωθήθηκε από τον Ιουστινιανό και η στρατιωτικοποίηση της κρατικής διοίκησης στην επαρχία.