Le nom de Chevillon viendrait de cavus qui signifie creux en latin. En effet le village est situé dans une vallée très étroite. Certains ont avancé une autre explication : le nom serait dérivé d’un propriétaire du nom de Cavilius.

La 1ère trace d’occupation humaine se situe à La Landre où se trouvent les restes d’un camp situé sur un éperon rocheux occupé depuis la fin de la période du néolithique, il y a plus de 5 000 ans. Cet endroit porte le nom significatif de Châtillon.

Dans le bois de la Bouloire se trouvent des mégalithes qui pourraient correspondre à un ancien dolmen.

On trouve également à proximité du hameau de la Landre les traces d’une grande villa romaine de plusieurs hectares datant de la conquête de la Gaule par les Romains (52 AV JC).

Pour le village proprement dit de Chevillon, la première mention écrite date de 1131 et le nom de Cavillo figure sur un texte concernant l’abbaye de Saint-Urbain.

Pour quelles raisons les Hommes se sont-ils installés dans une vallée où de nos jours la circulation est difficile et l’ensoleillement faible ?

• La présence d’eau potable ; le village se trouve à la jonction de couches géologiques perméables et imperméables. L’eau tombée sur le plateau ressort au niveau du village. Une dizaine de sources sont facilement repérables.
• Les moines se sont intéressés au village et y ont fait venir des hommes pour y cultiver la vigne sur un coteau bien exposé. En même temps ils se sont octroyé le droit de « perrière » c’est-à-dire d’extraire la pierre dans des carrières.
• L’autre intérêt est militaire : la vallée de Chevillon relie la vallée de la Saulx à celle de la Marne : c’est une zone de passage pour les envahisseurs venant de l’Est. Jusqu’en 1766, Chevillon se trouvait près de la frontière avec la Lorraine.
• Le village de Chevillon a une superficie de 2 552 hectares, ce qui est considérable (moyenne des villages haut-marnais : 1 132 ha). Il y avait donc possibilité de nourrir une population importante ainsi que d’exploiter de nombreux bois.
• Présence de couches géologiques exploitables. Les traces de 50 carrières sont visibles sur le plateau ainsi que de plusieurs mines de fer (minières).

Il est composé de plusieurs parties :

• le village proprement dit ;
• le quartier de la gare ;
• le hameau de la Landre ;
• la ferme isolée de Beaulieu.