Interpretando os vestígios descobertos, a povoação que deu origem a Viseu nasceu no alto do monte onde hoje se situa a Sé.

Esta localização geográfica fez desta cidade passagem obrigatória entre o Norte e o Sul, o litoral e o interior.

Durante a dominação romana, Viseu já era a capital de um grande território, a Lusitânia, e um centro urbano de grande importância, como se pode comprovar com os inúmeros vestígios arqueológicos encontrados na região, entre os quais se destacam moedas, sepulturas, marcos miliários e, principalmente, estradas romanas.

A importância que Viseu teve em toda a Beira, na época dos romanos, podes comprová-la visitando a Cava de Viriato, antigo quartel-general dos romanos em forma octogonal, com dois quilómetros de perímetro, que servia de ponto de vigia e defesa de todas as estradas que ali convergiam.

No século VI, com o domínio dos Visigodos, a cidade de Viseu é elevada a sede de diocese. Diz-se que Ramiro, rei visigodo, está sepultado na igreja de S. Miguel do Fétal.

Do conjunto constituído pela colina da Sé e a Cava de Viriato nasceu uma vila intermédia de fornecedores, serviçais e negociantes. Este núcleo corresponde ao que hoje chamamos Cidade Velha.

Entre os anos 712 e 1057, Viseu era conhecida por Castro Vesense (Vesi significava visigodo).  Viveu um período sangrento de ataques e conta-ataques, com as suas gentes a morrer ou a fugir, quando a cidade alternava o poder entre os cristãos e os árabes. Finalmente, em 1057, foi conquistada definitivamente por Fernando I, rei de Leão e Castela.

A sua neta D. Teresa, casada com D. Henrique, que viriam a ser os pais do primeiro rei de Portugal, D. Afonso Henriques, residiram diversas vezes nesta cidade e concederam-lhe um foral em 1123.