Područje je bilo naseljeno od prapovijesti, te u rimsko doba. Početak Svetvinčenta veže se uz samostan benediktinaca iz Ravenne, na prostoru crkve sv. Vincenta na groblju, te se uza nj oblikuje prvo manje naselje. Samostalno se spominje u dokumentu Otona II. (983) kao posjed porečkoga biskupa. U XIII. st., kada feud dobiva pulska obitelj Castropola (1211), novo urbano središte postaje utvrđena građevina upravitelja, no Svetvinčenat se uz naziv opatija navodi još 1325. u Istarskom razvodu. Poslije Castropola feud se dalje bilježi i kao vlasništvo obitelji Morosini, Krotendorf te porečkoga biskupa.

Morosinijevi 1485. završavaju obnovu kaštela te započinju preobrazbu mjesta u pravilno organizirano renesansno naselje s trgom i cisternom u središtu, kojega uz kaštel zatvaraju župna crkva i loggia te ostale javne i stambene zgrade. U XVI.st. prelazi u ruke obitelji Grimani di Luca. Kaštel je kao utvrda postojao već u drugoj pol. XIII.st. Preuređenje u renesansni kaštel dovršeno je 1485., a oblik se bitno nije mijenjao ni poslije u pregradnjama nakon požara 1586. U njegovoj unutrašnjosti je palača, možda dijelom iz XIV.st. Kaštel je bio jedna od važnijih utvrda mlet. vojske; saniran je 1907. i temeljito obnovljen 1933.

Preko gotovo cijele sjeverne strane Place proteže se kameni kaštel Grimani, najsačuvaniji na poluotoku i najveća svetvinčenska građevina koja je već stoljećima simbol mjesta i odredište, nekad davno, vojnika, gostiju vlastele, putopisaca i trgovaca, a danas znatiželjnih prolaznika i turista. Prva tvrđava biva sagrađena još početkom 13 st., no burne godine ratovanja su za posljedice imale često uništavanje, pa zatim obnavljanje i promjenu izgleda kaštela, a osim izgleda mijenjali su se i vlasnici posjeda. Nakon biskupa, obitelji Castropola i obitelji Morosini, vlasnici kaštela postaju Crimani di San Luca, patricijska venecijanska obitelj.

Sadašnji oblik građevina dobiva 1589. godine, kad Marino Grimani obnavlja spaljeni kaštel po nacrtu venecijanskih arhitekata Scamozzija i Campagne. Kaštel je danas jedna od ponajljepših mletačkih gradnji tog vremena u Istri. Na tri ugla-tri kule, a na četvrtom-palača sa sobama za gospodu i stanom kapetana. S tih kula su se kontrolirala sva četiri ulaza u grad. Kule su povezane bedemima koji izvana pri dnu imaju i potporni zid, a iznutra po cijeloj dužini balkon s kojeg su stražari motrili kroz otvore puškarnica. Na vratima, osim pokretnog mosta postojala je i velika rešetka za spuštanje.

Iznad ulaza smješten je grb kaštela, sadašnji grb Svetvinčenta, te grb obitelji Grimani di San Luca. Unutra je osim širokog dvorišta bio stan upravitelja mjesta, skladište za javna davanja i municiju, oružarnica, prostorije za 200 mušketira i kopljanika i vrlo siguran zatvor – pod zemljom. U 19. st. obitelj Grimani prepušta kaštel biskupima, a oni općini početkom ovog stoljeća. Krajem drugog svjetskog rata kaštel biva još jednom spaljen.