当初は京都住まいでご用の都度名古屋に出勤する形でしたが、元禄9年(1696)4代和泉元知の時に名古屋へ移住しています。当初どこに住んだかは不明ですが、宝暦8年(1758)に5代和泉元喬の代に御姫様屋敷跡地を拝借し、以後江戸時代を通じてここに住んだようです。
 山脇家が住んだ御姫様屋敷跡と言うのは、7代藩主宗春の娘(後8代宗勝の養女)頼君の屋敷跡で、その後文化4年(1807)に白鳥払い下げ木材で元貞が邸内に舞台を建立し、以後山脇舞台として維新まで存続されたようです。
 この御姫様屋敷のあった一画は名古屋城のすぐ西、巾下にあってしばしばお役者の賜邸となったようです。天保7年(1836)10月に宝生太夫大野時太郎舞台で6日間の勧進能が催されていますが、この時の様子が『名陽見聞図絵』の内に「巾下大野舞台にて能興行」の記事に添えて「大野氏能興行の図」が掲載されています。大野舞台の全景と土塀に続いて、左下隅に隣家の垣根と門が描かれ、ここに「山脇宅」と記され、大野舞台と山脇舞台が隣合わせにあったらしいことがわかります。この御姫様屋敷の地は小舟町の南、隅田町の北部にかかっていたらしく、明治以降比米町と呼称され、現在も笛方藤田流宗家藤田六郎兵衛師の邸があります。