Chimbuko la Ofisi ya Makamu wa Pili wa Rais Zanzibar limeanzia kutokana Mabadiliko ya Kumi ya Katiba ya Zanzibar ya 1984, Toleo la mwaka 2010, Kifungu cha 39[1]). Kifungu hicho kimeanzisha nafasi za Makamu wa Kwanza wa Rais na Makamu wa Pili wa Rais wa Zanzibar ambapo Makamu wa Pili wa Rais amepewa jukumu la kuratibu shughuli zote za Serikali ya Mapinduzi ya Zanzibar.
Ofisi ya Makamu wa Pili wa Rais ni taasisi ya Serikali ambayo kabla ya mabadiliko hayo ya Katiba ilikuwa ikijulikana kwa jina la Afisi ya Waziri Kiongozi ambaye jukumu lake kuu ni kuratibu shughuli za Serikali ya Mapinduzi ya Zanzibar.