Ayaspaşa Gümüşsuyu İnönü Caddesi No. 16 adresinde bulunan sefaret binası 1904 yılında inşa edilmiştir. Yapı, Osmanlı Bankası'nın o yıllarda müdürü olan Mösyö Pangilis tarafından dört katlı ahşap köşk şeklinde tasarlanmıştı. Yapının bulunduğu yapı adası İnönü Caddesi, Sulka Çeşme ve Hacı Kadın sokakları tarafından çevrelenmişti. Sefaret binası eğimli bir arazi üzerinde olup boğaz manzarasına sahiptir. Yapının çatı arası da sonradan düzenlenerek beş katlı bir hale gelmiştir. Mösyö Pangilis ve ailesinin, özellikle 1910'larda evlerinde dönemin sosyal çevresi içinde İstanbul'daki yabancı diplomatik erkânı ağırladıkları ve binanın zengin bir yaşama sahne olduğu bilinmektedir. Sefaret için konumu ve büyüklüğü elverişli olan bina, 1921'de Japon hükümeti tarafından diplomatik temsilcilik binası olarak kiralanmıştı. 1928 yılında ise Japonya Devleti yapıyı satın almış ve 1953 yılından itibaren de Japonya İstanbul Başkonsolosluğu olarak hizmet vermeye başlamıştır. Halen başkonsolosluk büroları ve temsili faaliyetlerinden başka başkonsolos konutu olarak da kullanılmaktadır. Yapının zaman içinde yıpranması ve nitelikli bir temsili kimliğe kavuşması için Japon hükümeti tarafından bir program geliştirilerek kapsamlı bir yenileme projesi hazırlatılmıştır.
Bu çalışmalar sırasında, binanın inşa edildiği tarihten bugüne, mekân, biçim, üslup ve yapım özellikleri açısından sürekli değişikliklere uğradığı görülmüştür. Binanın inşa edildiği yıllarda, içinde bulunduğu Taksim semti önemi gittikçe artan bir şehir bölgesi durumundaydı. Büyük askeri kışlalar ve hastaneler gibi önemli bazı yapıların yanı sıra, o döneme ait eski fotoğraflarda da görüldüğü gibi, yakın çevrede binanın benzeri ahşap evler de bulunmaktaydı. Binanın başlangıçta, bu doku içinde yer alan bahçeli bir evden bitişik eve dönüştüğü ve büyümenin hem yatayda hem de düşeyde, bölüm ve kat ekleri şeklinde geliştiği anlaşılmaktadır.
Konsolosluk binası olarak kullanılmaya başlandıktan sonra yapılan müdahaleler ve yeni teknik donatım gerekleri, zaten var olan karmaşık mimari kurguyu daha da zorlamıştır. Ortaya, kimisi görkemli ve incelikli, kimisi de sıradan ya da bozulmuş nitelikte mekân ve cephe özellikleri ile tarzı olmayan bir yapı ortaya çıkmıştır.
Japonlar İstanbul'a ilk defa 1870 yılında gelmişler ve zaman içinde karşılıklı diplomatik temaslar başlamıştı. Japon Prensi Komeii Komatsu 1887 yılındaki Akdeniz seyahati sırasında İstanbul'a uğramış ve başkent Ankara'da coşku ile karşılanmıştı. Prens, İmparator Meiji'nin Sultan II. Abdülhamit'e göndermiş olduğu madalyayı padişaha takdim etmiş ve böylece iki ülke arasında bir dostluk ortamı yaratılmıştı. Sultan, Japonya'ya bir heyet gönderilerek iadei ziyaret yapılmasını istemiştir. Osmanlı heyeti, hünkârın Japon İmparatoruna gönderdiği mücevherli imtiyaz nişanı ve diğer hediyeleri götürmüştü. Padişahın isteği üzerine donanmanın en güzel gemisi bu iş için tahsis edilmiş ama geminin çürük olduğu ve böyle bir seferi tamamlayamayacağı yönündeki uyarılara rağmen Ertuğrul Firkateyni, Temmuz 1889'da İstanbul'dan yola çıkmıştı. Japonya'nın İstanbul Başkonsolosluğu olarak kullanılmaktadır.