Peristiwa kisah "Sign of Four" berlangsung di London pada tahun 1888. Selama kemalasan yang dipaksakan karena kurangnya pesanan, konsultan detektif terkenal Sherlock Holmes, yang tinggal di 221-6 di Baker Street, bersama dengan temannya Dr. Watson, berangkat kepadanya metode deduktifnya, yang ia gunakan dalam menyelesaikan kejahatan. Sherlock Holmes yakin bahwa orang yang taat dapat membuktikan keberadaan Samudra Atlantik dan Air Terjun Niagara dengan kesimpulan logis, bahkan jika dia belum pernah melihat mereka sebelumnya dan tidak mendengar apa pun tentang mereka. Rincian dan fakta terkecil harus diperhatikan, karena mereka mampu memberikan kontribusi yang tak ternilai bagi rekonstruksi gambaran lengkap peristiwa, sifat orang tersebut dan keadaan kejahatan.
Menjadi seorang detektif yang brilian, Sherlock Holmes memiliki pengetahuan ensiklopedis di bidang kronik kriminal dan kimia, memainkan biola dengan baik, memiliki keterampilan pagar dan tinju yang sangat baik, berpengalaman dalam geologi, anatomi, botani, memiliki bakat akting yang luar biasa, tetapi dalam bidang literatur, filsafat, astronomi, pengetahuannya nol. Pada jam-jam ketika dia tidak ada hubungannya, dia dicekam oleh kebosanan yang mematikan dan menemukan penghiburan dalam morfin dan kokain.
Dr. Watson, seorang teman dan rekan Sherlock Holmes, seorang mantan dokter militer yang bertugas dengan tentara Inggris dalam perang India dengan Afghanistan dan terluka dalam perang ini, tinggal bersama Holmes di apartemen yang sama dan merupakan penulis sejarah dari semua kasus yang diungkapkan oleh temannya.
Dengan senang hati Sherlock Holmes, kemalasan sementaranya terganggu oleh Miss Morsten, yang berusia 27 tahun, dengan wajah yang spiritual dan baik, bersaksi tentang kemuliaan dan simpati jiwa. Dia mengatakan kepada detektif tentang kejadian aneh yang terjadi baru-baru ini dalam hidupnya, dan meminta bantuannya. Di masa kecil, dia kehilangan ibunya. Sang ayah, yang bertugas sebagai perwira di India, mengirim putrinya ke sebuah rumah kos di Inggris. Pada tahun 1878, yaitu, sepuluh tahun yang lalu, ia tiba di Inggris, seperti yang sebelumnya diumumkan dalam sebuah telegram. Namun, ketika Miss Morsten tiba di hotel, dia mendapati bahwa ayahnya tiba-tiba menghilang. Dia tidak kembali pada hari berikutnya, tidak pernah kembali lagi. Kemudian, mulai tahun 1882, dia tiba-tiba mulai menerima satu mutiara yang sangat indah dan besar dari seseorang setiap tahun. Dan pada hari kunjungannya ke Holmes, dia menerima surat di mana dia diminta untuk datang ke Teater Lyceum di malam hari, mengatakan bahwa dia telah diperlakukan tidak adil dan bahwa seseorang ingin memperbaiki ketidakadilan ini.
Sherlock Holmes dan Dr. Watson pergi ke tempat yang ditunjukkan dengannya. Sebelum pergi, dia menunjukkan Holmes catatan aneh, ditemukan di barang-barang milik Morsten yang hilang, yang menggambarkan rencana beberapa ruangan, dengan empat salib dilukiskan berturut-turut di tempat yang sama, dengan balok silang saling bersentuhan satu sama lain dan dengan tanda tangan sombong: "tanda empat." Orang yang mereka temui membawa mereka dalam taksi ke London selatan. Di sana mereka bertemu dengan seorang pria kecil berambut merah dengan kepala botak berkilau. Ternyata dia adalah salah satu putra kembar Mayor Sholto, yang meninggal enam tahun lalu, Tadeusz Sholto. Ayah dan ayahnya, Miss Morsten, pernah melayani bersama di India dalam pasukan kolonial. Di sana, Mayor Sholto, yang secara misterius kaya, mengundurkan diri sebelas tahun yang lalu dan kembali ke Inggris dengan koleksi langka kelangkaan oriental dan seluruh staf pelayan pribumi. Sang mayor tidak mengungkapkan rahasia perolehan harta dan di mana mereka disimpan sampai kematiannya. Merasakan pendekatannya, dia memanggil putra-putranya kepadanya dan memberi tahu mereka bagaimana kapten Morsten meninggal. Ternyata, setelah tiba di London sepuluh tahun yang lalu, dia datang ke Sholto dan mereka memiliki perselisihan mengenai pembagian harta, yang diketahui Morsten dan separuhnya disebabkan olehnya. Dia, menderita sakit jantung, mengalami serangan. Kemudian dia jatuh dan, setelah membenturkan kepalanya ke sudut peti harta karun, dia meninggal. Khawatir bahwa dia akan dituduh melakukan pembunuhan, Sholto menyembunyikan tubuh kapten dan tidak mengatakan apa-apa kepada putrinya ketika, beberapa hari kemudian, mencari ayahnya yang hilang, dia datang ke rumahnya. Sebelum kematiannya, ia juga ingin mengungkapkan kepada putra-putranya di mana peti mati itu sendiri disembunyikan, tetapi wajah mengerikan di luar jendela mencegahnya melakukan hal ini. Dia meninggal, membawa rahasia bersamanya ke kuburan. Putra-putranya, yang merasa berkewajiban kepada Nona Morsten dan ingin menyingkirkannya setidaknya dari kebutuhan, mulai mengiriminya satu mutiara mutiara setiap tahun, yang dulu diambil oleh ayah mereka dari peti mati. Untuk saat ini, Tadeusz Sholto dan saudaranya Bartholomew bahkan tidak tahu di mana kekayaan itu sendiri disembunyikan. Namun, sehari sebelumnya, setelah bertahun-tahun pencarian yang gagal, Bartholomew menemukan mereka di loteng rumahnya, di sebuah ruangan bertembok rahasia. Dia melaporkan ini ke Tadeusz. Dia, terlepas dari keberatan saudara laki-lakinya, yang mewarisi kekakuannya dari ayahnya, memutuskan untuk berbagi harta dengan Nona Morsten. Keempatnya pergi ke Bartholomew. Namun, mereka menemukan bahwa dia dibunuh oleh duri beracun yang dilemparkan ke lehernya, bahwa harta itu dicuri dan bahwa selembar kertas dengan "tanda empat" ditinggalkan di TKP.
Detail-detail kecil membuat Sherlock Holmes berasumsi bahwa dua orang adalah penjahat - seorang narapidana pelarian bernama Jonathan Small, yang memiliki prosthesis kayu sebagai ganti kaki kanannya, dan Nomor Satu, orang biadab dari Kepulauan Andaman, kecil, sangat marah dan gesit. Setelah dia membantu Small bersama dengan peti mati untuk turun jendela dari tali, dia menutup jendela dari dalam dan keluar melalui loteng. Sambil berlari, kakinya kotor di kreosot, dan Holmes, dengan bantuan anjing pelacak Toby, mengikuti langkah kakinya ke sungai. Di sana dia menemukan bahwa para penjahat naik perahu Aurora yang disewa. Ketika Holmes berencana untuk melacak sebuah kapal dengan bantuan sekelompok anak laki-laki yang disewa rusak, ia, berpakaian seperti seorang pelaut tua, berangkat mencari Aurora dan mencoba menemukannya di dermaga. Dia berhasil. Dia memanggil bantuan Inspektur Scotland Yard, Ethelny Jones yang menyelidiki pembunuhan itu, dan mereka, bersama dengan Dr. Watson, mengejar perahu polisi dan menangkap para penjahat dengan sebuah peti mati. Ketika mengejar orang biadab, ia harus dibunuh, karena ia mulai menembak pengejarnya dengan duri beracunnya. Watson membawa peti mati itu ke Nona Morsten, tetapi pada akhirnya ternyata ia kosong, dan dokter itu sangat bahagia karena penghalang yang, menurut pendapatnya, telah muncul antara dia dan wanita muda itu karena dugaan kekayaannya, menghilang. Sekarang dia dapat dengan bebas mengakui cintanya dan menawarkan tangan dan hatinya. Miss Morsten menganggap tawarannya sangat menarik. Kecil, menyadari bahwa ia pasti akan tertangkap, melemparkan perhiasan ke Sungai Thames, karena ia tidak ingin membiarkan orang lain mendapatkannya. Kematian Bartholomew Sholto bukan bagian dari rencananya, dan bukan dia yang membunuhnya, tetapi si jahat biadab tanpa sepengetahuan Small. Untuk meyakinkan Sherlock Holmes dan Ethelney Jones tentang ini, dia menceritakan kisah hidupnya. Di masa mudanya, ia mendaftar sebagai tentara di resimen, dikirim ke India. Namun, dia segera harus berpisah dengan layanan: ketika dia mandi di Tanga, buaya menggigit kakinya di atas lutut, dan dia menjadi lumpuh tak berdaya. Kemudian, ketika ia bekerja sebagai pengawas di sebuah perkebunan, kerusuhan tiba-tiba dimulai di negeri itu. Kecil bergegas ke Agra dan bergabung dengan unit Inggris yang bersembunyi di benteng Agra. Dia dipercayakan menjaga salah satu pintu masuk ke benteng dan diberi dua Sikh. Pada malam ketiga, orang-orang Sikh menangkap Small dan berhadapan dengannya dengan sebuah pilihan: untuk bersama mereka atau tutup mulut selamanya. Mereka memberitahunya tentang rencana mereka: di provinsi utara tinggal seorang raja yang sangat kaya. Dia memerintahkan sebagian hartanya untuk menyembunyikan hamba Akhmet di benteng Agra sampai akhir perang, sehingga dalam kasus kemenangan, Inggris menyelamatkan setidaknya peti ini. Rekan Sikh dan Akhmet, kaki tangan mereka, ingin membunuhnya dan mengambil peti mati. Small memutuskan untuk bergabung dengan mereka dan bersumpah setia pada mereka. Keempatnya menjalankan rencana mereka. Mereka menyembunyikan Akhmet yang terbunuh di salah satu aula benteng lama, di mana tidak ada yang pernah masuk. Peti itu berdinding di dinding aula yang sama. Masing-masing dari mereka menerima catatan dengan rencana dan melambangkan kesetiaan mereka satu sama lain dengan "tanda empat". Namun, kemudian mereka semua dijatuhi hukuman penjara seumur hidup karena pembunuhan. Sambil menjalani hukuman mereka, mereka tidak bisa menggunakan kekayaan mereka. Kemudian Small setuju dengan Sholto dan Morsten, yang menjaga penjara, bahwa ia akan memberi tahu mereka di mana peti mati itu disembunyikan, mereka akan menerima bagian mereka, dan sebagai imbalannya mereka akan mengatur pelarian bagi keempat tahanan itu. Sholto, yang pergi untuk peti mati, menipu semua orang dan kembali ke Inggris sendirian. Sejak itu, Small mulai hidup hanya dengan pikiran balas dendam. Dia melarikan diri dari penjara dengan bantuan seorang teman - penduduk asli bernama Tongo. Di Inggris, ia melakukan kontak dengan salah satu pelayan Mayor Sholto dan menunggu saat yang tepat. Adalah Small yang melihat keluar jendela ke mayor yang sekarat. Menunggu di sayap, dia mencuri harta karun. Demi kematian Bartholomew, ia melepaskan Tongo dengan seutas tali. Itulah kisah Jonathan Small.
Harta tidak pergi ke siapa pun. Watson diberi istri Miss Morsten, Ethelney Jones - ketenaran untuk kejahatan yang diselesaikan, dan Holmes puas dengan ampul kokain.