Im Sommer 1949 kamen mit Kominform-Anhängern und Faschisten die ersten Gefangenen auf die Insel. Ab etwa 1955 wurden auch andere angebliche Staatsfeinde gefangen gehalten: Sozialdemokraten, Bürgerliche, Monarchisten und westlich Orientierte. Vielfach waren diese unter Folter zu falschen Selbstbeschuldigungen gezwungen worden und zur Haft auf der lebensfeindlichen Insel verurteilt worden.
Nachdem zuvor die Arbeit in Steinbrüchen verrichtet wurde, stellten ab den 1960er Jahren die Häftlinge auf Goli Otok unter anderem Terrazzofliesen und Möbel her.
Auf Goli Otok herrschte Rechtlosigkeit, Willkür, Terror und Gewalt. Gegenseitige Denunziationen unter den Häftlingen bot Chancen auf leichtere Haft oder gar Entlassung. Die Gefangenen wurden zu schweren körperlichen Arbeiten ohne Rücksicht auf die Wettergegebenheiten gezwungen und waren darüber hinaus regelmäßig Misshandlungen seitens des Wachpersonals ausgesetzt.
Die Gefangenentransporte fanden ohne jegliche Verpflegung und ohne Sitzplätze in Viehwagen statt, welche aus dem Landesinneren mit der Eisenbahn zum Hafen von Bakar gebracht wurden. Von dort wurden sie an Händen und Füssen gefesselt mit einem Schiff auf die Insel gebracht, was je nach Wetterlage 5 bis 6 Stunden dauerte und selbst bei starken Stürmen durchgeführt wurde.
Nachdem die Gefangenen auf der Insel eintrafen, wurden sie zuerst von den Wachleuten verprügelt, anschließend mussten die schon anwesenden Gefangenen diese Prozedur wiederholen. Außerdem wurden die Neuankömmlinge gezwungen, Loblieder und Parolen zu Ehren des Staatspräsidenten Tito zu singen. Dabei kam es manchmal zu grotesken Situationen, in denen Wachleute auf Gefangene einschlugen, mit denen sie ein paar Jahre zuvor während des Krieges in der gleichen Partisaneneineinheit im Einsatz waren
