Các sở tù này lần lượt xuất hiện trước sau không đồng loạt, nhằm 2 mục đích: (1) Phục vụ toàn diện các mặt đời sống cho bộ máy hành chánh của địch và cho đời sống của người tù trên đảo. (2) Cải tạo người tù bằng lao động khổ sai.

Dựa theo các tài liệu, tính đến khoảng 1930 có ít nhất 18 sở tù sau đây đã đi vào hoạt động, cụ thể như sau:

1. SỞ LƯỚI: Chuyên đánh bắt hải sản quản lý ghe xuồng, khi cần thì truy bắt tù vượt ngục trên biển.
2. SỞ RUỘNG: Chuyên đóng cày bừa, sản xuất dụng cụ công tác và làm ruộng.
3. SỞ LÀM ĐÁ: Ở dưới chân núi chúa. Chuyên khai thác đá bằng cốt mìn và các dụng cụ thủ công, đập thành đá hộc, đá dăm để làm đường.
4. SỞ KÉO CÂY: Sở này còn gọi là sở Ông Câu, chuyên khai thác gỗ lớn thả theo sườn úi cho lăn xuống biển rồi kết thành bè chờ xà lúp kéo về.
5. SỞ CHUỒNG BÒ: Có hai công việc: Chăn nuôi bò, heo và kiếm 4 loại củi khác nhau: Củi dùng cho nhà máy nhiệt điện, củi đốt tha, củi nung vôi và củi nầu bếp ở các Banh, đây là một trong những sở phải làm việc nặng nề, lao lực đáng sợ nhất.
6. SỞ LÒ GẠCH: Sản xuất gạch xây dựng các nhà ở và trại giam.
7. SỞ LÒ VÔI: Sở này do kíp tù ở khám chỉ tồn phụ trách 2 khâu: Đi lấy san hô ngoài biển đem về nung san hô thành vôi bột.
8. SỞ MUỐI: Làm ruộng muối ở làng An Hội.
9. SỞ BÀN CHẾ: Là xưởng tiểu thủ công nghiệp, khai thác tay nghề của tù để làm các nghề mây, cẩn ốc, đồi mồi, mộc, cơ khí.
10. SỞ TIÊU: Là một nông trường rộng lớn, đầy làm sơn chướng khí, người Pháp cho chồng cây mít rồi chồng tiêu, cho tiêu leo lên cây mít.
11. SỞ RẪY AN HẢI: Là nông trường lớn ở làng An Hải. Trồng nhiều loại cây ăn trái và cung cấp giống cây trồng cho toàn đảo.
12. SỞ CỎ ỐNG: Nông trường lớn hơn ở An Hải, thuộc làng Cỏ Ống cây trồng cũng phong phú và đa dạng hơn nhưng chủ yếu là sở lúa. Sở này cách trung tâm 12km nên việc chuyên chở đi lại rất khó khăn và vất vả.
13. SỞ HOÀ NI: (Vanilliers) trồng cây Va-ni để đưa về Sài Gòn bán. Về sau sở Hoà Ni còn là sở trồng trọt hoa màu.
14. SỞ BÔNG HỒNG: Lúc đầu trồng bông hồng, sau chuyển thành rau quả (còn gọi là sở Bông Hường).
15. SỞ RẪY ÔNG LỚN: Là khu vườn rộng lớn của viên quản đốc nhà tù, trồng cây ăn trái và nuôi vích, Đồi mồi.
16. SỞ ÔNG ĐỤNG: Trồng cây màu như khoai, dắn, bầu, bí sở này ở xa nhất, bên sườn phía tây Núi Chúa.
17. SỞ VỆ SINH: Trưng dụng tù ở các trại để lo việc vét đường, hốt rác, đổ phân, đúng da đây chỉ là khu tạp dịch hàng ngày.
18. SỞ ĐẤT DỐC: Trồng cây ăn trái, chăn nuôi gia cầm, gia súc.

Trên đây chỉ kể một số sở lao động khổ sai có tù nhân làm việc, chưa nói đến những công sở như: Sở dây thép, Sở dây thép gió, Nhà thương Côn Đảo, Sở Kho bạc, Sở Cò . . .

Các chủ sở tù có đời sống cao, có quyền thế như những tên lãnh chúa, họp thành một lớp người được ưu đãi ở Côn Đảo. Phần lớn tù nhân ra làm ở các sở ngoài đều bị giam ở trong các trại ở ngay tại sở.