100 TB पूल के लिए ZFS को कितनी RAM चाहिए?

"1 GB प्रति TB" नियम कहाँ से आया?

OpenZFS से नहीं। इसका FAQ सर्वोत्तम प्रदर्शन के लिए 8 GB या अधिक मांगता है और जोड़ता है कि लोग इसे 2 GB या उससे कम पर चलाते हैं। इसका हार्डवेयर गाइड मेमोरी साइज़िंग के बारे में कुछ नहीं कहता।

दो असली नियम एक में मिल जाते हैं। पहला cache लक्ष्य है: Proxmox ARC के लिए कम से कम 2 GiB प्लस प्रति TiB स्टोरेज 1 GiB की सलाह देता है, जो ZFS का read cache है। दूसरा deduplication के लिए है, और वह कहीं बड़ा है। FreeBSD हैंडबुक प्रति TB deduplicated डेटा 5 से 6 GB RAM देता है।

1 GB प्रति TB नियम एक cache की चाह है, ज़रूरत नहीं: ZFS इससे कहीं कम पर चलता है और जो भी आप देते हैं उतना cache करता है।

Proxmox खुद एक छोटा डिफ़ॉल्ट सेट करता है। Proxmox VE 8.1 से, इंस्टॉलर ARC को मेमोरी के 10% तक, अधिकतम 16 GiB तक सीमित करता है।

ZFS यह मेमोरी किस लिए इस्तेमाल करता है?

ज़्यादातर ARC के लिए, जो हाल ही में और बार-बार पढ़े गए ब्लॉक और metadata का cache है। ज़्यादा cache का मतलब हार्ड ड्राइव तक कम धीमी यात्राएँ।

ARC खुद अपना साइज़ तय करता है। Linux पर, OpenZFS 2.3 और बाद के संस्करण इसे कुल मेमोरी में से 1 GiB घटाकर और मेमोरी का 5/8 — जो बड़ा हो — तक बढ़ने देते हैं। OpenZFS 2.2 Linux पर मेमोरी के आधे पर रुकता था। न्यूनतम 32 MiB और मेमोरी का 1/32 में से जो बड़ा हो, और ZFS मेमोरी का 1/64 खाली छोड़ने का लक्ष्य रखता है।

दो और उपयोगों पर सीमाएँ हैं। Scrub और resilver अपनी reads को मेमोरी में sort करते हैं, डिफ़ॉल्ट रूप से RAM के 1/20 तक। resilver में कितना समय लगता है, यह RAID rebuild समय पेज पर है। Deduplication अपनी टेबल मेमोरी में रखता है, यहीं से बड़ी संख्याएँ आती हैं।

किराए के सिस्टम पर संस्करण मायने रखते हैं। 2 नवंबर 2026 को, Debian 13 में zfsutils-linux 2.3.9 और Ubuntu 24.04 में 2.2.2 आता था।

100 TB का बैकअप पूल असल में कितनी मेमोरी लेता है?

फ़ाइल सर्वर से कम cache, क्योंकि बैकअप एक बार लिखे जाते हैं और कभी-कभार पढ़े जाते हैं। Cache सबसे ज़्यादा metadata में मदद करता है: snapshots की सूची बनाना, पुराने बैकअप prune करना और indexes जाँचना।

Proxmox नियम योजना के लिए एक ठोस ऊपरी सीमा है। आम layouts पर लगाने से ये ARC लक्ष्य मिलते हैं:

• mirror में 2 × 12 TB, 12 TB प्रयोग योग्य: लगभग 13 GiB।
• RAIDZ2 में 4 × 10 TB, 20 TB प्रयोग योग्य: लगभग 20 GiB।
• RAIDZ2 में 10 × 10 TB, 80 TB प्रयोग योग्य: लगभग 75 GiB।
• RAIDZ2 में 10 × 16 TB, 128 TB प्रयोग योग्य: लगभग 118 GiB।

holds से तुलना करें: Hold 24 32 GB DDR4 ECC, Hold 40 64 GB DDR4, Hold 100 128 GB DDR4 ECC, Hold 160 128 GB DDR4 ECC। लक्ष्य से कम पर भी ZFS चलता है; बस metadata डिस्क से ज़्यादा बार पढ़ता है।

2 November 2026 को Basalthold जाँचे गए 23 स्टोरेज-सर्वर विक्रेताओं में से, 8 ने 100 TB या उससे अधिक का सर्वर सूचीबद्ध किया, और 1 ने बिना ID वाले क्रिप्टो खरीदारों को एक किराए पर दिया। पूरा ऑफर 100 TB स्टोरेज सर्वर पेज पर है।

क्या मुझे बैकअप के लिए ZFS deduplication चालू करनी चाहिए?

100 TB पर नहीं। प्रति TB deduplicated डेटा 5 से 6 GB पर, 80 TB के लिए 400 से 480 GB मेमोरी चाहिए होगी। यह किसी भी hold में नहीं है।

इसके बजाय बैकअप टूल को deduplicate करने दें। restic, Borg और Proxmox Backup Server डेटा को chunks में बाँटते हैं और हर chunk को अपने index में एक बार संग्रहीत करते हैं। अंतर restic या Borg पर हैं। ZFS compression चालू रखें; इसमें कम मेमोरी लगती है।

ECC मेमोरी साइज़ से ज़्यादा मायने रखती है। OpenZFS इसे अत्यधिक अनुशंसित कहता है, क्योंकि कोई भी फ़ाइलसिस्टम RAM में bit flips से नहीं बचा सकता। ZFS को सादी ड्राइव क्यों चाहिए, यह ZFS या हार्डवेयर RAID पर है।

मैं ARC को कैसे जाँचूँ या सीमित करूँ?

पहले लाइव साइज़ पढ़ें, फिर सीमा तभी सेट करें जब दूसरी सेवाओं को वह मेमोरी चाहिए। Proxmox गाइड यही zfs_arc_max पैरामीटर इस्तेमाल करता है।

# current ARC size and its limits, in bytes
grep -E '^(size|c_min|c_max) ' /proc/spl/kstat/zfs/arcstats
arc_summary | head -40

# cap the ARC at 64 GiB until the next reboot
echo $((64 * 1024 * 1024 * 1024)) > /sys/module/zfs/parameters/zfs_arc_max

# keep the cap after reboots
echo "options zfs zfs_arc_max=68719476736" > /etc/modprobe.d/zfs.conf
# only if the root filesystem itself is on ZFS:
update-initramfs -u -k all