सीधे कंटेंट पर जाएं

बेंचमार्क

हम IPTV प्लेयर का बेंचमार्क कैसे करते हैं, और आप खुद किसी भी प्लेयर को कैसे टेस्ट करें

हर IPTV प्लेयर कहता है कि वह तेज़ है। हमें एक ऐसा आँकड़ा चाहिए था जिसे हम हर बदलाव के बाद जाँच सकें, उसी तरह के TV पर जो लोगों के घरों में असल में होता है। यह है वह टेस्ट, उसके नतीजे, क्या शोर (noise) निकला, और किसी भी प्लेयर पर इसे चलाने के कमांड।

MuskTV टीम की ओर से · · पढ़ने में 10 मिनट

संक्षेप में

  • हम 1 GB से कम RAM वाले एक सस्ते Android 11 TV पर, 1080i H.264 स्पोर्ट्स चैनल चलाते हुए छह चीज़ें मापते हैं: कोल्ड स्टार्ट, चैनल बदलने का समय, CPU, मेमोरी, वीडियो फ़्रेम टाइमिंग और गाइड स्क्रॉलिंग।
  • MuskTV के नतीजे: करीब 0.66 s में खुलता है, करीब 1.1 s में चैनल बदलता है, चलाते समय 23–32% CPU और 70–95 MB मेमोरी लेता है।
  • 1 GB वाले Android TV एमुलेटर पर TiviMate के मुकाबले (तीन बारी-बारी पास): MuskTV 612 ms के मुकाबले 224 ms में खुला और 98 MB के मुकाबले 71 MB मेमोरी ली। प्लेबैक बराबर रहा।
  • टेस्ट में सिर्फ़ Android के स्टैंडर्ड टूल (adb, am start -W, dumpsys) इस्तेमाल होते हैं, इसलिए आप अपने डिवाइस पर किसी भी IPTV प्लेयर के लिए यही कमांड चला सकते हैं।

टेस्ट डिवाइस: एक TV जो हाँफता है

तेज़ फ़ोन या $200 का स्ट्रीमिंग बॉक्स परफ़ॉर्मेंस की लगभग हर समस्या छिपा देता है। इसलिए बेंचमार्क हमारे सबसे कमज़ोर डिवाइस पर चलता है: Android 11 वाला एक सस्ता स्मार्ट TV, लो-एंड TV चिप, करीब 900 MB RAM और 60 Hz पर 1280×720 इंटरफ़ेस। यह सस्ते Android बॉक्स या एंट्री-लेवल Fire TV Stick जैसी ही श्रेणी का हार्डवेयर है।

टेस्ट स्ट्रीम एक असली प्रसारण है: करीब 8.5 Mbps, 25 फ़्रेम प्रति सेकंड वाला 1080i H.264 स्पोर्ट्स चैनल। interlaced स्पोर्ट्स लगभग सबसे मुश्किल चीज़ है जो किसी छोटी TV चिप को चलानी पड़ती है, इसलिए यह एक अच्छा स्ट्रेस टेस्ट है।

यह चैनल हमारे अपने TV प्रोवाइडर की प्लेलिस्ट से आता है। MuskTV सिर्फ़ एक प्लेयर है: इसमें चैनल शामिल नहीं हैं, और बेंचमार्क किसी खास प्रोवाइडर पर निर्भर नहीं है।

छह माप

पूरा रन एक स्क्रिप्ट है जो adb के ज़रिए रिमोट के बटन दबाती है और Android के अपने काउंटर पढ़ती है। इसमें करीब तीन मिनट लगते हैं। ऐप के अंदर कुछ भी नहीं मापा जाता, इसलिए वही स्क्रिप्ट किसी भी प्लेयर पर काम करती है।

मापकैसे लिया जाता हैक्यों मायने रखता है
कोल्ड स्टार्टऐप को force-stop किया जाता है, फिर am start -W से शुरू किया जाता है। Android मिलीसेकंड में TotalTime बताता है। 3 स्टार्ट का मीडियन।ऐप आइकन दबाने के बाद आप कितनी देर खाली स्क्रीन देखते हैं।
चैनल बदलनाचैनल-अप 8 सेकंड के अंतर पर 5 बार दबाया जाता है। हर बार हम वह समय जोड़ते हैं जब वीडियो सरफ़ेस पर कोई नया फ़्रेम नहीं आया। 5 का मीडियन।हर बार चैनल बदलने पर आने वाला ठहराव। यही आँकड़ा आप सबसे ज़्यादा महसूस करते हैं।
चलाते समय CPUऐप के प्रोसेस के लिए top, 2 सेकंड के अंतर पर 5 सैंपल, औसत, चैनल फ़ुल स्क्रीन पर।कमज़ोर चिप पर व्यस्त CPU का मतलब है गर्मी, छूटे फ़्रेम और धीमा मेन्यू।
मेमोरीचलाते समय dumpsys meminfo की TOTAL PSS लाइन।1 GB वाले डिवाइस पर सिस्टम सबसे ज़्यादा मेमोरी लेने वाले ऐप को बंद कर देता है।
फ़्रेम टाइमिंगdumpsys SurfaceFlinger --latency से 30 सेकंड के वीडियो फ़्रेम टाइम: असली फ़्रेम प्रति सेकंड, 60 ms से ज़्यादा अंतर वाले फ़्रेम का हिस्सा, और सबसे बड़ा अंतर।यह अटकना है, जो वहीं मापा जाता है जहाँ तस्वीर स्क्रीन तक पहुँचती है।
गाइड स्क्रॉलिंगdumpsys gfxinfo रीसेट किया जाता है, स्क्रिप्ट TV गाइड की 30 पंक्तियाँ स्क्रॉल करती है, फिर janky फ़्रेम और 50th व 90th percentile फ़्रेम टाइम पढ़ती है।कोने में वीडियो चलते हुए गाइड स्मूद चलता है या नहीं।

MuskTV के नतीजे

ये उस TV पर तीन पब्लिक वर्ज़न के सेव किए गए रन हैं। हर नए रन की तुलना पिछले पाँच के मीडियन से होती है; जो कुछ भी 10% या ज़्यादा खराब हो, उसे फ़्लैग किया जाता है और रिलीज़ से पहले उसकी वजह बतानी या उसे ठीक करना होता है।

माप0.1.00.2.00.3.0
कोल्ड स्टार्ट655 ms635 ms676 ms
चैनल बदलना (मीडियन)1.06 s1.10 s1.12 s
1080i चलाते समय CPU23%26%24%
मेमोरी (PSS)87 MB88 MB94 MB
फ़्रेम प्रति सेकंड252525
गाइड स्क्रॉल, मीडियन फ़्रेम10 ms9 ms10 ms
1 GB से कम RAM वाले सस्ते Android 11 TV पर MuskTV, 1080i H.264 चैनल, अक्टूबर 2026। ऐप का साइज़ 2.4 MB है।

तीन वर्ज़न और दर्जनों फ़ीचर के बाद भी आँकड़े मुश्किल से हिले हैं। टेस्ट का मकसद यही है: रिमोट शॉर्टकट, सर्च, कैच-अप, स्लीप टाइमर और चैनल मैनेजमेंट, सब जोड़े गए, और ऐप खुलने या चैनल बदलने में धीमा नहीं हुआ।

यह कैसे होता है, कोई राज़ नहीं: वीडियो CPU की जगह TV की वीडियो चिप डिकोड करती है, लाइव बफ़र छोटे रखे जाते हैं, हर चैनल बदलने पर नया डिकोडर मिलता है, और TV गाइड को मेमोरी में लोड करने की जगह स्ट्रीम के रूप में पढ़ा जाता है। इस पर ज़्यादा जानकारी हल्का IPTV प्लेयर पेज पर।

एक सेकंड का चैनल बदलना कहाँ खर्च होता है

यह देखने के लिए कि वह एक सेकंड कहाँ जाता है, हमने अतिरिक्त लॉगिंग के साथ 40 बार चैनल बदलने का समय मापा। बटन दबाने से लेकर MuskTV के प्लेयर को शुरू करने को कहने तक: 10–11 ms। बाकी सब, करीब 1.1 से 1.3 सेकंड, प्रोवाइडर के सर्वर का प्लेलिस्ट और पहले वीडियो सेगमेंट के साथ जवाब देना, और TV के डिकोडर का शुरू होना है।

हमने स्टार्ट बफ़र को 1 सेकंड से आधा करके 500 ms करके भी देखा। फ़र्क माप की त्रुटि के अंदर रहा (1192 ms के मुकाबले 1157 ms, ±100 ms), इसलिए ज़्यादा सुरक्षित 1 सेकंड ही रखा गया। प्लेयर की तुलना करने वाले हर व्यक्ति के लिए सबक: करीब एक सेकंड से नीचे, चैनल बदलने का समय ज़्यादातर आपके प्रोवाइडर और आपके डिवाइस पर निर्भर है, ऐप पर नहीं।

क्या शोर (noise) निकला

बेंचमार्किंग के पहले हफ़्तों ने हमें ऐप से ज़्यादा मापने के बारे में सिखाया। अगर आप खुद प्लेयर टेस्ट करते हैं, तो इनकी उम्मीद रखें:

  • CPU प्रसारण के साथ बदलता है। एक ही बिल्ड 16 मिनट के अंदर 24.5% से 34.1% के बीच मापा गया, क्योंकि तेज़ी से चलता मैच स्टूडियो शॉट से ज़्यादा मुश्किल से डिकोड होता है। दो बिल्ड या दो प्लेयर की तुलना सिर्फ़ उन्हें कई बार बारी-बारी चलाकर और मीडियन लेकर करें।
  • मेमोरी अपने आप बदलती है। एक बिल्ड पर PSS अलग-अलग रन में 71 से 94 MB के बीच रहा। Java और native heap एक जैसे थे; फ़र्क सिस्टम के साझा कोड पेज का था, और इसका कि गाइड का कितना हिस्सा उस समय लोड था।
  • 60 Hz स्क्रीन 25 fps को बराबर नहीं दिखा सकती। इस TV पर हमारे आज़माए हर प्लेयर में 10–15% फ़्रेम "देर" से आते हैं, क्योंकि साठ को पच्चीस से बराबर भाग नहीं दिया जा सकता। इस आँकड़े में बदलाव पर नज़र रखें, खुद आँकड़े पर नहीं।
  • गाइड स्क्रॉलिंग TV की ग्राफ़िक्स चिप पर निर्भर है। ठीक एक ही बिल्ड पर janky फ़्रेम 18% से 33% के बीच रहे। एक रन कुछ साबित नहीं करता; बारह बारी-बारी रन करते हैं।

तो नियम यह है: एक रन धुएँ का अलार्म है, फ़ैसला नहीं। जब कोई आँकड़ा खराब दिखता है, तो हम दोनों बिल्ड साथ-साथ इंस्टॉल करके फ़ैसले से पहले उन्हें बारी-बारी चलाते हैं।

क्या यह दूसरे प्लेयर से तुलना करता है?

अक्टूबर 2026 में एक बार, हाथ से, हमने उसी TV और उसी चैनल पर एक पुराने, व्यापक रूप से इस्तेमाल होने वाले IPTV प्लेयर पर यही माप लिए। हम उसका नाम नहीं बता रहे: एक TV पर एक सेशन किसी के प्रोडक्ट की निष्पक्ष समीक्षा नहीं है। लेकिन ऊपर के शोर को ध्यान में रखते हुए, सेशन में यह दिखा:

मापMuskTVदूसरा प्लेयरशोर से बाहर?
गाइड स्क्रॉल, janky फ़्रेम13%92–93%हाँ, बड़े अंतर से
गाइड स्क्रॉल, मीडियन फ़्रेम8 ms28–30 msहाँ
चलाते समय CPUकरीब 30%करीब 46%शायद: MuskTV के लिए दिखने वाली 24–34% की रेंज से ऊपर
मेमोरी (PSS)94 MB105 MBनहीं
चैनल बदलनाकरीब 1.0 sकरीब 1.2 s, चैनलों के बीच एक फ़्लैश के साथसमय, नहीं। फ़्लैश दिखता है।
फ़्रेम प्रति सेकंड2525बराबर
हाथ से मापा गया एक सेशन, वही TV, वही 1080i चैनल, 29 अक्टूबर 2026।

ईमानदार निचोड़: कमज़ोर TV पर दोनों प्लेयर तस्वीर बराबर अच्छी दिखाते हैं। फ़र्क तस्वीर के आस-पास की हर चीज़ में है, खासकर वीडियो चलते हुए गाइड कैसे चलता है। 1 GB वाले डिवाइस की गुंजाइश सबसे पहले यहीं खत्म होती है, और MuskTV इसी को ध्यान में रखकर बना है।

इसी सेशन की वजह से हमने बाद में यह टेस्ट ऐसे तरीके से दोहराया जिसमें नाम लिया जा सके और जिसे कोई भी कॉपी कर सके: अगला सेक्शन।

नाम के साथ तुलना: 1 GB एमुलेटर पर MuskTV और TiviMate

नवंबर 2026 में हमने यह स्क्रिप्ट एक ऐसे प्लेयर पर चलाई जिसका नाम हम ले सकते हैं, ऐसे सेटअप में जिसे कोई भी कॉपी कर सकता है: Android Studio का Android TV 12 एमुलेटर, 1 GB RAM और 2 CPU कोर तक सीमित। दोनों प्लेयर में एक ही प्रोवाइडर की प्लेलिस्ट थी। हमने हर एक के तीन पास बारी-बारी चलाए, हर पास के दौरान दूसरे प्लेयर को force-stop रखा, और मीडियन लिया।

मापMuskTV 0.4.0TiviMate 5.3.3शोर से बाहर?
कोल्ड स्टार्ट224 ms (194–268)612 ms (588–704)हाँ: रेंज आपस में नहीं मिलतीं
चलाते समय मेमोरी (PSS)71 MB (70–72)98 MB (95–107)हाँ: रेंज आपस में नहीं मिलतीं
गाइड स्क्रॉल, 90th percentile फ़्रेम17 ms (12–17)32 ms (32–40)हाँ, लेकिन दोनों बिना किसी janky फ़्रेम के स्क्रॉल हुए
गाइड स्क्रॉल, मीडियन फ़्रेम16 ms17 msनहीं
चलाते समय CPU8% (4–15)9% (8–24)नहीं
फ़्रेम प्रति सेकंड2525बराबर
तीन बारी-बारी पास के मीडियन (कोष्ठक में रेंज), 1 GB RAM और 2 कोर वाला Android TV 12 एमुलेटर, 16 नवंबर 2026।

इससे क्या पता चलता है: MuskTV करीब एक-तिहाई समय में खुलता है और करीब 27 MB कम मेमोरी लेता है। खुद प्लेबैक में दोनों बराबर हैं: वही फ़्रेम रेट, और CPU में कोई ऐसा फ़र्क नहीं जिसे हम शोर से अलग कर सकें।

  • यह एक एमुलेटर है। वीडियो TV चिप नहीं, कंप्यूटर डिकोड करता है, और होस्ट किसी सस्ते TV से कहीं तेज़ है, इसलिए असल आँकड़े असली हार्डवेयर से बेहतर आते हैं। हमारे 1 GB वाले TV पर MuskTV का कोल्ड स्टार्ट करीब 660 ms है, 224 नहीं।
  • TiviMate के लिए चैनल बदलने का समय नहीं है, क्योंकि स्क्रिप्ट की चैनल-अप की से वहाँ चैनल नहीं बदलता। MuskTV का मीडियन 719 ms था।
  • यह पक्का नहीं किया गया कि दोनों प्लेयर में चला चैनल एक ही था (वे चैनलों को अलग-अलग नंबर देते हैं), जो CPU वाली पंक्ति को नज़रअंदाज़ करने की एक और वजह है।
  • दोनों गाइड बराबर भरे नहीं थे। MuskTV में प्रोग्राम डेटा लोड था; रन के दौरान TiviMate ने जो पंक्तियाँ दिखाईं, उनमें कोई डेटा नहीं था।
  • TiviMate ऐसी चीज़ें करता है जो MuskTV नहीं करता, जैसे रिकॉर्डिंग, मल्टी-व्यू और कई प्लेलिस्ट। यह टेस्ट सिर्फ़ स्पीड और मेमोरी मापता है, और कुछ नहीं।

किसी भी IPTV प्लेयर पर टेस्ट चलाएँ

आपको adb (Android platform-tools) वाला एक कंप्यूटर और एक TV, बॉक्स या Fire TV चाहिए, जिसके Developer options में ADB debugging चालू हो। डिवाइस के IP एड्रेस से कनेक्ट करें, फिर जिस प्लेयर को टेस्ट करना है उसका पैकेज नाम ढूँढें।

adb connect 192.168.1.50:5555
adb shell pm list packages -3        # installed apps; pick the player's package
  1. कोल्ड स्टार्ट। नीचे दिए दो कमांड तीन बार चलाएँ और बीच वाला TotalTime लें। PACKAGE की जगह प्लेयर का पैकेज नाम डालें।
  2. CPU। कोई चैनल फ़ुल स्क्रीन पर शुरू करें, 20 सेकंड इंतज़ार करें, फिर top वाली लाइन कुछ बार चलाएँ। %CPU कॉलम हर कोर के हिसाब से है: 100% का मतलब एक पूरा कोर।
  3. मेमोरी। चैनल चलते रहने के दौरान meminfo वाली लाइन चलाएँ और TOTAL PSS (kB में) पढ़ें।
  4. गाइड स्क्रॉलिंग। प्लेयर का TV गाइड खोलें, gfxinfo reset वाली लाइन चलाएँ, रिमोट से 30 पंक्तियाँ स्क्रॉल करें, फिर आखिरी लाइन चलाकर Janky frames और 50th / 90th percentile पढ़ें।
  5. दोहराएँ। पूरी प्रक्रिया दूसरे प्लेयर पर करें, फिर हर एक पर एक बार और। दिन के एक ही समय पर एक ही चैनल इस्तेमाल करें, और मीडियन की तुलना करें।
# 1. cold start
adb shell am force-stop PACKAGE
adb shell monkey -p PACKAGE -c android.intent.category.LEANBACK_LAUNCHER 1   # or: am start -W -n PACKAGE/ACTIVITY

# 2. CPU while playing
adb shell top -b -n 1 | grep PACKAGE

# 3. memory while playing
adb shell dumpsys meminfo PACKAGE | grep "TOTAL PSS"

# 4. guide scrolling
adb shell dumpsys gfxinfo PACKAGE reset
#    ...scroll 30 rows...
adb shell dumpsys gfxinfo PACKAGE | grep -E "Janky frames|50th|90th"

am start -W -n PACKAGE/ACTIVITY सीधे TotalTime प्रिंट करता है; adb shell cmd package resolve-activity --brief PACKAGE बताता है कि कौन-सा activity नाम इस्तेमाल करना है। monkey वाली लाइन activity जाने बिना ऐप शुरू कर देती है, लेकिन तब समय आपको आँख से मापना होगा।

MuskTV को इसी तरह टेस्ट करने के लिए इसे डाउनलोड पेज से इंस्टॉल करें: पैकेज नाम com.musktv.tv है। 7 दिन के ट्रायल में हर फ़ीचर है, इसलिए आपको मिलने वाले आँकड़े पेड ऐप के ही आँकड़े हैं।

यह बेंचमार्क आपको क्या नहीं बताता

  • यह एक TV है। अलग चिप, Android वर्ज़न या स्क्रीन पर असल आँकड़े अलग आएँगे; दो प्लेयर के बीच का क्रम आमतौर पर वही रहता है, अंतर का आकार शायद नहीं।
  • यह स्पीड मापता है, फ़ीचर नहीं। कोई प्लेयर तेज़ होकर भी आपकी ज़रूरत की कोई चीज़ से चूक सकता है। जैसे MuskTV एक समय में एक प्लेलिस्ट चलाता है और इसमें अभी रिकॉर्डिंग नहीं है; यह आज क्या करता है, फ़ीचर पेज पर लिखा है।
  • यह धीमे प्रोवाइडर को ठीक नहीं कर सकता। सर्वर या नेटवर्क से आने वाली बफ़रिंग हर प्लेयर में एक जैसी दिखती है। देखें IPTV बफ़र क्यों होता है और इसे कैसे ठीक करें।
  • फ़ोन ऐप इसमें शामिल नहीं है। ये आँकड़े TV ऐप के साथ एक TV पर मापे गए।

सवाल

क्या MuskTV सबसे तेज़ IPTV प्लेयर है?

हम सिर्फ़ उसी की गारंटी दे सकते हैं जो हमने मापा: 1 GB से कम RAM वाले सस्ते Android 11 TV पर यह करीब 0.66 सेकंड में खुलता है, करीब 1.1 सेकंड में चैनल बदलता है और 1080i चैनल चलाते हुए 23–32% CPU लेता है। टेस्ट में Android के स्टैंडर्ड टूल इस्तेमाल होते हैं, इसलिए आप अपने डिवाइस पर इसे किसी भी दूसरे प्लेयर पर चलाकर तुलना कर सकते हैं।

IPTV प्लेयर का बेंचमार्क करने के लिए कौन-से टूल चाहिए?

बस Android platform-tools का adb और ADB debugging चालू वाला एक डिवाइस। कोल्ड स्टार्ट "am start -W" से, CPU "top" से, मेमोरी "dumpsys meminfo" से और स्क्रॉलिंग की स्मूदनेस "dumpsys gfxinfo" से मिलती है।

हर IPTV प्लेयर में चैनल बदलने में करीब एक सेकंड क्यों लगता है?

उस सेकंड का ज़्यादातर हिस्सा प्रोवाइडर के सर्वर का प्लेलिस्ट और पहले वीडियो सेगमेंट भेजना, और डिवाइस के डिकोडर का शुरू होना है। हमारे इंस्ट्रुमेंटेड टेस्ट में इसमें से MuskTV के अपने कोड ने 10–11 ms लिए।

IPTV प्लेयर को कितनी RAM चाहिए?

यह प्लेयर पर निर्भर करता है। MuskTV ने पूरा TV गाइड लोड रहते हुए 1080i चैनल चलाते समय 70–95 MB ली, जिससे 1 GB RAM वाले डिवाइस पर जगह बचती है।