పెద్ద డేటాను ఎవరు సేకరిస్తారు మరియు ఎందుకు?

2019 చివరలో, ఆపిల్ కార్డ్ సేవతో కుంభకోణం చెలరేగింది: నమోదు చేసేటప్పుడు, ఇది పురుషులు మరియు మహిళలకు వేర్వేరు క్రెడిట్ పరిమితులను జారీ చేసింది. స్టీవ్ వోజ్నియాక్ కూడా అదృష్టాన్ని కోల్పోయాడు:

ఒక సంవత్సరం క్రితం, నెట్‌ఫ్లిక్స్ ప్లాట్‌ఫారమ్ వినియోగదారులకు వారి లింగం, వయస్సు మరియు జాతీయతను బట్టి విభిన్న పోస్టర్‌లు మరియు టీజర్‌లను చూపుతుందని వెల్లడైంది. దీని కోసం, సేవ జాత్యహంకార ఆరోపణలు చేసింది.

చివరగా, Facebook ద్వారా దాని వినియోగదారుల డేటాను సేకరించడం, విక్రయించడం మరియు తారుమారు చేయడం వంటి ఆరోపణలపై మార్క్ జుకర్‌బర్గ్‌ను క్రమం తప్పకుండా మందలించారు. సంవత్సరాలుగా, అతను అమెరికన్ ఎన్నికల సమయంలో తారుమారు చేయడానికి ప్రయత్నించాడు మరియు రష్యన్ ప్రత్యేక సేవలకు సహాయం చేయడం, ద్వేషం మరియు రాడికల్ అభిప్రాయాలను ప్రేరేపించడం, అనుచితమైన ప్రకటనలు, వినియోగదారు డేటాను లీక్ చేయడం, పెడోఫిలీస్‌పై పరిశోధనలకు ఆటంకం కలిగించాడు.

జుక్ ద్వారా Facebook పోస్ట్

అదే సమయంలో, పోర్న్‌హబ్ ఆన్‌లైన్ సర్వీస్ ఏటా వివిధ దేశాలు, లింగం మరియు వయస్సు గల వ్యక్తులు ఎలాంటి పోర్న్ కోసం వెతుకుతున్నారో నివేదికలను ప్రచురిస్తుంది. మరియు కొన్ని కారణాల వల్ల ఇది ఎవరికీ ఇబ్బంది కలిగించదు. ఈ కథలన్నీ సారూప్యంగా ఉన్నప్పటికీ: వాటిలో ప్రతి ఒక్కటి పెద్ద డేటాతో వ్యవహరిస్తున్నాము, దీనిని XNUMXవ శతాబ్దంలో "కొత్త నూనె" అని పిలుస్తారు.

పెద్ద డేటా - అవి కూడా పెద్ద డేటా (eng. బిగ్ డేటా) లేదా మెటాడేటా - ఇది క్రమం తప్పకుండా మరియు పెద్ద వాల్యూమ్‌లలో వచ్చే డేటా యొక్క శ్రేణి. అవి సేకరించబడతాయి, ప్రాసెస్ చేయబడతాయి మరియు విశ్లేషించబడతాయి, ఫలితంగా స్పష్టమైన నమూనాలు మరియు నమూనాలు ఉంటాయి.

కానీ వెబ్‌లోని పెద్ద డేటా శాస్త్రీయ పరిశోధన కోసం గణాంకాలు మాత్రమే కాదు. విభిన్న సమూహాలు మరియు జాతీయతలకు చెందిన వినియోగదారులు ఎలా ప్రవర్తిస్తారు, వారు దేనికి శ్రద్ధ వహిస్తారు మరియు కంటెంట్‌తో ఎలా పరస్పర చర్య చేస్తారు అనే విషయాలను ట్రాక్ చేయడానికి వాటిని ఉపయోగించవచ్చు. కొన్నిసార్లు, దీని కోసం, డేటా ఒక మూలం నుండి కాదు, కానీ అనేక నుండి, కొన్ని నమూనాలను పోల్చడం మరియు గుర్తించడం ద్వారా సేకరించబడుతుంది.

నెట్‌వర్క్‌లో పెద్ద డేటా ఎంత ముఖ్యమైనది అనే దాని గురించి, వారు నిజంగా చాలా ఉన్నప్పుడు మాట్లాడటం ప్రారంభించారు. 2020 ప్రారంభంలో, ప్రపంచంలో 4,5 బిలియన్ల ఇంటర్నెట్ వినియోగదారులు ఉన్నారు, వారిలో 3,8 బిలియన్లు సోషల్ నెట్‌వర్క్‌లలో నమోదు చేయబడ్డారు.

సర్వేల ప్రకారం, మన దేశాల్లో సగానికి పైగా నెట్‌వర్క్‌లోని తమ డేటాను మూడవ పక్షాలు ఉపయోగిస్తాయని నమ్ముతారు. అదే సమయంలో, చాలా మంది సోషల్ నెట్‌వర్క్‌లు మరియు అప్లికేషన్‌లలో వ్యక్తిగత సమాచారం, ఫోటోలు మరియు ఫోన్ నంబర్‌ను కూడా పోస్ట్ చేస్తారు.

ఇక్కడ వివరించాల్సిన అవసరం ఉంది: మొదటి వ్యక్తి వినియోగదారు, ఇది ఏదైనా వనరు లేదా అప్లికేషన్‌లో దాని డేటాను ఉంచుతుంది. అదే సమయంలో, అతను ఈ డేటాను ప్రాసెస్ చేయడానికి అంగీకరిస్తాడు (ఒప్పందంలో ఒక టిక్ ఉంచుతుంది). రెండవ పక్షం - అంటే, వనరు యొక్క యజమానులు. మూడవ పక్షం అంటే వనరు యొక్క యజమానులు వినియోగదారు డేటాను ఎవరికి బదిలీ చేయగలరో లేదా విక్రయించగలరు. తరచుగా ఇది వినియోగదారు ఒప్పందంలో వ్రాయబడుతుంది, కానీ ఎల్లప్పుడూ కాదు.

మూడవ పక్షం ప్రభుత్వ ఏజెన్సీలు, హ్యాకర్లు లేదా వాణిజ్య ప్రయోజనాల కోసం డేటాను కొనుగోలు చేసే కంపెనీలు. మునుపటివారు కోర్టు లేదా ఉన్నత అధికారం యొక్క నిర్ణయం ద్వారా డేటాను పొందవచ్చు. హ్యాకర్లు, వాస్తవానికి, ఎటువంటి అనుమతులను ఉపయోగించరు - వారు సర్వర్‌లలో నిల్వ చేయబడిన డేటాబేస్‌లను హ్యాక్ చేస్తారు. కంపెనీలు (చట్టం ప్రకారం) మీరు వాటిని అనుమతించినట్లయితే మాత్రమే డేటాను యాక్సెస్ చేయగలరు - ఒప్పందం క్రింద ఉన్న పెట్టెను తనిఖీ చేయడం ద్వారా. లేకపోతే, అది చట్టవిరుద్ధం.

వాణిజ్య రంగంలో పెద్ద డేటా దశాబ్దాలుగా ఉపయోగించబడుతోంది, ఇది ఇప్పుడు ఉన్నంత తీవ్రంగా లేదు. ఇవి ఉదాహరణకు, నిఘా కెమెరాల నుండి రికార్డులు, GPS నావిగేటర్‌ల నుండి డేటా లేదా ఆన్‌లైన్ చెల్లింపులు. ఇప్పుడు, సోషల్ నెట్‌వర్క్‌లు, ఆన్‌లైన్ సేవలు మరియు అప్లికేషన్‌ల అభివృద్ధితో, ఇవన్నీ కనెక్ట్ చేయబడతాయి మరియు పూర్తి చిత్రాన్ని పొందవచ్చు: సంభావ్య కస్టమర్‌లు ఎక్కడ నివసిస్తున్నారు, వారు ఏమి చూడాలనుకుంటున్నారు, వారు ఎక్కడికి వెళతారు మరియు వారి వద్ద ఏ బ్రాండ్ కారు ఉంది.

పై ఉదాహరణల నుండి, పెద్ద డేటా సహాయంతో, కంపెనీలు, ముందుగా, ప్రకటనలను లక్ష్యంగా చేసుకోవాలనుకుంటున్నట్లు స్పష్టమవుతుంది. అంటే, సరైన ప్రేక్షకులకు మాత్రమే ఉత్పత్తులు, సేవలు లేదా వ్యక్తిగత ఎంపికలను అందించడం మరియు నిర్దిష్ట వినియోగదారు కోసం ఉత్పత్తిని అనుకూలీకరించడం. అదనంగా, ఫేస్‌బుక్ మరియు ఇతర పెద్ద ప్లాట్‌ఫారమ్‌లలో ప్రకటనలు మరింత ఖరీదైనవిగా మారుతున్నాయి మరియు వరుసగా అందరికీ చూపించడం లాభదాయకం కాదు.

కానీ ఇటీవలి సంవత్సరాలలో పోరాడుతున్న మరొక ముఖ్యమైన పని ఉంది: అత్యంత ద్రావకం ప్రేక్షకులకు దగ్గరగా ఉండటం. ఒకే OFD (ఫిస్కల్ డేటా ఆపరేటర్) ద్వారా చెల్లింపు సేవలు మరియు ఎలక్ట్రానిక్ తనిఖీల ద్వారా పని గణనీయంగా సులభతరం చేయబడినప్పటికీ, దీన్ని చేయడం అంత సులభం కాదు. వీలైనంత దగ్గరగా ఉండటానికి, కంపెనీలు చిన్ననాటి నుండి సంభావ్య కస్టమర్‌లను ట్రాక్ చేయడానికి మరియు "పెంపకం" చేయడానికి కూడా ప్రయత్నిస్తాయి.: ఆన్‌లైన్ గేమ్‌లు, ఇంటరాక్టివ్ బొమ్మలు మరియు విద్యా సేవల ద్వారా.

ఒకేసారి అనేక సేవలను కలిగి ఉన్న గ్లోబల్ కార్పొరేషన్ల నుండి డేటా సేకరణకు అతిపెద్ద అవకాశాలు ఉన్నాయి. ఫేస్‌బుక్‌లో ఇప్పుడు 2,5 బిలియన్లకు పైగా యాక్టివ్ యూజర్లు ఉన్నారు. అదే సమయంలో, కంపెనీ ఇతర సేవలను కూడా కలిగి ఉంది: Instagram - 1 బిలియన్ కంటే ఎక్కువ, WhatsApp - 2 బిలియన్ల కంటే ఎక్కువ మరియు ఇతరులు.

కానీ Google మరింత ప్రభావాన్ని కలిగి ఉంది: Gmailను ప్రపంచంలో 1,5 బిలియన్ల మంది ప్రజలు ఉపయోగిస్తున్నారు, మరో 2,5 బిలియన్ల మంది Android మొబైల్ OS ద్వారా, 2 బిలియన్లకు పైగా YouTube ద్వారా ఉపయోగిస్తున్నారు. మరియు అది Google శోధన మరియు Google Maps యాప్‌లు, Google Play స్టోర్ మరియు Chrome బ్రౌజర్‌ని లెక్కించదు. ఇది మీ ఆన్‌లైన్ బ్యాంక్‌ను కట్టడి చేయడానికి మిగిలి ఉంది - మరియు Google మీ గురించి అక్షరాలా ప్రతిదీ తెలుసుకోగలుగుతుంది. మార్గం ద్వారా, Yandex ఈ విషయంలో ఇప్పటికే ఒక అడుగు ముందుకు ఉంది, కానీ ఇది రష్యన్ మాట్లాడే ప్రేక్షకులను మాత్రమే కవర్ చేస్తుంది.

👍 అన్నింటిలో మొదటిది, సోషల్ నెట్‌వర్క్‌లలో మనం పోస్ట్ చేసే మరియు ఇష్టపడే వాటిపై కంపెనీలు ఆసక్తి చూపుతాయి. ఉదాహరణకు, మీరు వివాహం చేసుకున్నారని మరియు Instagram లేదా Tinderలో అమ్మాయిలను చురుకుగా ఇష్టపడుతున్నారని బ్యాంక్ చూస్తే, మీరు వినియోగదారు రుణాన్ని ఆమోదించే అవకాశం ఉంది. మరియు కుటుంబంపై తనఖా పోయింది.

మీరు ఏ ప్రకటనలను క్లిక్ చేస్తారు, ఎంత తరచుగా మరియు ఏ ఫలితంతో ఉంటారు అనేది కూడా ముఖ్యం.

(అంటే తదుపరి దశ ప్రైవేట్ సందేశాలు: అవి చాలా ఎక్కువ సమాచారాన్ని కలిగి ఉంటాయి. VKontakte, Facebook, WhatsApp మరియు ఇతర ఇన్‌స్టంట్ మెసెంజర్‌లలో సందేశాలు లీక్ అయ్యాయి. వారి ప్రకారం, మార్గం ద్వారా, సందేశాన్ని పంపే సమయంలో జియోలొకేషన్‌ను ట్రాక్ చేయడం సులభం. ఖచ్చితంగా మీరు గమనించారు: మీరు ఏదైనా కొనడం లేదా ఎవరితోనైనా పిజ్జా ఆర్డర్ చేయడం గురించి చర్చించినప్పుడు, సంబంధిత ప్రకటనలు వెంటనే ఫీడ్‌లో కనిపిస్తాయి.

🚕 డెలివరీ మరియు టాక్సీ సేవల ద్వారా బిగ్ డేటా చురుకుగా ఉపయోగించబడుతుంది మరియు "లీక్" అవుతుంది. మీరు ఎక్కడ నివసిస్తున్నారు మరియు పని చేస్తారు, మీరు ఏమి ఇష్టపడతారు, మీ ఉజ్జాయింపు ఆదాయం ఏమిటో వారికి తెలుసు. ఉదాహరణకు, Uber, మీరు బార్ నుండి ఇంటికి డ్రైవింగ్ చేస్తుంటే మరియు స్పష్టంగా అతిగా డ్రైవింగ్ చేస్తే ధర ఎక్కువగా ఉంటుంది. మరియు మీరు మీ ఫోన్‌లో ఇతర అగ్రిగేటర్‌ల సమూహాన్ని కలిగి ఉన్నప్పుడు, దీనికి విరుద్ధంగా, వారు చౌకైన వాటిని అందిస్తారు.

(అంటే సాధ్యమైనంత ఎక్కువ సమాచారాన్ని సేకరించడానికి ఫోటోలు మరియు వీడియోలను ఉపయోగించే సేవలు ఉన్నాయి. ఉదాహరణకు, కంప్యూటర్ విజన్ లైబ్రరీలు - Googleకి ఒకటి ఉంది. మీరు ఏ పరిమాణం లేదా ఎత్తు, మీరు ఏ బ్రాండ్‌లు ధరించారు, మీరు ఏ కారు నడుపుతున్నారు, మీకు పిల్లలు లేదా పెంపుడు జంతువులు ఉన్నాయా అని చూడటానికి వారు మిమ్మల్ని మరియు మీ పరిసరాలను స్కాన్ చేస్తారు.

(అంటే వారి మెయిలింగ్‌ల కోసం బ్యాంకులకు SMS గేట్‌వేలను అందించే వారు కార్డ్‌పై మీ కొనుగోళ్లను ట్రాక్ చేయవచ్చు – చివరి 4 అంకెలు మరియు ఫోన్ నంబర్ తెలుసుకోవడం – ఆపై ఈ డేటాను వేరొకరికి విక్రయించండి. అందుకే డిస్కౌంట్లు మరియు పిజ్జా బహుమతిగా ఈ స్పామ్ అంతా.

🤷️️ చివరగా, మనమే మన డేటాను ఎడమ సేవలు మరియు అనువర్తనాలకు లీక్ చేస్తాము. గెట్‌కాంటాక్ట్ చుట్టూ ఆ హైప్‌ను గుర్తుంచుకోండి, ప్రతి ఒక్కరూ తమ ఫోన్ నంబర్‌ను ఇతరులు ఎలా రాశారో తెలుసుకోవడానికి వాటిని నింపడం ఆనందంగా ఉంది. మరియు ఇప్పుడు వారి ఒప్పందాన్ని కనుగొని, మీ డేటా బదిలీ గురించి ఏమి చెబుతుందో చదవండి (స్పాయిలర్: యజమానులు వాటిని వారి అభీష్టానుసారం మూడవ పక్షాలకు బదిలీ చేయవచ్చు):

అదే Facebookలో జరిగినట్లుగా - దావా వచ్చే వరకు కార్పొరేషన్‌లు సంవత్సరాల తరబడి వినియోగదారు డేటాను విజయవంతంగా సేకరించవచ్చు మరియు విక్రయించవచ్చు. ఆపై కంపెనీ GDPRని ఉల్లంఘించడం ద్వారా నిర్ణయాత్మక పాత్ర పోషించబడింది - EUలోని ఒక చట్టం అమెరికన్ కంటే చాలా కఠినంగా డేటా వినియోగాన్ని పరిమితం చేస్తుంది. మరొక తాజా ఉదాహరణ అవాస్ట్ యాంటీవైరస్ కుంభకోణం: కంపెనీ అనుబంధ సేవలలో ఒకటి 100 నుండి 400 మిలియన్ల వినియోగదారుల నుండి డేటాను సేకరించి విక్రయించింది.

అయితే వీటన్నింటి వల్ల మనకు ఏమైనా ప్రయోజనాలు ఉన్నాయా?

అవును, ప్రకాశవంతమైన వైపు కూడా ఉంది.

బిగ్ డేటా నేరస్థులను పట్టుకోవడంలో మరియు తీవ్రవాద దాడులను నిరోధించడంలో సహాయపడుతుంది, తప్పిపోయిన పిల్లలను కనుగొని వారిని ప్రమాదం నుండి కాపాడుతుంది.

వారి సహాయంతో, మేము మేము బ్యాంకుల నుండి మంచి ఆఫర్‌లు మరియు వ్యక్తిగత తగ్గింపులను అందుకుంటాము. మేము వారికి ధన్యవాదాలు ప్రకటనల ద్వారా మాత్రమే సంపాదించే అనేక సేవలు మరియు సోషల్ నెట్‌వర్క్‌లకు మేము చెల్లించము. లేకపోతే, ఇన్‌స్టాగ్రామ్‌కే మాకు నెలకు అనేక వేల డాలర్లు ఖర్చవుతాయి.

చివరగా, కొన్నిసార్లు ఇది సౌకర్యవంతంగా ఉంటుంది: మీరు ఎక్కడ ఉన్నారో మరియు మీకు ఏమి కావాలో సేవలు ఇప్పటికే తెలిసినప్పుడు మరియు మీకు అవసరమైన సమాచారం కోసం మీరు వెతకవలసిన అవసరం లేదు.

బిగ్ డేటా అప్లికేషన్ కోసం మరొక మంచి ప్రాంతం విద్య.

వర్జీనియాలోని అమెరికన్ విశ్వవిద్యాలయాలలో ఒకదానిలో, రిస్క్ గ్రూప్ అని పిలవబడే విద్యార్థులపై డేటాను సేకరించడానికి ఒక అధ్యయనం నిర్వహించబడింది. పేలవంగా చదివి, తరగతులు మానేసి, చదువు మానేయాల్సిన వాళ్లు. వాస్తవం ఏమిటంటే, రాష్ట్రంలో ప్రతి సంవత్సరం సుమారు 400 మంది మినహాయించబడ్డారు. రేటింగ్‌లు తగ్గించబడిన మరియు నిధులను తగ్గించే విశ్వవిద్యాలయాలకు మరియు విద్యార్థులకు ఇది చెడ్డది: చాలా మంది విద్య కోసం రుణాలు తీసుకుంటారు, మినహాయింపు తర్వాత, తిరిగి చెల్లించవలసి ఉంటుంది. కోల్పోయిన సమయం మరియు కెరీర్ అవకాశాల గురించి ప్రత్యేకంగా చెప్పనక్కర్లేదు. పెద్ద డేటా సహాయంతో, సమయానికి వెనుకబడి ఉన్నవారిని గుర్తించడం మరియు వారికి ట్యూటర్, అదనపు తరగతులు మరియు ఇతర లక్ష్య సహాయాన్ని అందించడం సాధ్యమవుతుంది.

ఇది పాఠశాలలకు కూడా అనుకూలంగా ఉంటుంది: అప్పుడు సిస్టమ్ ఉపాధ్యాయులు మరియు తల్లిదండ్రులకు తెలియజేస్తుంది - వారు చెబుతారు, పిల్లలకి సమస్యలు ఉన్నాయి, కలిసి అతనికి సహాయం చేద్దాం. ఏ పాఠ్యపుస్తకాలు మెరుగ్గా పనిచేస్తాయో మరియు ఏ ఉపాధ్యాయులు మెటీరియల్‌ను మరింత సులభంగా వివరిస్తారో అర్థం చేసుకోవడానికి కూడా బిగ్ డేటా మీకు సహాయం చేస్తుంది.

మరొక సానుకూల ఉదాహరణ కెరీర్ ప్రొఫైలింగ్.: ఇలాంటప్పుడు యుక్తవయస్కులు తమ భవిష్యత్ వృత్తిని నిర్ణయించుకోవడంలో సహాయపడతారు. ఇక్కడ, పెద్ద డేటా సాంప్రదాయ పరీక్షలను ఉపయోగించి పొందలేని సమాచారాన్ని సేకరించడానికి మిమ్మల్ని అనుమతిస్తుంది: వినియోగదారు ఎలా ప్రవర్తిస్తాడు, అతను దేనికి శ్రద్ధ చూపుతాడు, అతను కంటెంట్‌తో ఎలా వ్యవహరిస్తాడు.

అదే USAలో, కెరీర్ గైడెన్స్ ప్రోగ్రామ్ ఉంది - SC ACCELERATE. ఇది ఇతర విషయాలతోపాటు, CareerChoice GPS సాంకేతికతను ఉపయోగిస్తుంది: వారు విద్యార్థుల స్వభావం, సబ్జెక్టుల పట్ల వారి ఆసక్తి, బలాలు మరియు బలహీనతల గురించి డేటాను విశ్లేషిస్తారు. యుక్తవయస్కులు వారికి సరైన కళాశాలలను ఎంచుకోవడానికి డేటా ఉపయోగించబడుతుంది.

Yandex.Zenలో మమ్మల్ని సబ్‌స్క్రైబ్ చేయండి మరియు అనుసరించండి — సాంకేతికత, ఆవిష్కరణ, ఆర్థిక శాస్త్రం, విద్య మరియు ఒకే ఛానెల్‌లో భాగస్వామ్యం చేయండి.