Thursday, March 23, 2017

తెలుగు వికీపీడియా నుండి తెలుగు మహాపదనిధిని రూపొందించడంలో తొలి రోజు

తెలుగు మహాపదనిధి/ తెలుగు కోర్పస్ అనేది తెలుగు భాషకు మనం రూపొందించగలిగిన బృహత్తర వనరు. ఈ కోర్పస్ రూపొందితే, తెలుగులో కొత్త పదాల సృష్టి, ఇప్పటికే ఉన్న పదాల వాడుక, నానార్ధాలు, ఎక్కడ ఎలా ఎవరు వాడారు అన్న విషయాలు తేటతెల్లమవుతాయి. ఈ కోర్పస్ రూపొందించడానికి పాఠ్యం యూనికోడ్ లో ఉండడం మొదటి అవసరం. తెలుగులో అంత ఎక్కువ పాఠ్యం వాడటానికి తయారుగా అందుబాటులో ఉన్న ఒక పెద్ద వనరు తెలుగు వికీపీడియా (తెవికీ).
అందుకని, నేను తెవికీ ని వనరుగా తీసుకొని పదాల నిధిని రూపొందించనున్నాను. 
మొదటి మెట్టు తెవికీ నుండి పాఠ్యాన్ని పొందడం, ఇందుకు ఎన్నో మార్గాలు :
అన్నిటికన్నా సులువైనది వెబ్‌హెచ్‌టిట్రాక్ ను వాడడం. ఇలా చేయడం వలన హెచ్‌టిఎంఎల్ లో పాఠ్యం దింపుకోలవుతుంది. మనం వికీ పేజీలను ఎలా చూస్తామో అలానే దింపుకోబడతాయి, చదవనలమి కాని వికీకోడ్ కనిపించదు. ఇతర మార్గాల్లో వికీ పాఠ్యం దింపుకొనేప్పుడు చాలా సార్లు పట్టికల్లో, మూసల్లో ఉండే పాఠ్యం, వర్గపు వివరాలు రావు. ఐతే హెచ్‌టిఎంఎల్ లోని పాఠ్యంలో ఇవన్నీ వచ్చేస్తాయి. కానీ, హెచ్‌టిఎంఎల్ ట్యాగులని తీసుకోకుండా, పాఠ్యాన్ని వడపోయడం కాస్త కష్టతరమైన పనే! అలానే ఇలాంటి పద్ధతుల్లో లంకెను పట్టుకొని పేజీని, ఆ పేజీలో లంకెలతో పేజీలని పట్టుకుని వెబ్సైట్ మొత్తం భద్రపరుస్తాం, అంచేత కొన్ని పేజీలు ఒకటికన్నా ఎక్కువసార్లు దింపుకోలవుతాయి, అగాధ-అనాధ పేజీలు దింపుకోబడవు. మనకు నచ్చిన వ్యాసాలే వచ్చేలా చేయలేం.

పైవికిబాట్ వాడి మనకు నచ్చిన పేజీల వరకు తోడుకోవచ్చు. కానీ ఇది చాలా సమయం తీసుకోవచ్చు. కొన్ని ప్రత్యేక పాఠ్యపు డేటాబేస్ టేబుళ్ళు పైవీకిబాట్ కు అందుబాటులో ఉండకపోవచ్చు.

ఇక ఆటోవికి బ్రౌజర్, AWB, వాడాలంటే పలు సమస్యలున్నాయి, కేవలం విండోస్ కే పరిమితమవ్వాలి. యూనికోడ్ పాఠ్యాన్ని సమర్ధవంతంగా ఆడించలేదు. ఇది నేనెక్కువగా వాడలేదు కనుక పెద్దగా తెలీదు కూడా!

ఏదేమైనా, మనకి వికీమీడియా ఇంజనీరింగ్ టీం వారు, ఔత్సాహికుల చలవ వల్ల వికీపీడియా పేజీలన్నీ డేటాబేస్ డంపుల రూపంలో అందుబాటులో ఉన్నాయి. ఇవి కింది చూపిన విధంగా dumps.wikimedia.org వద్ద లభిస్తాయి :
  1. Articles, templates, media/file descriptions, and primary meta-pages, in multiple bz2 streams, 100 pages per stream
    • tewiki-20170320-pages-articles-multistream.xml.bz2 92.6 MB
    • tewiki-20170320-pages-articles-multistream-index.txt.bz2 1.1 MB
    • tewiki-20170320-pages-meta-history.xml.bz2
  2. history content of flow pages in xml format. These files contain flow page content in xml format.
    • tewiki-20170320-flowhistory.xml.bz2 12 KB
  3. content of flow pages in xml format. These files contain flow page content in xml format.
    • tewiki-20170320-flow.xml.bz2 10 KB
  4. Log events to all pages and users. This contains the log of actions performed on pages and users.
    • tewiki-20170320-pages-logging.xml.gz 7.1 MB
  5. All pages, current versions only.
    • tewiki-20170320-pages-meta-current.xml.bz2 105.8 MB
  6. Articles, templates, media/file descriptions, and primary meta-pages.
    • tewiki-20170320-pages-articles.xml.bz2 88.6 MB
  7. First-pass for page XML data dumps. These files contain no page text, only revision metadata.
    • tewiki-20170320-stub-meta-history.xml.gz 127.5 MB
    • tewiki-20170320-stub-meta-current.xml.gz 16.0 MB
    • tewiki-20170320-stub-articles.xml.gz 11.1 MB
  8. Extracted page abstracts for Yahoo: tewiki (ID 3495) 15974 pages (118.4|3173.4/sec all|curr), 15974 revs (118.4|193.5/sec all|curr), ETA [max 237881]
    • tewiki-20170320-abstract.xml 150.8 MB
  9. List of all page titles
    • tewiki-20170320-all-titles.gz 1.4 MB
  10. List of page titles in main namespace
    • tewiki-20170320-all-titles-in-ns0.gz 619 KB
  11. Namespaces, namespace aliases, magic words.
    • tewiki-20170320-siteinfo-namespaces.json 18 KB
  12. Wiki page-to-page link records.
    • tewiki-20170320-pagelinks.sql.gz 24.6 MB
  13. List of pages' geographical coordinates
    • tewiki-20170320-geo_tags.sql.gz 106 KB
  14. Name/value pairs for pages.
    • tewiki-20170320-page_props.sql.gz 1.3 MB
  15. List of annotations (tags) for revisions and log entries
    • tewiki-20170320-change_tag.sql.gz 212 KB
  16. Wiki category membership link records.
    • tewiki-20170320-categorylinks.sql.gz 6.2 MB
  17. Wiki external URL link records.
    • tewiki-20170320-externallinks.sql.gz 8.3 MB
  18. Interwiki link tracking records
    • tewiki-20170320-iwlinks.sql.gz 859 KB
  19. Nonexistent pages that have been protected.
    • tewiki-20170320-protected_titles.sql.gz 1 KB
  20. Wiki template inclusion link records.
    • tewiki-20170320-templatelinks.sql.gz 5.4 MB
  21. Redirect list
    • tewiki-20170320-redirect.sql.gz 340 KB
  22. A few statistics such as the page count.
    • tewiki-20170320-site_stats.sql.gz 801 bytes
  23. User group assignments.
    • tewiki-20170320-user_groups.sql.gz 1 KB
  24. This contains the SiteMatrix information from meta.wikimedia.org provided as a table.
    • tewiki-20170320-sites.sql.gz 19 KB
  25. Wiki media/files usage records.
    • tewiki-20170320-imagelinks.sql.gz 2.0 MB
  26. Category information.
    • tewiki-20170320-category.sql.gz 359 KB
  27. Base per-page data (id, title, old restrictions, etc).
    • tewiki-20170320-page.sql.gz 7.0 MB
  28. Newer per-page restrictions table.
    • tewiki-20170320-page_restrictions.sql.gz 3 KB
  29. Tracks which pages use which Wikidata items or properties and what aspect (e.g. item label) is used.
    • tewiki-20170320-wbc_entity_usage.sql.gz 929 KB
  30. Metadata on current versions of uploaded media/files.
    • tewiki-20170320-image.sql.gz 1.6 MB
  31. Wiki interlanguage link records.
    • tewiki-20170320-langlinks.sql.gz 9.2 MB
ప్రతి ఒక్క వికీకి సంబంధించి ఈ విధంగా పలు డంపులు అందుబాటులో ఉంటాయి. నేను పదనిధి కోసం పైనిచ్చిన జాబితాలోని ఐదవ అంశాన్ని ఎంచుకుంటున్నాను. ఇందులో ఆనాటి వికీపేజీ స్థితి నిక్షిప్తమై ఉంటుంది. ఈ కింది ఆదేశాన్ని ఆడించి మీరు ఆ పేజీల డంపును పొందవచ్చు:
wget https://dumps.wikimedia.org/tewiki/20170320/tewiki-20170320-pages-meta-current.xml.bz2
పై దస్త్రం పేరు ప్రకారం అది ప్రస్తుత స్థితి (అనగా ౨౦౧౭, మార్చ్ ౨౦ నాటి) వికీపీడియా పేజీలన్నిటిని వాటి అప్పటి స్థితిలో దింపుకుంటుంది.

Wednesday, May 11, 2016

యూరప్ డైరీ - ౧

ఈ సీరీస్ కి యూరప్ డైరీ అనిపెట్టాల లేక మధ్య ఐరోపా యాత్రలు అని పేరు ఉంచాలా లేక బెర్లిన్ లోఎక్కువ రోజులున్నాను కాబట్టీ బెర్లిన్ డైరీ అ వ్రాయాలా అన్న సంశయంలో ఉన్నాను. అది ఎలాంటి సంశయం అంటే, మళ్ళీ యూరప్ యాత్ర చేసి తిరిగి వచ్చి ఇది వ్రాసేంత.
వృత్తికి సంబంధించిన పని మీద గానీ, ప్రవృత్తి వలన కలిగిన పరవశంలో గానీ యూరప్ కి సంవత్సరానికి ఒకసారైనా వెళ్ళక తప్పదు అన్న విషయం నాకర్ధమైంది. అందువలన యూరప్ లో ఉండే ఆ నాలుగైదు రోజుల గురించీ మన బ్లాగ్మిత్రులకి తెలియచేద్దామన్న చిన్న ఆశతో ఈ టపాల వెల్లువ మొదలెట్టాను.

ఈ బ్లాగు టపా వ్రాస్తున్న సమయానికి నేను యూరప్ లోని ఐదు నగరాలను రెండు దఫాలుగా పర్యటించి వచ్చాను.
రెండు సార్లూ బెర్లిన్ లో జరిగే వృత్తిపరమైన కాన్ఫరెన్స్ కోసం వెళ్ళినా సమీప భవిష్యత్తులో సొంత ఖర్చులతో యూరప్ వెళ్ళి ఒక వారం ఉండేలా ఈ యాత్రలు నన్ను ప్రేరేపించాయి.
అక్కడి జనం, సంస్కృతి, దినచర్య తీరుతెన్నులు నన్ను బాగా ఆకర్షించాయి. మరి నేను ఇతర దేశాలు వెళ్ళి చూడలేదు. అమెరికా, జపాను, సింగపురం లలో కూడా ఇలాంటి పరిస్థితులు ఉండవచ్చునుగాక, కానీ ప్రస్తుతానికి నాకు ఐరోపా బాగా నచ్చేసింది. ఎంత అంటే ఈ జీవితాంతం ఐరోపా లోని వివిధ ప్రాంతాలను అర్ధం చేసుకుంటూ బ్రతికెయ్యాలనే ఆలోచనలు వచ్చేంత. వియెన్నాలోని ఒక మ్యూజియంలో ఒక చిన్న గదిలో ఉంచిన పెయింటంగులను చూస్తూ సంవత్సర కాలం గడిపెయ్యొచ్చేమో అన్నంత పరవశం కలిగించాయి అక్కడి చిత్రకళలు, వాటిని కాపాడుతూ కూడా అందరికీ ప్రదర్శించే తీరు.
డైరీ మొదటి పేజీ కనుక. అందరూ చదివేలా వ్రాస్తున్న డైరీ పేజీలు కనుక. నెలలు-సంవత్సరాలు వ్యత్యాసంతో వ్రాస్తున్న అంశాలు గనుక.
ఇందులో అన్ని నిష్పూచీలే ఉంటాయి. వ్యక్తిగత విషయాలు ఉండవు, ఉన్నా కాకతాళీయం అనేసుకోండి. దినచర్యలా కాకుండా నన్ను అత్యంత ప్రభావితం చేసిన కొద్ది విషయాలే పంచుకోబోతున్నాను.
మిగితా విషయాలు రెండో పేజీలో...

Tuesday, October 13, 2015

బలహీన క్షణం

నా పేరు బలహీన క్షణం. నేను సమయ కొలమానాల్లో కనిపెట్టబడిన వేల కొలతల్లో ఒకడ్ని. నా నిడివి పేరులో ఉన్నట్టే ఒక క్షణ కాలం. నేను సర్వవ్యాపిని. యముడొక్కడే సమవర్తి అనుకొంటారు మీలో చాలా మంది. కానీ పెక్కు వ్యాసులు ఉన్నది ఎంత నిజమో పెక్కు సమవర్తులు ఉన్నదీ అంతే నిజము. 
ఉదాహరణకి నిద్ర సమవర్తి, పేదా-పెద్ద అన్న తేడా లెకుండా అందరూ నిద్రపోవాల్సిందే, అలానే చావు, అలానే సంతోషము కూడా. 
నా నిడివి ఒక్క క్షణమైనా, మనుషులు వాళ్ళ అవకాశాన్ని బట్టి నా నిడివిని నిమిషాలు, గంటలు, రోజులు, వారాలు, నెలలు. సంవత్సరాలు దాటేయిస్తారు. 
వారి జీవితాల్లో ఏం తప్పు జరిగినా నా మీదకు నెట్టేస్తారు జనాలు. 
తన భర్తను అనాల్సిన మాటలు అనేస్తుంది భార్య, ఏమయిందని మళ్ళీ ఆలోచించుకొని అదొక బలహీన క్షణం అని తను చేసిన తప్పుకు నన్ను నిందితుడ్ని చేసేస్తుంది. 
పెద్ద పెద్ద దేశాధినేతలు కూడా ఎన్నో తప్పులు చేసేస్తారు, వేల జనాల ప్రాణాలు బలి తీసుకుని ఆ నింద కూడా నా మీదకు నెట్టేస్తారు. 
నేనే ఆ దుశ్చర్యకు కారణమని కాబోలు. 

Tuesday, May 26, 2015

నిర్గమము

నేను నా గుఱ్ఱాన్ని కొట్టం నుండి తెమ్మని బంట్రోతుకు పురమాయించాను.
వాడికి నా మాటలర్ధం కాలేదు.
అందుకని నేనే కొట్టానికి వెళ్ళి గుఱ్ఱానికి కళ్ళెం కట్టి జీని వేసి సిద్ధం చేసాను.
గుఱ్ఱం పైకెక్కి స్వారీకి సిద్ధంగా కూర్చున్నాను.
దూరంగా బూరూదిన శబ్దం వినిపిస్తోంది.
బంట్రోతును అడిగాను ఆ శబ్దం ఎందుకు అనీ.
వాడికేమి తెలీదట వాడేమీ వినలేదుట.
గుఱ్ఱాన్ని పరిగెత్తిస్తూ వెళుతున్న నన్ను గుమ్మం దగ్గర ఆపి అడిగాడు - "అయ్యగారు ఎక్కడికి వెళుతున్నారు?"
"నాకు తెలీదు." అని నేనన్నాను "ఇక్కడి నుండి బయటకి, ఇక్కడి నుండి వెలుపలకి. బయటకి, ఇంకెక్కడికీ లేదు, నా లక్ష్యాన్ని చేరేందుకు అదొక్కటే మార్గం."
"అయితే మీ లక్ష్యం మీకు తెలుసనమాట." అన్నాడు వాడు.
"ఊఁ!" అన్నాన్నేను, "ఇప్పుడేగా చెప్పాను. ఇక్కడి నుండి బయటకి -- అదే నా లక్ష్యం."

Wednesday, November 19, 2014

స్వాతంత్ర్యవీరుడు

ఉయ్యాలవాడ నరసరామయ్య అనే ఉయ్యలవాడ వాస్తవ్యుడు స్వాతంత్ర్యవీరుడు అనే పేరుతో ఉయ్యాలవాడ నరసింహా రెడ్డి చరిత్రను పద్యకావ్యముగా వ్రాసారు. 1973 ముదితం.

ఉయ్యాలవాడ నరసింహా రెడ్డి జీవితం గురించి ఏమయినా పుస్తకాలు దొరుకుతాయా అని గత ఎనిమిదేళ్ళుగా ప్రయత్నిస్తున్న నాకు మొదట బెంగుళూరు కెంగెరిలో ఉండే తంగిరాల సుబ్బారావు గారి రేనాటి సూర్యచంద్రులు అన్న పుస్తకం తారసపడింది. అందులో పైన చెప్పిన పుస్తకం గురించి ప్రస్తావన ఉన్నా, ఆ పుస్తకం నాకు దొరకలేదు.
ఇన్నాళ్ళకి నిన్న విజయవాడ ప్రాచీనాంధ్రగ్రంధమాల లో ఈ చిన్ని పొత్తము నా చేతికందింది. ఇందులో ఉయ్యాలవాడ వారి చిత్రం కూడా ఉంది.