trwiki-67

trwiki-67 dataset

trwiki-67 is a language modeling dataset that contain 67 million words of raw wikipedia articles. It can be utilized as a benchmark for different language modeling tasks on character, subword, or word level.

This dataset was extracted from a Turkish wikipedia dump on 20 July 2021.

Preprocessing

All lists and tables were removed from the articles, and the initial extraction from .xml dump was done using wikiextractor:

Additionally, further preprocessing was applied to get rid of redundant text. Only raw text with the titles of the articles were kept in their cased format (with no upper/lower case transformations).

Article titles were included in text using this format `== TITLE ==`. And articles are seperated by empty lines.

Raw example:

== NGC 1710 ==

NGC 1710, Yeni Genel Katalog'da yer alan bir galaksidir. Gökyüzünde Aslan takımyıldızı yönünde bulunur. E-S0 tipi bir merceksi, eliptik galaksidir. Amerikan astronom Francis Leavenworth tarafından 1885 yılında 66,04 cm (26 inç) çaplı mercekli tip bir teleskopla keşfedilmiştir.

== Şenol Gürşan ==

Şenol Gürşan, (d. 17 Ekim 1964, Pınarhisar, Kırklareli) Türk avukat ve siyasetçi.

İstanbul Üniversitesi Hukuk Fakültesi'ni bitirmiş ve serbest avukat olarak çalışmıştır. Kırklareli İlim Yayma Cemiyeti Kuruculuğu ve Başkanlığı görevlerinde bulunmuştur.

2009 yılında Adalet ve Kalkınma Partisi Kırklareli il yönetim kurulu üyesi olmuş, TBMM 24. dönem AK Parti Kırklareli milletvekili, Türkiye-Polonya Dostluk Grubu Başkanı ve TBMM KİT Komisyonu Sözcüsü olmuştur. Gelecek Partisi Kurucular Kurulu üyesi olup aynı zamanda partinin genel sekreteridir.

İyi düzeyde Almanca bilen Gürşan, evli ve 2 çocuk babasıdır.

== Bovenau ==

Bovenau Almanya'nın kuzeyinde Schleswig-Holstein eyaletinde, Rendsburg-Eckernförde iline bağlı bölge. Rendsburg'un 10 km. doğusunda yer alır. 26,2 km² yüzölçümüne sahiptir. Nüfusu, 17 Temmuz 2006 itibarıyla yaklaşık 1098 olarak tespit edilmiştir. Belediye Başkanlığı Jürgen Liebsch tarafından yürütülmektedir.

Tokenization

We train a sentencepiece tokenizer using tokenizers with 32K vocabulary size.

Tokenized example:

▁logan ▁county ▁ , ▁batı ▁virginia <eos> ▁logan ▁ilçesi ▁veya ▁logan ▁county ▁ , ▁amerika ▁birleşik ▁devletleri ▁ ' ▁ nin ▁batı ▁virginia ▁eyaletinde ▁yer ▁alan ▁bir ▁ilçe dir ▁ . ▁ilçe nin ▁nüfusu ▁ 2 ▁ 0 ▁ 1 ▁ 0 ▁sayımın a ▁göre ▁ 3 ▁ 6 ▁ . ▁ 7 ▁ 4 ▁ 3 ▁ ' ▁tür ▁ . ▁ilçe nin ▁merkezi ▁logan ▁şehri dir <eos> <eos>
▁bağlama ▁ , ▁niğde <eos>▁bağlama ▁ , ▁niğde ▁ili ▁merkez ▁ilçesine ▁bağlı ▁bir ▁belde ▁ . ▁tarihçe ▁ . ▁köyün ▁adı ▁ 1 ▁ 9 ▁ 2 ▁ 8 ▁yılındaki ▁kaynaklarda ▁ba v lama ▁olarak ▁geç mekteydi ▁ . ▁ 3 ▁ 0 ▁kasım ▁ 1 ▁ 9 ▁ 8 ▁ 9 ▁tarihinde ▁belediye ▁statüsü ▁ alarak ▁belde ye ▁dönüştü <eos> <eos>
▁fury ▁from ▁the ▁deep <eos> ▁fury ▁from ▁the ▁deep ▁ , ▁büyük ▁britanya ▁bilimkurgu ▁dizisi ▁ " ▁doctor ▁who ▁ " ▁nun ▁klasik ▁serisinin ▁beşinci ▁sezonunun ▁tüm ▁bölümlerinin ▁kaybolduğu ▁altıncı ▁öyküsü ▁ . ▁altı ▁bölümde n ▁oluşan ▁öykünü n ▁ilk ▁bölümü ▁ 1 ▁ 6 ▁mart ▁ ' ▁ta ▁ , ▁son ▁bölümü ▁ 2 ▁ 0 ▁nisan ▁ 1 ▁ 9 ▁ 6 ▁ 8 ▁tarihinde ▁yayınlanmış tır ▁ . ▁bu ▁öykü ▁de bora h ▁ wat ling ▁ ' ▁in ▁victoria ▁ water field ▁rolünü ▁yol ▁arkadaşı ▁olarak ▁oynadığı ▁son ▁öykü dür ▁ . ▁ayrıca ▁son ik ▁tornavida ▁ilk ▁kez ▁kullanılmıştı r ▁ . ▁bölümlerin ▁ses ▁kayıtları ▁ , ▁fotoğrafları ▁ve ▁klip lerinin ▁bulunmasın a ▁ rağmen ▁bölümlerin ▁tamamı ▁kayıp tır ▁ . ▁konu ▁ . ▁tardı s ▁ingiltere ▁ ' ▁ nin ▁doğu ▁kıyılarına ▁in er ▁ . ▁doktor ▁ , ▁jami e ▁ve ▁victoria ▁plajı n ▁yakınlarında ki ▁boru larda ▁kötü ▁bir ▁şey le ▁karşılaşır ▁ve ▁onu ▁araştırır lar <eos> <eos>
▁dikili ▁ , ▁ s uruç <eos> ▁dikili ▁ , ▁şanlıurfa ▁ilinin ▁ s uruç ▁ilçesine ▁bağlı ▁bir ▁mahalle dir <eos> <eos>
▁çift hisar ▁ , ▁gerger <eos> ▁çift hisar ▁ , ▁adıyaman ▁ilinin ▁gerger ▁ilçesine ▁bağlı ▁bir ▁ köydür ▁ . ▁tarihçe ▁ . ▁köyün ▁adı ▁ 1 ▁ 9 ▁ 0 ▁ 2 ▁yılı ▁kayıtlarında ▁ mer dis ▁olarak ▁geçmektedir ▁ . ▁ 1 ▁ 9 ▁ 2 ▁ 8 ▁yılından ▁beri ▁ise ▁günümüzdeki ▁adını ▁taşımaktadı r ▁ . ▁coğrafya ▁ . ▁köy ▁ ; ▁adıyaman ▁il ▁merkezine ▁ 8 ▁ 6 ▁km ▁ , ▁gerger ▁ilçe ▁merkezine ▁ 1 ▁ 6 ▁km ▁uzaklıktadı r <eos> <eos>

Contact

Ali Safaya (alisafaya at gmail dot com).