مشکل اعداد فارسی و استانداردهای ۶۲۱۹ و ۹۱۴۷

یکی از مشکلات پیش روی استانداردهای ماتصا ۶۲۱۹ و ماتصا ۹۱۴۷ عدم پشتیبانی تعداد زیادی از نرم‌افزارهای موجود از اعداد فارسی است. این دسته از نرم‌افزارها به خصوص آنها که قرار است روی این اعداد پردازشی انجام دهند، یا به طور کلی از پذیرش اعداد فارسی سر باز زده یا دچار خطا شده و رفتارهای عجیبی از خود نشان می‌دهند. به طور مثال:

۱- اکسل ۲۰۰۳ اعداد فارسی را به صورت رشته در نظر می‌گیرد و نمی‌تواند عملیات ریاضی مثل جمع و تفریق را بر روی آنها انجام دهد.
۲- در Windows Live Writer اگر به هنگام ایجاد جدول جدید، طول و عرض جدول با اعداد فارسی وارد شود پیغام خطا داده و بسته می‌شود.
۳- صفحه ورود به اینترنت بانک بانک اقتصاد نوین با هر بار وارد کردن اعداد فارسی هشدار می‌دهد که استفاده از این نویسه‌ها غیر مجاز است.
۴- خیلی از نرم‌افزارهای مالی اداری تولید شرکت‌های داخلی با استفاده از MaskEdit به طور کلی مانع از ورود اعداد فارسی در فیلدهای عددی می‌شوند.
۵- …

ماتصا ۹۱۴۷ این مشکل را پیش‌بینی کرده و به همین دلیل اعداد واقع در NumPad را به همان صورت انگلیسی مورد استفاده قرار می‌دهد. اما با عادات کاربران چه کار کنیم؟ آنهایی که عادت دارند برای ورود اعداد از ردیف بالایی صفحه کلید (ردیف زیر کلیدهای F1 تا F12) استفاده کنند را چه کنیم؟ علاوه بر این مشکلاتی هم با ماتصا ۶۲۱۹ موجود است. به عنوان مثال خود ما در بخشی از نرم‌افزار مالی-اداری‌مان که اطلاعات را به قالب‌هایی مثل اکسل export می‌کند دچار مشکل شدیم. ما در این نرم‌افزار استاندارد ماتصا ۶۲۱۹ را رعایت کرده و اعداد را به صورت فارسی نمایش می‌دهیم نه انگلیسی. حال وقتی که این اطلاعات به اکسل Export می‌شوند اکسل قادر نیست بر روی آن‌ها هیچ گونه عملیات ریاضی مثل جمع و میانگین بر روی آنها انجام دهد. علت آن هم این است که اکسل با اعداد فارسی به صورت رشته برخورد می‌کند نه عدد! البته خوشبختانه این مشکل در اکسل ۲۰۰۷ بر طرف شده.

راه حل چیست؟ قاعدتاً در مورد نرم‌افزارهایی مثل اکسل که به سورس آنها دسترسی نداریم تنها کاری که می‌توانیم بکنیم این است که با تیم تولید کننده آن مکاتبه کرده و باگ مربوطه را گزارش نموده و دعا کنیم این مشکل مثل اکسل در نسخه‌های بعدی از بین برود. در مورد نرم‌افزارهایی که به سورس آنها دسترسی داریم، مثل نرم‌افزارهای open source و نرم‌افزارهایی که خودمان می‌نویسم باید وقت گذاشته و چند راه حل مناسب پیدا کنیم. اجالتاً به عنوان نمونه و به خاطر این که صرفاً سخنرانی نکرده باشیم به نمونه راه حل زیر توجه فرمایید.

همان طور که پیش‌تر اشاره شد اکسل ۲۰۰۳ اعداد فارسی تولید شده توسط نرم‌افزار سازگار با ماتصا ۶۲۱۹ ما را نمی‌فهمید. با این که اکسل ۲۰۰۷ این مشکل را حل کرده ولی چون کارمندان شرکت مشتری ما حاضر نیستند از اکسل ۲۰۰۷ استفاده کنند ما مجبور شدیم یک راه ابتکاری پیدا کرده و با استفاده از ماکروی زیر اعداد فارسی را در خود اکسل به اعداد انگلیسی تبدیل کنیم:

Attribute VB_Name = “Module1”
Sub fa_support()
Attribute fa_support.VB_Description = “Macro recorded 2009/01/20 by mohebbi”
Attribute fa_support.VB_ProcData.VB_Invoke_Func = ” n14″

‘ Macro1 Macro
‘ Macro recorded 2009/01/20 by mohebbi

Cells.Replace What:=ChrW(1776), Replacement:=”0″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1777), Replacement:=”1″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1778), Replacement:=”2″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1779), Replacement:=”3″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1780), Replacement:=”4″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1781), Replacement:=”5″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1782), Replacement:=”6″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1783), Replacement:=”7″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1784), Replacement:=”8″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1785), Replacement:=”9″, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1644), Replacement:=”,”, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
Cells.Replace What:=ChrW(1643), Replacement:=”.”, LookAt:=xlPart, SearchOrder _
:=xlByRows, MatchCase:=False, SearchFormat:=False, ReplaceFormat:=False
End Sub

مطالعه این مطالب نیز توصیه می‌شود:

۱- معرفی استاندارد ماتصا ۶۲۱۹ – ISIRI 6219
۲- معرفی استاندارد ۹۱۴۷ – ISIRI 9147

موضوعات نرم‌افزاری که وقت نکردم روی آنها کار کنم

این‌ها فهرستی از موضوعاتی هستند که روزی می‌خواستم درباره آنها بنویسم یا این که درباره‌شان مطالعه کنم. اما چون ممکن است هیچ وقت فرصت این کار را پیدا نکنم آنها را در اینجا می‌گذارم تا هم خودم یادم نرود روی چه چیزی می‌خواستم کار کنم و هم شاید بقیه علاقه‌مند به آنها شدند و چیزی راجع به آنها نوشتند. دقت کنید که عناوین و خصوصاً لینک‌ها خام و بررسی نشده هستند.

۱- مشکلات وب‌سایت‌ها و Mail Serverها با Certificate: لینک ۱، لینک ۲، لینک ۳، لینک ۴، لینک ۵
۲- نام گذاری صحیح فیلدها و متغیرها: استفاده از اسامی درست انگلیسی برای مفاهیم مالی و اداری مثل استهلاک و…
۳- googlegroup چیست و از چه پروتکلی استفاده می‌کند؟ آیا این اطلاعات در جای دیگری هم نگهداری می‌شوند یا خیر؟
۴- کار با ابزارهای فوروم مثل vBultein و CommunityServer و googlegroup و یادگیری آنها
۵- حالت recent mode در جی‌میل و ظرایف آن: اگر خواسته باشید در دات‌نت از یک حساب gmail برای ارسال/دریافت ایمیل استفاده کرده باشید حتما درگیر این ظرایف شده‌اید.
۶- معرفی Iranzilla که در Thundebird برای شمسی کردن تاریخ استفاده می‌شود.
۷- مشکلات زبان فارسی در Reporting Services:
استفاده از تگ برای نمایش اعداد به صورت فارسی، اعداد فارسی عربی،
چند زبانه کردن گزارشات rdlc، RS و چند زبانگی (لینک ۱، لینک ۲Native Mode و SharePoint Model در نصب RS، Localizing Reports، locale for RS،
ضمیمه شماره ۹ یونیکد، FriBiDi پیاده سازی ضمیمه شماره ۹ یونیکد،
توضیح propertyها
۸- از بین بردن صفحه کلید فارسی ویندوز برای همیشه: بعد از نصب صفحه کلید استاندارد ۹۱۴۷ صفحه کلید قبلی همچنان ماندگار است و کاربران جدید مجبور هستند به طور پیش فرض با آن کار کنند و این برای ما خیلی خیلی بد است…
۹- لینک‌هایی که موقع کار روی مشکلات زبان فارسی پیدا کردم: تاریخچه شرکت فارسی وب، صفحه کلید فارسی شرکت فناوری اطلاعات!!، اشتباه عمده در يونی کد يا اشتباه در پياده سازی مايکروسافت؟، روزبه پورنادر،بهنام پورنادر (لینک ۱، لینک ۲گزارش اقدامات دبیرخانه شورای عالی انفورماتیك درباره استاندارد زبان فارسی در محیط های رایانه ای، صفحه کلید فارسی برای ویندوز به پیشنهاد «بهرام شهر» (لینک ۱، لینک ۲)
۱۰- تاریخچه فایل kbdfa.dll که هنوز هم که هنوزه خیلی‌های برای فارسی کردن ویندوزشان از آن استفاده می‌کنند: لینک ۱، لینک ۲، لینک ۳

۱۱- Regional Settings ویندوز، دشمن زبان فارسی! باعث می‌شود اعداد به طور واقعی انگلیسی باشند ولی فارسی نشان داده شوند! یعنی به جای استفاده از یونیکد از یک روش غیر استاندارد استفاده شده است. همچنین به کاراکترهای غیر یونیکد و کدپیج عربی ۱۲۵۶ اجازه زنده بودن می‌دهد!

۱۲- تحقیقی راجع به صفحه کلیدهای رایج فارسی
۱۳- ساخت یک IME برای ویندوز ایکس پی و ویستا، البته با وجود صفحه کلید ۹۱۴۷ دیگر نیازی به این کار نیست.
۱۴- ارائه راهکار برای رسیدن به جهانی عاری از «ي» عربی!
۱۵- جستجوی هم ارز در گوگل، نگاه یکسان گوگل به انواع «ی» و یا به انواع «ک»
۱۶- رعایت دیدگاه پوکایوکه در نرم‌افزارهای ایرانی، لینک

۱۷- رعایت 5S در شرکت‌های نرم‌افزاری، «فایو اس» یکی از اصول با ارزش مهندسین صنایع در اداره کارخانه‌هاست.
۱۸- کنفرانس‌های کامپیوتری – مدیریت خدمات فناوری اطلاعات، انجمن انفورماتیک ایران، سمینارهای شبکه علمی، شبکه علمی غرب آسیا، دولت الکترونیک و ارتقا نظام اداری

۱۹- تست ۱۲ گانه جوئل و شرکت‌های نرم افزاری ایرانی

آشنایی با نویسه‌های ویژه یونی‌کد برای متون راست به چپ

farsi در ضمیمه شماره ۹ استاندارد یونی‌کد که در آن الگوریتم دو جهته (مخصوص متون راست به چپ) معرفی شده ۷ نویسه مخصوص کار با متون راست‌نویس مثل فارسی و عربی معرفی شده است. این نویسه‌ها نقش بسیار مهمی در نمایش صحیح متون راست به چپ دارند. در واقع بدون وجود آنها نمی‌توان متون راست به چپ را به طور کاملاً صحیح نمایش داد. متون و نویسه‌ها در استاندارد یونی‌کد بر اساس ترتیب معنایی (منطقی) ذخیره می‌شوند. ترتیب منطقی یعنی همان ترتیبی که حروف از ذهن خواننده یا نویسنده متن می‌گذرد. حال هر گاه بخواهیم متون ذخیره شده را در صفحه نمایش یا چاپگر نمایش دهیم باید ترتیب منطقی را با یک روش مناسب به ترتیب دیداری تبدیل کنیم. این روش همان چیزی است که در الگوریتم دوجهته یونی‌کد یعنی الگوریتم دوجهته توضیح داده شده است.
در بعضی شرایط خاص نمی‌توان ترتیب دیداری درستی از ترتیب منطقی (معنایی) به دست آورد. به همین علت الگوریتم دوجهته از تعدادی نویسه ویژه یونی‌کد برای رفع این مشکل استفاده می‌کند. این نویسه‌ها فقط در تصحیح شیوه نمایش کلمات استفاده می‌شوند و هیچ تاثیری روی مرتب‌سازی، جستجو یا دیگر پردازش‌های متنی نباید داشته باشد. در واقع پیوست الف استاندارد ماتصا ۶۲۱۹ که با توجه به الگوریتم دوجهته ضمیمه شماره ۹ نوشته شده تاکید می‌کند که کاربردها باید این نویسه‌ها را در هر پردازشی غیر از استخراج نحوه صحیح نمایش در نظر نگرفته و به آن توجهی نکنند. ضمیمه شماره ۹ و این نویسه‌ها رسماً بخشی از استاندارد ملی ایران یعنی ماتصا ۶۲۱۹ (ISIRI 6219) را تشکیل می‌دهند. علاوه بر این استاندارد ماتصا ۹۱۴۷ (ISIRI 9147) هم ۷ کلید را به تحریر این نویسه‌ها اختصاص داده که همگی با ترکیب کلید ALT راست تحریر می‌شوند. دقت شود که کاربرد اصلی این نویسه‌ها و الگوریتم دو جهته در متون راست به چپ مثل فارسی و عربی و متون ترکیبی فارسی-انگلیسی است به خصوص در مواردی که پای اعداد و علائم هم به وسط می‌آید. این نویسه‌ها در متون صرفاً چپ به راست مثل انگلیسی هیچ کاربردی ندارند.
جالب است بدانید طراح اصلی این الگوریتم شخصی است به نام مارک دیویس (Mark Davis) که هم اکنون در گوگل کار می‌کند. این شخص نه فارسی بلد است، نه عربی، نه عبری و نه هیچ زبان راست به چپ دیگری! قصه طراحی الگوریتم دوجهته ضمیمه شماره ۹ توسط مارک دیویس مرا به یاد داستان تصحیح مثنوی معنوی توسط رینولد نیکلسون و تصحیح شاهنامه فردوسی در مسکو (و علی القاعده توسط روس‌ها) می‌اندازد!

و اما خود نویسه‌ها:

نام به کار رفته در ماتصا ۶۲۱۹ نام مخفف استفاده شده در الگوریتم دوجهته کد یونی‌کد
زیرمتن چپ به راست LRE U+202A
زیرمتن راست به چپ RLE U+202B
پایان زیر متن PDF U+202C
زیرمتن اکیداً چپ به راست LRO U+202D
زیرمتن اکیداً راست به چپ RLO U+202E
نشانه‌ی چپ به راست LRM U+200E
نشانه‌ی راست به چپ RLM U+200F

 

مطالعه بیشتر:
الگوریتم دوجهته (ضمیمه شماره ۹ استاندارد یونیکد)
استاندارد ماتصا ۶۲۱۹
استاندارد ماتصا ۹۱۴۷
نوشته حاجلو راجع به به هم ریختگی متون فارسی-انگلیسی

پ. ن.: در این نوشته از اصطلاحات و واژگان استاندارد ماتصا ۶۲۱۹ استفاده شده است.

ماتصا ۹۱۴۷ استانداردی برای صفحه کلید

isiriماتصا ۹۱۴۷ یا همان ISIRI 9147 جدیدترین استانداردی است که موسسه استاندارد و تحقیقات صنعتی ایران برای چیدمان حروف و علائم خط فارسی بر روی صفحه کلید کامپیوتر منتشر کرده است. این استاندارد در سال ۱۳۸۶ انتشار یافته است. و در حال حاضر (مرداد ۱۳۸۸) آخرین و جدیدترین استاندارد در این زمینه محسوب می‌شود. ماتصا ۹۱۴۷ جایگزین استاندارد قدیمی‌تر ماتصا ۲۹۰۱ (ISIRI 2901) شده و آن را باطل اعلام کرده است. البته استاندارد ۹۱۴۷ فرق خیلی زیادی با استاندارد ۲۹۰۱ نداشته و به اصطلاح Backward Compatible است. کسانی که دستشان به ۲۹۰۱ عادت کرده می‌توانند امیدوار باشند که خیلی زود به ۹۱۴۷ هم عادت می‌کنند.
متاسفانه این استاندارد برخلاف استاندارد ۶۲۱۹ هنوز در بین کاربران، خصوصاً کاربران ویندوز رواج خیلی زیادی پیدا نکرده است. علت این امر تنبلی کاربران و بی‌توجهی مدیران IT کشور در همه سطوح است. متاسفانه بیشتر کاربران فکر می‌کننده آنچه که در ویندوز برایشان مهیاست همان استاندارد واقعی است. در نتیجه فکر می‌کنند ماتصا ۹۱۴۷ صرفاً یک ابداع جدید است که نباید آن را زیاد جدی گرفت. تعدادی از کاربران هم چون این صفحه کلید، صفحه کلید پیش‌فرض ویندوزهای ویستا، ایکس‌پی یا ۹۸ نیست و یا این که چون به لحاظ فنی با نصب درایور آن مشکل دارند، از آن استفاده نمی‌کنند.
ماتصا ۹۱۴۷ با توجه به استاندارد ماتصا ۶۲۱۹ یعنی استاندارد «فناوری اطلاعات – تبادل و شیوه‌ی نمایش اطلاعات فارسی بر اساس یونی‌کد» است. در صورت استفاده از چیدمان‌های غیر استاندارد، کاراکترهای غیر استاندارد (خارج از استاندارد ۶۲۱۹) هم تولید می‌شود. حضور تعداد زیادی «ي» دو نقطه عربی و «ك» عربی گواه بر استفاده از صفحه کلیدهای غیر استاندارد رایج در ویندوز است.
ماتصا ۹۱۴۷ علاوه بر این که جای هر کدام از کاراکترهای مجاز را بر روی صفحه کلید به وضوح مشخص و استاندارد کرده، چند کار مهم دیگر را هم انجام داده است:
۱- حروف صرفاً عربی و غیر مجاز در استاندارد ۶۲۱۹ هم در چیدمان ۹۱۴۷ حضور دارند. این حروف در کار با متون غیر استاندارد و ناسازگار با ماتصا ۶۲۱۹ و تبدیل و جستجو در متون غیر استاندارد و همچنین تحریر متون عربی کاربرد فراوانی دارند.
۲- علائم پرکاربرد غیر فارسی مثل «@»، سمی‌کالن، دابل کوتیشن و… هم در آرایش صفحه کلید موجود هستند، بدون وجود این کاراکترها در استاندارد برای ورود آنها باید یک بار صفحه کلید به انگلیسی عوض و دوباره به فارسی برگردانده می‌شد.
۳- اعداد موجود در ردیف بالایی صفحه کلید اعداد فارسی واقعی (و نه انگلیسی و نه عربی) را وارد می‌کنند و کلیدهای عددی ماشین حسابی هم همان اعداد انگلیسی همیشگی را وارد می‌کنند. ممکن است خیلی از ویندوزها اعداد فارسی و انگلیسی را به ظاهر به یک شکل و آن هم به شکل فارسی نمایش دهند. این قضیه فقط ظاهری است و اصل اطلاعات به همان صورت نادرست انگلیسی ذخیره می‌شود. علت این رفتار ویندوز، وجود Regional Settings است.
۴- کاراکترهای ویژه کار با متون دو جهته که در الگوریتم شماره ۹ یونیکد معرفی شده است در این چیدمان موجود بوده و به خوبی پشتیبانی می‌شوند. این کاراکترها در صورتی که کاربران با نقش آنها آشنا باشند کاربرد فراوانی در حل مشکلات راست به چپ نویسی متون فارسی در محیط کامپیوتر و اینترنت دارند. مثلاً با کمک این سری کاراکترهای می‌توان در صفحات مطلقاً چپ به راست (انگلیسی)، به راحتی متون ترکیبی فارسی-انگلیسی را بدون هر گونه مشکل و درهم‌ریختگی وارد کرد.

خوشبختانه ماتصا ۹۱۴۷ در بیشتر لینوکس‌ها رعایت و پشتیبانی می‌شود. برای استفاده از این استاندارد در لینوکس به راهنماهای موجود مراجعه فرمایید. برای استفاده از این استاندارد در ویندوزهای مختلف از جمله ایکس‌پی، ویستا و ویندوز ۷ از درایور مخصوصی که از این آدرس قابل دریافت است استفاده نمایید.

مطالعه بیشتر:
۱- چیدمان استاندارد ۹۱۴۷ (عکس)
۲- ماتصا ۶۲۱۹ (سایت سازمان استاندارد)
۳- ماتصا ۶۲۱۹ (وبلاگ خودم)
۴- صفحه فارسی‌وب درباره استانداردهای دوقلوی ۶۲۱۹ و ۹۱۴۷
۵- درایور ۹۱۴۷ قابل نصب در همه ویندوزها از ایکس‌پی تا ویندوز ۷
۶- ابزارک فردیس که می‌تواند در تشخیص کد یونیکد کاراکترها مفید باشد
۷- بخش «استاندارد فارسی» در سایت iDevCenter