[ご意見募集]QA体制、手順について

登録日: 2003年10月 06日 記事: 296

現在のローカライズセンターの活動をご覧になっている方は、概ねご認識
いただいていると思いますが、ローカライズ版リリースに対する、
体系的なテスト手順が準備できていません。

現状、テストリソースも十分でありませんし、方法に対する経験も浅いですので、
Mozilla Japanがリリースする場合のテストの手順等について、ご意見を募集します。

以下、手順についての案です。
（Webページベースの手順書に移行する予定です。まずはwikiに移した方がいかな？）

■QAの手順について、アイディアノート

○テストで網羅すべき項目
A. 日本人に困る、本家が見落としがちなバグを発見する
　→これは、マイルストーンリリースのしばらく前で実施することが必要。
　　bugzillaを中心に対応し、間に合わなければリリースストップの判断も
B. l10nをすることで発見される本家のバグを発見する
　→これも、A.と同じで対応を目指すべき（ある意味A.の一部）
C. l10n作業自体のミスを洗い出す

○QA項目
1. 通常の操作一通り
1.1. w.m.oのQA（http://www.mozilla-japan.org/quality/smoketests/）は実施する
　→ただし、この項目でトラブルが起きる可能性は低い

2. 本家で見落としがちな、日本人が困るバグ（l10nに無関係なものも含む）
2.1. 2byte文字
2.2. IME（キーバインド含む）
　→ずっと治っていないプライオリティの低い2byteバグなども多数あるが、それは含めない
　→再発回数の多いバグは毎回要チェック。
　→l10nに無関係なものは、本来l10n部門の範疇ではないが、リリースストップの判断に
　　も影響するため、一部はテスト項目として列挙しておくのがよいと思われる。
　ex. メールの添付ファイルの2byte文字、WinでIME ONに使われることがあるのAlt+漢字、
　　　プロファイルの引き継ぎテストetc

3.l10nの作業の結果発生しがちな問題
3.1. 画面が表示できず赤表示エラーになる
　→SuiteとFirefoxについては、xulファイルを開くテストも行う
　　http://www.mozilla-japan.org/projects/l10n/mlp_howto.html#mlp_qa
　　Thunderbirdはファイルのオープンに手間がかかるため、実際にメニューから
　　開いた方が早いので実施しない。
　　この作業には、http://www.mozilla-japan.org/~kozawa/ff0-10-1qa.html
　　のようか形でファイルを作成しておき、ブックマーク読み込みすることで
　　第三者チェックが容易になる。
3.2. 画面のレイアウトが崩れる
3.3. ローカライズした文字列が化ける
3.4. ローカライズで特定の機能が正常にしなくなる→これに該当する項目は
　経験的に洗い出さないとわからない面があるが、内部でフォルダ名とマッピ
　ングしている場合が典型的などパターン分類可能なものもある。
3.5. プロファイルの日本語での新規作成
3.6. xpiインストール後の言語切り替え後の再起動で普通に日本語化されるか、
　日本語化版で最初の起動から日本語になるか
　→3.の上記を全てチェックすることも事実上不可能のため、1.のテストも利用
　　して兼ねるべき。安定化branchの２番目以降のリリースに限り、言語リソー
　　スの更新が少ないために、変更部分の全てをテストすることを試みてもよい
　　かもしれない。
　→xpiのインストールテストは実施。これが通らなければ日本語化ビルドもこけ
　　る場合がある。
　→3.2.～3.6.は本来2.とも考えられるが、3.として明示的に列挙した方が作業し
　　易いと思われる。
3.7. インストーラ作成作業のテスト
　・各インストールモード（ブラウザのみ、推奨、完全、カスタム）が意図どおり
に動作するか？
　・アンインストーラの日本語化を忘れていないか(アンインストーラを起動すれ
ばすぐわかる)
　・英語リソースがすべて削除されているか(English(更新が必要です)が表示され
るのですぐ気づく)　※英語リソースを削除する場合
3.8. マルチユーザ環境のテスト
　インストールユーザと使用ユーザが異なるテストも実施。2.や3.でここで問題が
発生する場合もある。

○プラットフォームについて
　Win9x/NT系、Mac、Linunxの３環境のテストは必須。Winは9x系の中でも95は特別
　なケースがある。NT系でもXPは特別なケースがある。Linunxも当然デストリビュー
　ション間の違いはテスト必要な場合もある（それを超える環境の違いで、MJのテス
　トでチェックすべきものはあるか？）
　ただし、Win95については、Win95だけクリティカルなバグがあっても、告知のみで
　全体のリリースをブロックすることは原則ない。他に影響ない範囲で、テストを実
　施するボランティアが居れば、行う、ということ。

本家のマイルストーンビルドが近づいたら、1.と2.のテストは実施。l10nの作業を開
始したら、都度3.のテストも実施。
2.並びに3.1、3.2を除く3.の問題は、一度確認すれば、本家側の更新でなくロー
カライズ作業側で更新があっても、再発の可能性は低い。それでも重要なものは
リリース直前に再テストすべきとの考え方もある。本家側も、マイルストーンリ
リースが近づいてaprovalが必要になって以後、特にリリース直前には1.や2.の問題が
再発する可能性は低い（低いが安心はできないくらいには危ない）。リリース直
前はbonsaiをチェックしてリスク監視する方法もある（ただし、ソースを読める
人でないと出来ない）。

登録日: 2003年10月 06日 記事: 296

dtdファイルに対応するxulファイルを自動的に生成するスクリプト(perl)を簡単に書き上げました。

例によって、へぼへぼなスクリプトです。例によってとてもはずかしいです。
make_test_xul.pl

Thunderbirdは、さしずめ、jarの圧縮じゃない生のhtmlファイルをxpiでぶちこんで、htmlはフレームにして、戻るボタンをjavascriptで実現してxulファイルを行き来するとかするといいのかなぁとアイディアを出してみます。。。

登録日: 2003年10月 06日 記事: 296

小沢 wrote:

dtdファイルに対応するxulファイルを自動的に生成するスクリプト(perl)を簡単に書き上げました。

例によって、へぼへぼなスクリプトです。例によってとてもはずかしいです。
make_test_xul.pl

Thunderbirdは、さしずめ、jarの圧縮じゃない生のhtmlファイルをxpiでぶちこんで、htmlはフレームにして、戻るボタンをjavascriptで実現してxulファイルを行き来するとかするといいのかなぁとアイディアを出してみます。。。

make_test_xul.plにバグがあったので、先ほどアップデートしました（上書き、今のところこいつの外部向けバージョン管理はしません。。。）。

登録日: 2003年10月 06日 記事: 296

ページは
http://pink.skillup.jp/wiki/index.cgi?page=QA%BC%EA%BD%E7
に移動します。

お気軽に修正ください。
議論が必要なことは、引き続きこちらでお願いします。