【@IT .NET 中心会議】 継続的フィードバックで俯瞰する Visual Studio 2010 の世界でのテスト

Visual Studio 2010 によるテスト手法 日本マイクロソフト株式会社 デベロッパー＆プラットフォーム統括本部 エバンジェリスト 長沢 智治 © 2011 Microsoft Corporation. All rights reserved.

詳細よりも、考え方を中心に 機能紹介ではなく、シナリオを中心に しきたりより、場の共有を中心に クリアな “解” は持ってきていません “解” は、現場にしかありません ここでは、”解” につながる “何か” を 共有できたら・・・ © 2011 Microsoft Corporation. All rights reserved.

Engineer at Intec Consultant at Rational Software Consultant at IBM Rational ながさわ ともはる Consultant/Architect at Borland Software Tomoharu Nagasawa ASTER Tool WG Twitter http://twitter.com/tomohn SlideShare http://slideshare.net/tomohn ITmedia Blog http://blogs.itmedia.co.jp/nagap © 2011 Microsoft Corporation. All rights reserved. Facebook http://facebook.com/tomoharu.nagasawa YouTube http://youtube.com/user/tomoharunagasawa MSDN Blog http://blogs.msdn.com/tomohn E-AGILITY 協議会 XPJUG LinkedIn http://linkedin.com/in/tomohn MSDN Channel 9 http://channel9.msdn.com/Niners/tomohn

大きめのお話し 継続的フィードバックで俯瞰する Visual Studio 2010 の世界でのテスト

Team Editions Professional Software Architects Software Developers Database Professionals Software Testers TFS Team Editions Professional Architecture Edition Development Edition Database Edition Test Edition TFS Professional TFS TFS: Team Foundation Server © 2011 Microsoft Corporation. All rights reserved. Premium Ultimate Test Professional

Milestone 品質とコストへの効果 Task #1 Task #2 Task #3 Task #4 value 品質とコストへの効果 “じゅうらい” のソフトウェア開発 “これから” のソフトウェア デリバリー © 2011 Microsoft Corporation. All rights reserved.

 努力は報われない           © 2011 Microsoft Corporation. All rights reserved. 個人の成果 vs. チームの成果 個人の問題 vs. チームの問題 1 + 1 = 2 とは限らない そもそも、そういう次元ではない  単体テストをスキップ!? 回帰テストをスキップ!? レビューしたつもり!? “それは、開発の問題ではない” “自分の機能は、動いている” エナジー ドリンク注入！ ・・・

 報われる努力、チームで取り組む     チーム ゴール指向 協調とサポート 1 + 1 = 2+ へ 時代に対応したやり方へ  個人からチームへ  開発スタイルの尊重  バリューアップを実現  適切な武装  クリエイティブへ注力  テスト担当者/プロマネにも専用の武器を © 2011 Microsoft Corporation. All rights reserved.  時代に合わせた開発環境で挑む！

テストのお話し 継続的フィードバックで俯瞰する Visual Studio 2010 の世界でのテスト

テスト担当者 手動テスト テスト開発者 スクリプティング技術 高い スクリプティング技術 コーディング技術 テスト環境用の スクリプトを作成 テストデータを作成 高い コーディング技術 卓越した コーディング技術 自動化可能な テスト手順の開発 ブラックボックス テスト ホワイトボックス テスト API テスト Test Manager テスト担当者にも専門ツールを提供 © 2011 Microsoft Corporation. All rights reserved. Visual Studio テスト機能 早期に “品質を作り込む” 仕組みと機能を提供

テスト開発 Requirements Visual Studio テスト機能 Test Manager テスト担当者にも専門ツールを提供 早期に “品質を作り込む” 仕組みと機能を提供 Test Plan Build Test Suite Test Case Test Result Test Environment © 2011 Microsoft Corporation. All rights reserved. 開発 Architecture Model Test Code Production Code Bug Test Script Analysis Result

テスト開発 Requirements Visual Studio テスト機能 Test Manager テスト担当者にも専門ツールを提供 Lab Test Case Test Result Environment © 2011 Microsoft Corporation. All rights reserved. 開発 Bug 早期に “品質を作り込む” 仕組みと機能を提供 Build Test Code Source Architecture Code Model Team Foundation Server Task Requirement

Visual Studio テスト機能 Test Manager テスト担当者にも専門ツールを提供 早期に “品質を作り込む” 仕組みと機能を提供 Team Foundation Server テスト担当者 開発者  簡潔な仕事と受け渡し  必要な情報の自動共有 テスト担当者 © 2011 Microsoft Corporation. All rights reserved. 開発者

今 明日 © 2011 Microsoft Corporation. All rights reserved. 将来

継続的 インテグレーション テスト駆動開発 単体テスト フレームワーク コード メトリックス © 2011 Microsoft Corporation. All rights reserved. リファクタリング 自動ビルド バージョン管理 コード カバレッジ

テスト テスト 開発 設計 設計 手戻りによるコストとリスク 問題発生時のインパクト © 2011 Microsoft Corporation. All rights reserved. テスト 開発 開発 設計

目指すべきレベル 設計 品質 コード 品質 テスト 品質     アーキテクチャ検証 UML 依存関係グラフ アーキテクチャ エクスプローラ  コード分析の定義  単体テストのロードテスト  デバッグの履歴化 (IntelliTrace™)     Skill/Manual テスト管理 手動テストの支援 テスト環境の仮想化 Web テスト Tool/Automation © 2011 Microsoft Corporation. All rights reserved.  UML (読み取り)  コードから推察     コード分析の実行 コード メトリックス プロファイル 自動 UI / DB テスト  コード カバレッジ  テスト影響分析  単体テストの実行  リファクタリング  コードから推察

Visual Studio 2010 のお話し 継続的フィードバックで俯瞰する Visual Studio 2010 の世界でのテスト

モデリングと検証 Web テスト New UML モデリング Web テスト New レイヤー ダイヤグラム ロード テスト アーキテクチャ可視化 包括的テスト New アーキテクチャ エクスプローラー New テスト計画と実施の管理 New 依存関係グラフ New 先進的な手動テスト New 手動テストの自動再生 New テスト環境の仮想化と管理 デバッグの効率化 New IntelliTrace™ 単体テスト New New コード分析 自動 UI テスト 強化 静的コード分析 データベースの単体テスト 強化 プロファイリング コード カバレッジ コード メトリックス テスト影響分析 テスト サポート テスト データの自動生成 開発と DB の統合変更管理 © 2011 Microsoft Corporation. All rights reserved. 単体テスト あらゆるタイプの開発 (ロジックの) 単体テスト 開発全般機能

理 理 包括的テスト テスト計画と実施の管理 先進的な手動テスト 成 管理 Microsoft Test Manager 手動テストの自動再生 テスト環境の仮想化と管理 © 2011 Microsoft Corporation. All rights reserved. Lab Management

Excel プロダクト バックログ イテレーション バックログ バーンダウン チャート 傾向分析 Project プロジェクト計画の同期 プロジェクト進捗の同期 © 2011 Microsoft Corporation. All rights reserved. Web I/F バージョン管理 メール連携 テストケース管理 バグ管理

管理 スト 再生 Web テスト と管理 Web テスト ロード テスト 析 包括的テスト ス 動生成 更管理 発 能 テスト計画と実施の管理 先進的な手動テスト 手動テストの自動再生 テスト環境の仮想化と管理 © 2011 Microsoft Corporation. All rights reserved. クロス プラットフォーム Eclipse コマンドライン Windows, Linux, AIX Mac OS X, Solaris, HP-UX

あらゆる ソフトウェア開発の 開発インフラストラクチャを提供  全開発･テスト リソースを 1 リポジトリで運営  いつもの使い慣れたツール/方法で利用 管理者 開発者 開発者 Eclipse © 2011 Microsoft Corporation. All rights reserved. テスト担当者

管理者 開発者 開発者 テスト担当者 Eclipse ポータル 作業項目 要件 ガイダンス v1.0 v1.1 タスク v1.0 テスト ケース 構成管理 v1.1 バグ ビルド管理 ダッシュボード ラボ管理 ドキュメント管理 開発プロセス レポート  開発･テストのリソースを有機的に関連付け  ライフサイクル全般に渡る追跡可能性を一貫した方法で提供  小規模から超大規模開発や部門全体の運営に対応する柔軟性 ※ MSDN Subscription 付き Visual Studio 2010 の特典として利用可能 Visual Studio 2010 Ultimate, Premium, Professional, Test Professional ※ パッケージ購入の場合、5人まで CAL なしで利用可能 © 2011 Microsoft Corporation. All rights reserved.

Visual Studio 2010 テスト機能のお話し 継続的フィードバックで俯瞰する Visual Studio 2010 の世界でのテスト

© 2011 Microsoft Corporation. All rights reserved.

Test Lifecycle Development Lifecycle Requirements テスト計画と全体追跡 作業リスト バックログ テスト計画 開発 テスト実施リスト テスト実施 自動ビルド テスト結果追跡 © 2011 Microsoft Corporation. All rights reserved. バグ起票 ビルド ⇒ テスト ⇒ 配置

Visual Studio には、これらのテスト関連機能を、統合開発環境に搭載済み 開発／テスト開発を使い慣れた統合開発環境で加速 © 2011 Microsoft Corporation. All rights reserved.

イベント ビュー 呼び出しビュー 開発者のデバッグを飛躍的に効率化！ テスト担当者の手動･自動テスト時のデバッグ情報を記録 ⇒ 開発者は即デバッグ！ © 2011 Microsoft Corporation. All rights reserved.

静的コード分析  .NET 用と Native C++ 用を搭載  .NET デザインガイド準拠  独自規則のチェック  Visual Studio のビルド時に 強制実行し、ビルド エラー/警告  自動ビルド プロセスでコード分析 動的コード分析  デバッグ実行し、 ボトルネックなどを分析･検知  JavaScript のプロファイリングも実施可能 ビルドプロセスや開発プロセスに組み込み可能な実績のあるコード分析 動的コード分析を JavaScript まで拡張 © 2011 Microsoft Corporation. All rights reserved.

コード メトリックス  ソースコードの状況を客観的に “数値化”  保守容易性インデックス     クラスの継承の深さ クラスの結合度 (依存関係の数) コード行 サイクロマティック複雑度 コードの状態を、客観的数値指標で、可視化 “保守容易インデックス” で、バグの混在の危険性を把握し、未然に予防 © 2011 Microsoft Corporation. All rights reserved.

UI      UI 操作を記録 アサーションによる検証 単体テスト フレームワークで実行可能 データ駆動テスト*が可能 自動ビルド時に実行･検証が可能 ロジック      メソッドからのテスト自動生成 テスト駆動開発をサポート 単体テスト フレームワークで実行可能 データ駆動テスト*が可能 自動ビルド時に実行･検証が可能 データ     ストアド プロシージャのテストが可能 単体テスト フレームワークで実行可能 複雑な条件でのデータの 自動生成が可能 自動ビルド時に実行･検証が可能 * データ駆動テスト: 別途用意したテスト用データを読み込み、1 つのテスト ロジックの記述で、複数のテストを自動実行する仕組みを提供。 プレゼンテーション層、ビジネスロジック層、データ アクセス層に対するテスト 自動ビルドに組み込み、回帰テストが可能！ © 2011 Microsoft Corporation. All rights reserved.

Request Response 自動ビルドに組み込み  自動ビルド時に、実施可能！  変更を自動的に検証  ロード テストで、実行可能  汎用的な Web アプリケーションのテス トが可能*  ASP.NET, Java, etc * Windows 環境の Web サーバー/DB サーバー時には より詳細な分析データやシステム情報を収集可能 ※ 統合開発環境に組み込まれているため、開発･テストで効果的に利用可能！ © 2011 Microsoft Corporation. All rights reserved.

単体テストへのロード テストにより、ピンポイントな負荷テストを実現！ 開発の段階から、高度なパフォーマンスの確認が行える Web テストのロード テストにより、実稼働状況を想定した負荷テストをいつでも実行可能に ※ 統合開発環境に組み込まれているため、開発･テストで効果的に利用可能！ © 2011 Microsoft Corporation. All rights reserved.

<手動テスト> 1回目: テスト失敗 テスト担当者    明確なテスト手順を実行 操作は自動記録  ビデオ記録、ロギング バグ起票、テスト結果作成 を自動化 © 2011 Microsoft Corporation. All rights reserved. <手動テストの半自動化> <手動テストの自動化> 2回目～: テスト成功 n回目～: テスト成功 テスト担当者 開発者/チーム     明確なテスト手順を再生 テスト失敗箇所のみを手動実施 操作は自動記録  ビデオ記録、ロギング バグ起票、テスト結果作成 を自動化   自動 UI テストに変換し、全自動化 自動ビルドに組み込み、継続的インテグレー ションで回帰テストを自動化

自動ビルドによるチームの結束 容易なビルド定義  ウィザードで定義可能  ビルド ワークフローによる可視化 と詳細定義  継続的インテグレーション (CI) の実現  品質基準を満たさないチェックイ ンをブロック (ゲート チェックイン*) ビルド時テスト自動化  ビルド プロセスにテストを組み込 み  ロジックの単体テスト  UI の自動テスト  Web テスト  静的コード分析の実施  テスト影響を検出･分析し、記 録 的確にバグを報告し、今実施すべき、 テストに専念 ビルド結果と追跡可能性  ビルドに含む下記を記録:  変更セット (*コード変更箇所)  実施タスク  改修したバグ  テスト結果  コード カバレッジ  影響するテストの一覧 自信の持てるテスト対象のみを テスト担当者に提供 * ゲート © 2011チェックイン: Microsoft継続的インテグレーションによりビルド、コード分析、テストを自動実行し、品質指標に満たさなかった場合は、チェックインを無効にし、開発者に差し戻す機構を提供 Corporation. All rights reserved.

© 2011 Microsoft Corporation. All rights reserved.

開発者 テスト担当者 プロジェクト マネージャー デザイナー/UX Java 開発者 VB 6 開発者 組込み開発者 利害関係者 顧客／ビジネス アナリスト 運営アイディアの実装:  タスクボード  行燈  ポートフォリオ管理  勤怠管理  追跡可能性の可視化 チーム開発のファウンデーション (基盤) を提供 チームを最適なツールとインターフェイスで “つなぐ” © 2011 Microsoft Corporation. All rights reserved. TFS as a Platform  OSS ツール  3rd Party ツール  内製ツール

✉ tomohn@microsoft.com © 2011 Microsoft Corporation. All rights reserved. Microsoft, Windows 7, Visual Studio and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.