同様の事象があったので、ご報告いたします。
DataWindowのSaveAs()で、XLSX!を指定して保存しようとすると、-1が返って、保存できませんでした。

原因は、GAC (Global Assembly Cache) (C:\Windows\assembly)に下記のファイルが存在していなかったためです。

    PBDWExcel12Interop120.dll
    Sybase.PowerBuilder.DataWindow.Excel12.dll

このファイルをGACに登録する手順は以下の通りです。

　1.PowerBuilder12のランタイムパッケージャを起動
　2.右下の「MS Excel12 サポート」以外のチェックをすべて外す。
　3.生成ボタンを押す
　4.作成したmsiファイルを、対象のＰＣへコピーし実行する。
　5.対象ファイルのGACへのインストールを確認する。

これで、Excel2007形式での保存ができるようになるはずです。

■参考

○PowerBuilder Classic HTML ヘルプ

  アプリケーション テクニック
  →配布のテクニック
    →第 36 章 アプリケーションとコンポーネントの配布
      →PowerBuilder ランタイム ファイル
        →Excel 2007 のサポート

○PB12.1 製品マニュアル
  http://www.powerbuilder.jp/technical/2011/02/pb121.html

  ◆新機能 - PowerBuilder 12.0
  http://www.powerbuilder.jp/pdf/manual/manual121/newfeat_120.pdf

  →ランタイム パッ ケージ ャの機能拡張
    P.9～P10

○同様の事例

  Problem with SaveAs XLSX! Excel 2007 on Vista
  https://groups.google.com/forum/#!topic/sybase.public.powerbuilder.general/Ggn1bP5bCYM

  Sybase.PowerBuilder.DataWindow.Excel12.dll .NET version
  http://scn.sap.com/thread/3456134

以上

＞めめさん、こんにちは。

早速のコメント、ありがとうございます。

PB12ではExcel2007対応となっております（これが採用理由でもあります）。
但し.NET Framework のバージョン3.0以降必須の条件が付きます。

また何かお気づきのことありましたらお願いします。

＞takoikaebiさん、こんにちは。
＞
＞以下、ＮＤソフトウエアさんの技術情報です。
＞
＞http://www.powerbuilder.jp/technical/2011/05/tech000-2391.html
＞
＞PowerBuilder 11の場合の回答ですが、おそらく12でも同様なのではないでしょうか。
＞
＞
＞＞Win7+PB12環境にてSaveAs出力時にXLSX!指定するとエラーになります。Excel8!では正常出力されま
＞す。.NET 
＞＞Framework のバージョンは4.0、Excelは2007が入ってます。どなたか御心当たりのある方、宜しくお願いし
＞ま
＞＞す。
＞＞
＞
＞